Blog
Yapay zeka benimsemesini lisans sayısıyla ölçmeyin
Kısaca: Yapay zeka benimsemesi lisans sayısıyla, giriş sayısıyla veya sorulan soru adediyle ölçülemez. Bunların hepsi araç kullanımını sayar, işin değişip değişmediğini değil. Ölçülmesi gereken şey görevdir: hangi iş yapay zekaya devredildi, o işin çıktısı ne oldu, bu nasıl ölçüldü. Aşağıda bu ölçümü kişi bazlı izleme yapmadan bir ayda kurmanızı sağlayan beş prompt var.
Yapay zeka raporlarının çoğu aynı cümleyle başlar: ekibin yüzde kaçının erişimi var, ayda kaç kez giriş yapılıyor, kaç soru sorulmuş. Sayılar yukarı gider, slayt iyi görünür, kimse itiraz etmez.
Sonra birisi şunu sorar: peki ne değişti. Bu soruya lisans sayısıyla cevap verilemez.
Araç kullanımı ile iş değişimi aynı şey değildir
Lisans sayısı bir satın alma kaydıdır. Giriş sayısı bir merak ölçüsüdür. Sorulan soru adedi ise çoğu zaman deneme sayısıdır; ilk hafta yüksektir, üçüncü hafta düşer, bu düşüş bir başarısızlık değil normaldir.
Bu üç sayı ortak bir şeyi paylaşır: hiçbiri işin sonucuna bakmaz. Bir ekipte herkes her gün giriş yapıyor olabilir ve hiçbir iş daha hızlı bitmiyor olabilir. Tersi de mümkündür. Bir finans ekibinde tek bir kişi haftada üç kez yapay zeka kullanıp aylık kapanış mutabakatının en can sıkıcı parçasını dört saatten kırk dakikaya indirmiş olabilir. Lisans tablosunda bu ikisi aynı görünür.
Ölçülmesi gereken birim kişi değil, görevdir. Görev seviyesinde ölçüm üç soruyu birden cevaplar: hangi işi devrettiniz, o işte ne değişti, bunu nereden biliyorsunuz. Üçüncü soruya cevabınız yoksa elinizde ölçüm değil, izlenim vardır.
Birinci adım: neyi ölçtüğünüzü görev olarak yazın
Ölçüme anketle değil, işin kendisiyle başlanır. Önce ekibin haftalık olarak ne yaptığını görev listesi haline getirin.
Ekibimin isini yapay zeka acisindan olcmek istiyorum.
Asagida ekibin haftalik olarak yaptigi isler var.
Her is icin su tabloyu kur:
(1) isin adi,
(2) haftada yaklasik kac kez tekrarlaniyor,
(3) yapay zekanin bu iste ustlenebilecegi somut parca,
(4) o parca devredilirse isin sonucu nasil degisir:
daha hizli, daha ucuz, daha iyi, ya da degismez,
(5) degisimi gosterecek tek olcu ne olurdu.
Besinci sutunda "kullanim orani" veya "lisans sayisi"
gibi olculer yazma; isin ciktisina bagli bir olcu yaz.
Isler: [ekibin haftalik islerini yazin]Bu tablonun en öğretici sütunu dördüncüsüdür. Listeye giren işlerin önemli bir kısmı için cevap "değişmez" çıkar. Bu iyi bir sonuçtur; ölçmeye değmeyecek yerleri baştan eler. Geriye kalan beş on satır, önümüzdeki üç ayın gerçek gündemidir.
İkinci adım: ekibe kişi değil görev sorun
Ekibin ne yaptığını ancak ekipten öğrenirsiniz. Ama soruyu yanlış sorarsanız cevabı da yanlış alırsınız. "Yapay zekayı ne sıklıkla kullanıyorsunuz" sorusu bir performans sorusu gibi duyulur ve herkes olduğundan yüksek cevap verir.
Ekibe gonderecegim kisa bir anket hazirla.
Amac kimin ne kadar kullandigini olcmek degil;
hangi islerde yapay zekanin ise yaradigini ogrenmek.
Kurallar:
- en fazla 8 soru,
- sorular kisi degil gorev sorsun,
- her soru tek bir seye baksin,
- "memnun musunuz" gibi genel sorular olmasin,
- en az iki soru ise yaramadigi yerleri sorsun,
- cevaplar isim istemeden toplanabilsin.
Her sorunun altina o sorunun ne ogretecegini
tek cumleyle yaz.
Ekip: [ekibin isi ve buyuklugu]İşe yaramayan yerleri soran iki soruyu atlamayın. Benimseme raporlarının en değerli kısmı burasıdır ve genelde hiç sorulmaz. Bir ekibin üç ayda denediği ve bıraktığı beş görev, başarılı olan iki görevden daha çok yol gösterir; nerede durmanız gerektiğini söyler.
Üçüncü adım: cevapları tekrar eden görevlere indirin
Serbest metin cevaplar tek tek okunduğunda herkes haklı görünür. Değerli olan, aynı görevin farklı kişilerce yazılmış olmasıdır.
Asagida bir anketten gelen serbest metin cevaplar var.
Cevaplari su bicimde topla:
(1) tekrar eden gorevler, en cok gecenden basla,
(2) her gorev icin kac kisi yazmis,
(3) her gorev icin ise yaradigini soyleyenlerin
verdigi somut ornek,
(4) ayni gorev icin ise yaramadigini soyleyen varsa
onun gerekcesi,
(5) tek kisiden gelen ve genellenemeyecek maddeler,
ayri bir baslik altinda.
Cevaplari ozetlerken cumle ekleme;
yazilmayan bir gorevi listeye koyma.
Cevaplar: [anket cevaplarini yapistirin]Dördüncü sütun genelde en ilginç bilgiyi taşır. Aynı görevde birinin işe yaradığını, diğerinin yaramadığını söylemesi modelin değil, girdinin farklı olduğunu gösterir. Çoğu zaman aradaki fark, birinin kurum belgesini yapıştırıp diğerinin yapıştırmamasıdır. Bu tek gözlem eğitim ihtiyacını bir cümleye indirir.
Dördüncü adım: kazanıldığı söylenen zamanı sınayın
Ekipler zaman tasarrufunu iyi niyetle abartır. Kimse yalan söylemez; sadece yeni yöntemin hızı hatırlanır, eski yöntemin süresi hatırlanmaz.
Asagida bir ekibin yapay zeka ile kazandigini
soyledigi zaman var.
Bu iddiayi sinamak icin sor:
(1) kazanilan zaman hangi ise ait ve o is
daha once kac dakika suruyordu,
(2) bu sure olculdu mu yoksa tahmin mi,
(3) kazanilan zaman nereye gitti: baska bir ise mi,
ayni isin kontroluna mi, yoksa belirsiz mi,
(4) isin kalitesi dustu mu, bunu ne gosterir,
(5) iddia dogruysa aylik toplamda ne eder,
yanlissa hangi olcum bunu ortaya cikarir.
Rakam uretme; eksik veriyi "olculmemis" diye isaretle.
Iddia: [ekibin soyledigi tasarrufu yazin]Üçüncü soru çoğu tasarruf iddiasını olduğu yerde bitirir. Bir işten kazanılan yarım saatin tamamı, aynı işin çıktısını kontrol etmeye gidiyorsa net kazanç sıfırdır. Bu kötü bir haber değil; kontrol maliyetini görünür kılmak, onu azaltmanın ilk şartıdır.
Beşinci adım: tek sayfalık aylık not
Benimseme ölçümü ancak düzenli ve kısa olursa yaşar. Otuz slaytlık çeyreklik sunum üçüncü çeyrekte hazırlanmaz olur.
Asagidaki verilerden tek sayfalik aylik
bir benimseme notu yaz.
Sirasiyla su basliklar olsun:
(1) bu ay yapay zekaya devredilen gorevler,
(2) her gorevde olculen degisim ve olcum yontemi,
(3) denenip birakilan gorevler ve birakilma nedeni,
(4) onumuzdeki ay denenecek tek yeni gorev,
(5) karar bekleyen tek soru.
Kisi adi kullanma, ekip duzeyinde yaz.
Olculmemis hicbir seyi basari olarak yazma;
bilinmeyeni "bilinmiyor" diye birak.
Veriler: [yukaridaki adimlarin ciktilarini yapistirin]Beşinci başlık bu notu bir rapordan yönetim aracına çevirir. Her ay tek bir karar sorusu üretmeyen ölçüm, ölçüm değil arşivdir.
Nerede durmak gerekir
Bu ölçümün üç sınırı var.
Birincisi, kişi bazlı izleme yapmayın. Kimin kaç kez giriş yaptığını, hangi soruyu sorduğunu gösteren bir tablo kurduğunuz an ölçüm bir denetim aracına dönüşür. O noktadan sonra topladığınız veri ekibin gerçekte ne yaptığını değil, ne yaptığını göstermek istediğini ölçer. Anketi isimsiz toplayın ve raporu ekip düzeyinde yazın.
İkincisi, model bu ölçümün içinde de uydurabilir. Anket cevaplarını özetlerken yazılmamış bir görev ekleyebilir, tasarruf hesabında olmayan bir rakam üretebilir. Promptlardaki "rakam uretme" ve "yazilmayan bir gorevi listeye koyma" satırları bunun için var. Karara girecek her sayıyı ham cevaplardan kendiniz kontrol edin.
Üçüncüsü, ölçüm işin kendisinden uzun sürmemeli. Beş görevi iyi ölçmek, elli görevi yüzeysel saymaktan değerlidir. Listeyi kısa tutun.
Bu hafta ne yapabilirsiniz
Ekibinizin haftalık işlerini bir sayfaya yazın ve birinci promptu çalıştırın. Yarım saat sürer. Çıkan tablodan "değişmez" satırlarını silin.
Kalan listeden üç görev seçin ve bu üç görev için ikinci promptun ürettiği anketi gönderin. Bir hafta bekleyin, üçüncü promptla cevapları toplayın.
Ay sonunda beşinci promptla tek sayfalık notu yazın. İlk notunuzun yarısı "bilinmiyor" diyecek. Bu doğru bir başlangıçtır; ikinci ayın notunda o satırların hangilerinin dolduğunu görmek, benimsemenin gerçek ölçüsüdür.
Yapay zeka benimsemesi ekibinizin kaç kişisinin hesabı olduğuyla değil, geçen ay hangi işi bir daha eskisi gibi yapmadığınızla ölçülür.