Blog
Pilot bitti, fayda tartışmalı: taban çizgisini ölçmediniz
Kısaca: Pilot bittiğinde fayda tartışması çıkıyorsa sorun pilotta değil, pilottan önce ölçüm yapılmamasındadır. Elinizde "önceki hali" yoksa her sonuç yoruma açıktır ve tartışmayı en yüksek sesli kişi kazanır. Taban çizgisi büyük bir ölçüm projesi değildir; bir hafta, bir iş ve dört sayıdır. Aşağıda taban çizgisini çıkarmaktan pilot sonrası karşılaştırma notuna kadar beş kopyala-yapıştır prompt var. Ölçülmemiş bir pilotun sonucu her zaman tartışmalıdır, iyi gitse bile.
Pilot sona erdi. Ekip memnun, ekrandan güzel örnekler var, birkaç kişi "artık eskisine dönemeyiz" diyor. Toplantıda ilk soru geliyor: ne kadar kazandık.
Cevap veren olmuyor. Birisi "ciddi zaman kazandırdı" diyor. Birisi "aslında kontrol süresi arttı" diyor. İkisi de haklı olabilir, çünkü ikisi de aynı şeye bakıyor: hafızaya. Pilottan önceki hali hiç kimse yazmamıştır.
Bu, pilotun başarısız olduğu anlamına gelmez. Sonucun kanıtlanamaz olduğu anlamına gelir. İkisi yönetim masasında aynı kapıya çıkar: bütçe isteyen kişi elinde hikaye taşır, sayı taşımaz.
Fayda tartışmasının asıl sebebi pilot değil
Yapay zeka pilotlarının çoğu teknik olarak çalışır. Çıktı üretilir, insanlar kullanır, kimse "olmadı" demez. Tartışma pilotun ne yaptığında değil, neyin yerine geçtiğinde çıkar.
Çünkü bir işi devralan sistem, o işi olduğu gibi devralmaz. Bazı adımları ortadan kaldırır, bazılarını kısaltır, bir tanesini de yeni baştan yaratır: doğrulama. Pilot öncesi ölçüm yoksa bu üç etkiyi birbirinden ayıramazsınız ve toplamda ne olduğunu söyleyemezsiniz.
Taban çizgisi bu yüzden bir raporlama zorunluluğu değil, bir karar aracıdır. Pilotu devam ettirme, kapatma ya da yayma kararını verecek kişinin elinde iki kolon olmalıdır: önce ve sonra. Tek kolonlu tablo karar üretmez, kanaat üretir.
İyi haber şu: taban çizgisi pahalı değildir. Pahalı olan, pilot bittikten sonra geriye dönüp "aslında eskiden ne kadar sürüyordu" diye tahmin yürütmektir. O tahminler her zaman pilotun lehine çıkar ve tam bu yüzden kimse onlara inanmaz.
Birinci adım: işi pilot başlamadan ölçün
Ölçüme başlamanın doğru zamanı pilot kararının alındığı gün, kurulum başlamadan öncedir. Ölçmek istediğiniz şey "verimlilik" değil, tek bir iştir: hangi işi, kaç kere, ne kadar sürede yapıyorsunuz.
Bir yapay zeka pilotu baslatmak uzereyim.
Pilotun devralacagi is: [isin tek cumlelik tanimi]
Yap:
1) Bu is icin pilot ONCESI olculmesi gereken en
fazla dort sayiyi sec. Her sayi icin: adi,
birimi, nasil olculecegi, kim olcecek.
2) Her sayi icin verinin su anda nerede oldugunu
yaz: sistemde var, elle tutulmasi gerekir,
hic yok.
3) "Hic yok" cikan sayilar icin bir hafta boyunca
elle tutulabilecek en basit kayit formunu
tasarla (en fazla bes alan).
4) Olcmeye calismamam gereken, pilotla iliskisi
zayif sayilari ayri bir listede say.
Kisi bazli performans olcumu onermeyecek, olcumu
gorev duzeyinde tutacaksin.Dört sayı sınırı keyfi değil. Daha fazlasını isteyen taban çizgisi hiçbir zaman toplanmaz; ölçüm işi pilotun kendisinden ağır gelir ve ilk hafta bırakılır. Dört sayı bir hafta boyunca bir kişinin elle tutabileceği yüktür.
Dikkat edeceğiniz çıktı dördüncü listedir. Modelden "ölçmeye çalışmayın" dediği şeyleri de istemenizin sebebi şu: kapsamı daraltan şey, ölçülecekler listesi değil, ölçülmeyecekler listesidir.
İkinci adım: süreyi tek sayı olarak almayın
"Bu iş iki saat sürüyor" cümlesi neredeyse hiçbir zaman doğru değildir. İki saat, işi yapan kişinin masasında geçen süredir. Toplam süre genellikle çok daha uzundur ve içinde bekleme vardır: onay bekleme, veri bekleme, cevap bekleme.
Pilot bu iki süreye çok farklı davranır. Masada geçen süreyi kısaltır, bekleme süresine genellikle hiç dokunmaz. Taban çizgisini tek sayı olarak alırsanız bu farkı göremezsiniz ve pilotun sonucu olduğundan iyi ya da olduğundan kötü görünür.
Asagida bir isin nasil yapildigini anlatiyorum.
Yap:
1) Isi adimlara ayir. Her adim icin: kim yapiyor,
tahmini sure, bu sure aktif calisma mi yoksa
bekleme mi.
2) Toplam aktif sure ve toplam bekleme suresini
ayri ayri topla.
3) Hangi adimlarin yapay zekayla kisalabilecegini,
hangilerinin kisalmayacagini isaretle ve
sebebini tek satirda yaz.
4) Sadece bekleme oldugu icin uzayan adimlari
ayrica listele; bunlar pilotla cozulmez.
Tahmin ettigin sureleri "tahmin" olarak isaretle,
kesin veri gibi sunma.
Isin anlatimi: [yapistir]Bu promptun en işe yarar çıktısı dördüncü listedir. Orada çıkan adımlar pilotun çözmeyeceği adımlardır; onları pilota yüklerseniz pilot haksız yere başarısız görünür. Çoğu kurumda bu listede en az bir onay adımı vardır ve o adım bir yazılımla değil, bir imza yetkisiyle çözülür.
Üçüncü adım: kaliteyi de taban çizgisine koyun
Süre ölçmek kolay olduğu için çoğu taban çizgisi süreden ibaret kalır. Sonra pilot süreyi kısaltır, kimse itiraz edemez, ama altı ay sonra işin kalitesi düştüğü için geri dönülür. Düşüşün ne zaman başladığı bilinmez, çünkü başlangıçtaki kalite de hiç yazılmamıştır.
Kalite burada soyut bir kavram değil. Ölçülebilir hali şudur: kaç iş geri döndü, kaç iş düzeltildi, kaç iş eksik çıktı.
Bir isin pilot oncesi KALITE taban cizgisini
cikarmak istiyorum.
Is: [isin tanimi]
Cikti: [ciktinin ne oldugu, kime gidiyor]
Yap:
1) Bu cikti icin "hatali" sayilacak durumlari
somut olarak tanimla (en fazla bes madde).
2) Her madde icin nasil sayilacagini yaz: kim fark
eder, nerede kayda geciyor, su anda kayda
geciyor mu.
3) Bir hafta boyunca doldurulacak tek sayfalik
kayit formu tasarla: tarih, is no, hata var mi,
hangi madde, kim fark etti.
4) Hic kayda gecmeyen hata turlerini ayri yaz;
bunlar pilot sonrasi da gorunmeyecek.
Tanimlari benim verdigim bilgiyle sinirli tut,
kendi varsayimlarini hata turu olarak yazma.Bu formun bir hafta boyunca dolması, pilotun tamamından daha çok şey öğretir. Çoğu kurum burada ilk kez şunu görür: pilot öncesi hata oranı da sıfır değildi. Pilot sonrası hataları tartışmanın tek dürüst yolu, öncesini bilmektir.
Dördüncü adım: kabul eşiğini pilot bitmeden yazın
Taban çizgisinin tek başına bir faydası yok. Eşik olmadan iki kolonlu tablo da tartışma üretir: biri "yüzde on iyileşme az" der, biri "çok" der. Eşik, bu cümlelerin pilottan önce söylenmesi demektir.
Asagida bir pilotun taban cizgisi sayilari var.
Yap:
1) Her sayi icin pilotun BASARILI sayilmasi icin
gereken esigi oner ve gerekcesini tek satirda
yaz.
2) Hangi sayida kotulesme olursa pilotun diger
sayilarda iyilesse bile kabul edilmemesi
gerektigini belirt (kirmizi cizgi).
3) Olcum suresini ve kac is uzerinden olculecegini
yaz.
4) Esikleri karsilamayan ama kismen iyilesen
senaryoda ne yapilacagini tek cumleyle yaz:
uzat, daralt, kapat.
Taban cizgisi: [yapistir]Buradaki kritik madde kırmızı çizgidir. Çoğu pilot, bir sayıyı iyileştirip bir başkasını sessizce kötüleştirir; en sık kötüleşen sayı da doğrulama emeğidir. Kırmızı çizgi yazılmadıysa o kötüleşme pilot bittikten sonra kimsenin gündemine girmez.
Beşinci adım: sonucu tek sayfaya indirin
Pilot bittiğinde elinizde ham veri olacak. Karar verecek kişi ham veriyi okumaz. Ölçtüğünüz şeyin karara dönüşmesi için iki kolon, bir eşik ve bir öneriden oluşan tek sayfaya ihtiyacınız var.
Asagida bir pilotun oncesi ve sonrasi sayilari,
onceden yazilmis esikler ve kirmizi cizgi var.
Yap:
1) Tek tablo kur: sayi, once, sonra, esik,
karsilandi mi.
2) Karsilanmayan her satir icin sebebi bir cumleyle
yaz; sebep bilinmiyorsa "bilinmiyor" yaz.
3) Kirmizi cizgi asildi mi, tek satirda belirt.
4) Uc secenekli oneri ver: yay, daralt, kapat.
Her secenek icin dayanak olarak hangi satiri
kullandigini yaz.
5) Elindeki veriyle cevaplanamayan sorulari ayri
listele.
Veride olmayan hicbir sayiyi uretmeyeceksin.
Veri: [yapistir]Son madde bu promptun en önemli kısmıdır. Model, eksik veriyi doldurmaya çok yatkındır; tabloda boş kalan bir hücreyi makul görünen bir sayıyla kapatabilir. Bu yüzden "veride olmayan sayıyı üretme" talimatı ve beşinci listedeki cevaplanamayan sorular, çıktının güvenilir kısmını işaretler.
Nerede durmalı
Taban çizgisi ölçümü kişi ölçümüne çok kolay dönüşür. Aynı veri, "bu iş ne kadar sürüyor" sorusunun cevabıdır ama "kim yavaş çalışıyor" sorusunun da cevabı gibi okunabilir. Ölçümü görev düzeyinde tutun, kayıtları kişi adıyla değil iş numarasıyla tutun ve ekibe ölçümün ne için yapıldığını başta söyleyin. Kişi bazlı izleme şüphesi doğduğu anda kayıtların doğruluğu biter.
İkinci sınır modelin kendisinde. Taban çizgisi tahminlerinde model son derece ikna edici sayılar üretir: "bu iş tipik olarak kırk dakika sürer" gibi. Bu sayılar sizin verinizden değil, genel kalıplardan gelir. Tahminleri tahmin olarak işaretletin ve pilot kararını yalnızca kendi ölçtüğünüz sayılara dayandırın.
Bir pilotun en pahalı sonucu başarısızlık değil, sonucunun hiç bilinememesidir.