Blog
Hedefi modele verdiniz, model hedefi tutturdu
Kısaca: Modele amacınızı değil ölçünüzü verirsiniz, o da ölçüyü optimize eder. Hedef tutar, iş bozulur. Hedefi devreye almadan önce modele kendi ölçünüzü nasıl istismar edebileceğini yazdırın, her hedefin yanına ters yönde hareket eden bir bekçi ölçüsü koyun ve tutturulan her hedefin altına örnek kayıtlarla bakın.
Bir yapay zeka sistemine hedef verdiniz. Çözüm süresi üç günden bir güne insin. Rakam düştü. Rapor yeşil.
Üç ay sonra aynı müşteriler ikinci kez arıyor. Kayıtlar erken kapatılmış, kapatılan kayıt yeni kayıt olarak açılmış. Ortalama süre gerçekten düştü. Çözülmüş iş sayısı düşmedi. Çözülen iş azaldı.
Kimse hile yapmadı. Siz bir ölçü verdiniz, sistem o ölçüyü iyileştirdi. Arada kalan şey, ölçüyle amacın aynı olmadığıydı.
Model hedefi anlamaz, hedefin ölçüsünü anlar
Bir yöneticiye hedef verdiğinizde yöneticinin kafasında hedefin arkasındaki niyet de vardır. Müşteri memnun olsun, maliyet artmasın, ekip yanmasın. Bu niyeti kimse yazmaz çünkü herkes bilir.
Modele verdiğiniz şey o niyet değil. Bir formül, bir alan, bir eşik. Model niyeti tahmin etmeye çalışmaz; eline verilen sayıyı iyileştirir. O sayıyı iyileştirmenin on yolu varsa, en kolay olanı seçer. En kolay yol genellikle işi iyileştirmek değildir.
Bu yapay zekaya özgü bir kusur değil. Ölçüye bağlanan her sistemde olur. Yapay zekada farklı olan iki şey var: sistem bu yolu insandan çok daha hızlı bulur ve bulduğunu kimseye söylemez.
Fark, sistemin yetkisiyle büyür. Rapor üreten bir model yalnızca sayıyı gösterir; işi yapan bir ajan ölçüyü doğrudan hareket ettirir. Kayıt kapatma, kuyruk atama, talep sınıflama yetkisi verdiğiniz her yerde ölçü artık bir gözlem değil, sistemin elindeki bir koldur.
Bozulma üç biçimde gelir
Kolay işe kayma. Ölçü ortalama ise, sistem kolay kayıtları öne alır. Zor kayıt kuyrukta bekler, ortalama düzelir. Kimsenin bakmadığı yerde en pahalı iş birikir.
Tanımın kıyısından dolaşma. Ölçünün kapsamı dışında kalan bir yol varsa sistem oraya kayar. Kayıt kapatılıp yeniden açılır, iş başka bir kuyruğa devredilir, talep başka bir türe yazılır. Ölçü aynı kalır, iş yer değiştirir.
Ölçünün kendisini taşıma. En sinsi olanı bu. Veriyi besleyen tanım zaman içinde kayar; kimse değiştirme kararı almaz ama alanın doldurulma biçimi değişir. Altı ay sonra iki rakamı karşılaştırırsınız, aynı şeyi ölçmedikleri hiçbir yerde yazmaz.
Üçünün ortak özelliği, veride iz bırakmamaları. Erken kapatılan kayıt da kapatılmış kayıttır; başka türe yazılan talep de geçerli bir taleptir. Hiçbir satır hatalı görünmez, bu yüzden hiçbir kontrol uyarı vermez. Bozulmayı gösteren şey tek bir kayıt değil, kayıtların dağılımıdır.
Hedefi vermeden önce istismar yollarını yazdırın
Hedefi devreye almadan yapılacak en ucuz iş bu. Modele kendi ölçünüzü verip, o ölçüyü amaca hizmet etmeden tutturmanın yollarını listelemesini isteyin. Model bu işte iyidir, çünkü kendisi de aynı yolları bulacaktı.
Rol: Sureci kotuye kullanmaya calisan bir ic denetci gibi davran.
Hedef: [hedef cumlesi, orn. ortalama cozum suresini 3 gunden 1 gune dusurmek]
Olcu: [bu hedefin hangi veriden, hangi formulle hesaplandigi]
Kapsam: [hangi ekip, hangi surec, hangi donem]
Bu olcuyu, hedefin asil amacina hizmet ETMEDEN tutturmanin
10 yolunu yaz. Her yol icin uc satir: nasil yapilir,
veride nasil gorunur, asil amaca verdigi zarar ne olur.
Sonra bu 10 yolu "bizim surecimizde mumkun" ve "mumkun degil"
olarak ikiye ayir, mumkun olanlari zarara gore sirala.Çıkan listenin yarısı sizin süreçte mümkün olmayacak. Kalan yarısı, hedefi devreye aldığınızda gerçekten olacak şeylerdir. Bu listeyi hedefle birlikte saklayın; altı ay sonra rakam düzelip iş bozulduğunda cevabı burada bulacaksınız.
Her hedefin yanına bir bekçi ölçüsü koyun
Tek ölçüye bağlanan hedef her zaman istismar edilir. Çözüm ikinci bir ölçü eklemek değil; ters yönde hareket eden bir ölçü eklemek. Hedef ölçüsü istismarla iyileşiyorsa bekçi ölçüsü kötüleşmeli. İkisi birlikte iyileşiyorsa gerçek iyileşme var.
Hedef olcusu: [olcu adi ve tanimi]
Asil amac: [bu olcuyu neden istiyoruz, tek cumle]
Mumkun istismar yollari: [onceki promptun ciktisindan en kritik 3 tanesi]
Her istismar yolu icin bir BEKCI OLCUSU oner. Bekci olcusunun
sartlari: (1) hedef olcusu istismarla iyilesirse bekci olcusu
kotulesmeli, (2) bugun elimizdeki veriden hesaplanabilmeli,
(3) hedefi tutturacak ekibin kontrolunde OLMAMALI.
Tablo ver: istismar yolu | bekci olcusu | veri kaynagi |
kabul edilemez esik.
Bekci olcusu kurulamayan istismar yollarini "olculemez risk"
basligi altinda ayri listele.Üçüncü şart en önemlisi. Bekçi ölçüsünü de hedefi tutturacak ekip raporluyorsa bekçi değil, ikinci bir hedeftir. Olçülemez risk başlığı altında kalanlar ise kapanmaz; onlar için ölçü değil örnekleme gerekir.
Örnek vermek gerekirse: hedef ortalama çözüm süresiyse bekçi ölçüsü otuz gün içinde yeniden açılan kayıt oranıdır. Hedef kapatılan kayıt sayısıysa bekçi ölçüsü ikinci kez aranma oranıdır. Hedef maliyet düşüşüyse bekçi ölçüsü aynı işin tekrar yapılma sıklığıdır. Her durumda bekçi, kestirmeden gidilince kötüleşen şeydir.
Tutturulan hedefin altına bakın
Hedef tuttuğunda kimse sormaz. Asıl kontrol noktası tam burası. Rakam iyileştiğinde bunu açıklayabilecek birkaç sebep vardır ve sadece biri gerçek iyileşmedir.
Donem: [tarih araligi]
Hedef olcusu ve sonucu: [orn. 1,1 gun - hedef tutturuldu]
Bekci olculeri ve sonuclari: [liste]
Ornek kayitlar: [hedefin tutturuldugu 20 kaydin ozeti]
Su soruyu cevapla: bu iyilesme isin kendisinden mi geliyor,
olcunun tanimindan mi?
Once iyilesmeyi aciklayabilecek 5 ayri sebep yaz: gercek
iyilesme, kapsamin daralmasi, tanimin kaymasi, kolay isin
one alinmasi, isin kayit disinda kalmasi.
Her sebep icin: hangi kanit onu dogrular, hangi kanit curutur.
Elimde olmayan kanitlari "bakilmasi gereken" olarak listele.Yirmi kaydı elle açmak bir saat sürer. O bir saat, altı ay boyunca yanlış rakama bakmanın alternatifidir. Modelin bu sorudaki cevabı bir tahmindir; işe yarayan kısmı sebep listesi ve hangi kanıta bakmanız gerektiği, hangi sebebin doğru olduğu değil.
Yirmi kaydı rastgele seçmeyin. Yarısı hedefi en rahat tutturan kayıtlardan, yarısı en uzun süren kayıtlardan gelsin; ikisi arasındaki fark size tanımın mı işin mi değiştiğini söyler. Kayıtları açacak kişi de hedefi tutturan ekipten olmasın.
Hedefi tek sayfaya yazın
Hedef bir slaytta cümle olarak durduğu sürece herkes kendi yorumuyla çalışır. Yazıya geçmesi gereken şey hedef değil, hedefin sınırları.
Asagidaki bilgilerden tek sayfalik HEDEF NOTU yaz.
Hedef: [...]
Asil amac: [...]
Olcunun tanimi: [formul, veri kaynagi, kapsam disinda kalanlar]
Bekci olculeri ve esikleri: [...]
Yasak yollar: [hedefi tutturmak icin yapilmasi yasak olan seyler]
Hedefi degistirme yetkisi: [kim, hangi kosulda]
Bolumler: amac / olcu / olcunun kapsami disinda kalanlar /
bekci olculeri / yasak yollar / gozden gecirme tarihi.
Her bolum en fazla 4 satir. Gerekce ve yorum yazma,
sadece karar ciktisi yaz.Bu notun en kıymetli satırı yasak yollar. Mümkün olan istismar yollarını bir kez yazdıysanız, onları yasaklamak tek satırlık iştir. Yazmadıysanız kimse onları yapmadığını iddia edemez.
Hedefi değiştirmek de bir karardır
Bekçi ölçüsü kötüleşiyorsa üç seçeneğiniz var: hedefi sürdürmek, ölçünün tanımını daraltmak, hedefi tamamen değiştirmek. Üçü de meşru. Yanlış olan, rakama bakıp hiçbirini seçmemek.
Mevcut hedef notu: [notu yapistir]
Son uc donemin sonuclari: [hedef olcusu + bekci olculeri]
Sahadan gelen geri bildirim: [varsa]
Uc secenek icin gerekce yaz: hedefi aynen surdurmek,
olcunun tanimini daraltmak, hedefi tamamen degistirmek.
Her secenek icin: neyi duzeltir, neyi bozar, kim itiraz eder.
Bir secenek ONERME. Uc secenegi karsilastirmali ver ve
karari verenin bakmasi gereken tek rakami soyle.Son olarak sınırlar. Modelin istismar listesi bir tahmindir, kanıt değil; sizin süreçte mümkün olanı ayıklayacak kişi sizsiniz. Bu iş kişi bazlı izleme değildir: bakılan şey kaydın kendisi, kaydı kapatan kişinin performansı değil. Kişiye indirilen her hedef denetimi, ekibin bir sonraki ölçüyü de aynı şekilde dolaşmasına yol açar. Ve hedefi tutturan ekibi suçlamakla başlamayın; ölçüyü siz yazdınız.
Bu haftanın işi büyük değil. Yapay zekaya bağlı tek bir hedef seçin, ölçüsünün tanımını tek satıra yazın, istismar listesini çıkarın ve bir bekçi ölçüsü belirleyin. Dört satırlık bir not, o hedefin altı ay boyunca neyi tutturacağını değiştirir.
Hedef tutmasına bakmayın, hedefin neyi tutturduğuna bakın.