Blog
Tahmin doğru çıkıyor ama kimse ona göre karar vermiyor
Kısaca: Kurumların çoğu yapay zekadan tahmin alıyor: talep, arıza, kayıp, fiyat. Tahminin isabeti her çeyrek biraz daha artıyor ama sahadaki karar aynı kalıyor. Sorun genellikle modelde değil, tahminle karar arasında kimsenin yazmadığı eşikte. Aşağıda o boşluğu iki haftada kapatmanızı sağlayan beş prompt var.
Bir yapay zeka projesinin en kolay kısmı tahmin üretmektir. Veri bulunur, model kurulur, isabet ölçülür, sunum yapılır. Sunumdaki grafik iyidir. Altı ay sonra aynı ekip tekrar toplanır ve birisi şunu sorar: bu tahmine göre ne yapıyoruz?
Cevap çoğu zaman yoktur. Tahmin bir ekrana düşer, haftalık rapora bir satır olarak girer, kimse ona bakarak farklı bir şey yapmaz. Model çalışır, karar çalışmaz. Enerji şirketlerinde bunun tipik hali şudur: arıza ihtimali yüksek görünen bir hat vardır, ekipler yine planlanmış sırayla gider.
Tahmin bir cevap değil, bir girdidir
Tahminin bir sayı üretmesi kararın verildiği anlamına gelmez. Karar, o sayının bir eşiği aşması durumunda kimin ne yapacağının önceden yazılmış olmasıdır. Eşik yazılmamışsa tahmin sadece bilgi olarak kalır ve bilgi kimseyi harekete geçirmez.
Bu boşluğu modelden kapatmasını beklemek de işe yaramaz. Model size olasılık verir; olasılığın hangi noktadan sonra iş emri haline geleceği teknik değil, yönetsel bir karardır. Kaç ekip var, ne kadar sürede gidiyorlar, boşa gidilen bir ziyaretin bedeli ne, gidilmeyen bir arızanın bedeli ne. Bu soruların hiçbirinin cevabı veri setinde yoktur.
İyi haber şu: bu boşluğu kapatmak yeni bir model gerektirmez. Elinizde çalışan bir tahmin varsa, eksik olan birkaç sayfalık karar tanımıdır ve bunu yazmak için yapay zekayı bu sefer doğru işte kullanabilirsiniz.
Birinci adım: tahminin hangi kararı beslediğini yazın
Önce dürüst bir envanter gerekir. Kurumda üretilen her tahmin çıktısı için tek soru vardır: bu olmasaydı kim neye bakarak karar verirdi? Cevap "aynı şeye bakarak" ise o tahmin hiçbir şeyi değiştirmiyordur.
Asagida kurumumuzda uretilen bir tahmin ciktisi var.
Bu tahmin icin su dort soruyu ayri ayri cevapla:
(1) bu tahmin hangi kararin girdisi,
(2) o karari kim veriyor ve ne siklikta veriyor,
(3) tahmin hic uretilmeseydi o kisi
neye bakarak karar verirdi,
(4) tahmin degistiginde karar da degisir mi,
degismiyorsa neden degismiyor.
Cevaplarini tahmin ciktisindaki alan adlarina dayandir.
Bilmedigin yeri "bilgi yok" diye isaretle, uydurma.
Tahmin ciktisi: [tahmin ciktisinin ornegini yapistirin]Dördüncü soru envanterin asıl işidir. Cevabı "değişmez" olan her tahmin, bakımı yapılan ama kullanılmayan bir varlıktır. Çoğu kurumda bu listenin uzunluğu ilk şaşırtan sonuçtur; üretilen tahminlerin bir kısmı hiçbir kararın girdisi değildir ve kimse bunu yüksek sesle söylememiştir.
İkinci adım: eşiği model değil, siz belirleyin
Eşik tartışması genellikle "yüzde kaçtan sonra müdahale edelim" diye başlar ve orada tıkanır, çünkü tek bir doğru cevap yoktur. Doğru yöntem tek eşik aramak değil, birkaç eşik senaryosunun sonucunu yan yana koymaktır.
Bir tahmin ciktisi ve buna bagli bir karar var.
Karari tetikleyecek esigi tartismak icin
asagidaki tabloyu doldur:
- esik degeri,
- esik asilinca yapilacak tek somut is,
- o isi yapacak rol,
- esigin altinda kalindiginda yapilacak is
(bos birakma; "hicbir sey" de bir karardir, onu yaz).
Tabloyu uc farkli esik senaryosu icin doldur:
temkinli, dengeli, agresif.
Hangisini secmem gerektigini soyleme;
uc senaryonun sonucunu karsilastir.
Karar: [karari yazin]
Tahmin ciktisi: [tahmin ciktisini yapistirin]Parantez içindeki kural önemlidir. Eşiğin altında ne yapılacağı yazılmadığında ekipler kendi yorumlarını koyar ve tahminin altındaki vakalar sessizce görmezden gelinir. "Hiçbir şey yapılmaz, listede kalır" cümlesini yazmak, yapılmayan işi de bir karar haline getirir.
Üçüncü adım: yanılmanın iki yönü aynı fiyata mal olmaz
Eşiği belirleyen şey isabet oranı değil, hata maliyetinin yönüdür. Boşuna giden bir ekibin maliyeti ile gidilmeyen bir arızanın maliyeti birbirine eşit değildir; birisi bir günlük iş gücü, diğeri kesinti, güvenlik riski ve düzenleyici bildirimdir. Bu asimetri yazılmadan seçilen her eşik tesadüftür.
Asagidaki karar icin iki hata turunu ayri ayri incele:
(1) tahmin yuksek cikti, gereksiz is yapildi,
(2) tahmin dusuk cikti, gereken is yapilmadi.
Her hata turu icin su uc seyi yaz:
- hatanin somut sonucu (kim, ne yasar),
- sonucun ne kadar surede geri alinabilir oldugu,
- hatanin fark edilme suresi.
Sonunda iki hatanin maliyeti arasinda asimetri var mi,
varsa hangi yonde oldugunu tek cumleyle yaz.
Para tutari uretme; sadece sonuc, geri alinabilirlik
ve fark edilme suresi uzerinden konus.
Karar: [karari yazin]
Baglam: [sureci kisaca anlatin]Para tutarı istememenizin sebebi var: model tutar sorulduğunda uydurur ve uydurduğu rakam sunumda gerçek gibi dolaşmaya başlar. Geri alınabilirlik ve fark edilme süresi ise sizin bildiğiniz, doğrulanabilir şeylerdir. Zaten eşiği belirleyen de asıl bunlardır. Geri alınamayan ve geç fark edilen hata yönünde daha temkinli davranırsınız; bu kadar basittir.
Dördüncü adım: sahaya tahmin değil, talimat gitsin
Karar tanımı ofiste kalırsa hiçbir şey değişmez. Sahadaki ekibin eline olasılık değil, ne yapacağı gitmelidir. Ekran üzerinde yüzde gösteren bir sistem, ekibin o yüzdeyi kendi tecrübesiyle yeniden yorumlamasına ve sonuçta eski alışkanlığa dönmesine yol açar.
Asagidaki esik tablosunu ve karar tanimini
sahadaki ekibin kullanabilecegi
tek sayfalik bir talimat kartina cevir.
Kartta su bolumler olsun:
(1) bugun ne yapilacak (en fazla uc madde),
(2) hangi durumda durup sorulacak,
(3) tahmin verisi gelmezse ne yapilacak,
(4) tahmine ragmen sahada aksi gorulurse
kimin karari gecerli.
Kartta model, olasilik, skor gibi terim kullanma.
Emir kipiyle yaz, gerekce yazma.
Esik tablosu: [ikinci adimin ciktisini yapistirin]Üçüncü ve dördüncü maddeler kartın en çok kullanılan kısımları olacaktır. Veri akışı bir gün kesilir; kartta yazmıyorsa o gün herkes durur. Sahadaki teknisyen tahminin göremediği bir şeyi görür; kimin kararının geçerli olduğu yazmıyorsa o gerilim her seferinde yeniden yaşanır.
Beşinci adım: haftada bir, üç sütun
Tahmin sistemlerinin gözden geçirmesi genellikle isabet oranıyla yapılır. İsabet oranı modelin karnesidir, kurumun değil. Kurumun karnesi tahminle kararın ne sıklıkta aynı yöne baktığıdır.
Asagida son bir haftanin tahminleri,
alinan kararlar ve gerceklesen sonuclar var.
Uc sutunlu bir liste cikar:
(1) tahmin dogruydu ve karar ona gore alindi,
(2) tahmin dogruydu ama karar degismedi,
(3) tahmin yanildi ve karar ona gore alindi.
Her satir icin veriden ilgili degeri aynen alintila.
Ikinci sutundaki satirlar icin kararin neden
degismedigine dair veride gorunen tek bir isaret
varsa yaz, yoksa "veride gorunmuyor" yaz.
Yeni esik onerme.
Veri: [haftalik tahmin-karar-sonuc kaydini yapistirin]İkinci sütun bu promptun bütün değeridir. Model doğru bildiği halde kararın değişmediği her satır, ya eşiğin yanlış yerde olduğunu ya da kartın sahaya ulaşmadığını söyler. Üçüncü sütun ise farklı bir işe yarar: modelin yanıldığı ama kararın yine de ona göre alındığı durumlar, sistemin ne kadar körü körüne takip edildiğini gösterir. İkisi de haftada yirmi dakikada okunur.
Nerede durmak gerekir
Bu çalışma bir performans ölçüm aracı değildir. Üçüncü sütundaki satırlara bakıp "şu ekip talimata uymamış" listesi çıkarırsanız bir hafta sonra kimse gerçek veriyi girmez ve elinizde düzgün görünen, işe yaramayan bir kayıt kalır. Gözden geçirmenin konusu karar kuralıdır, kişi değil.
Modelden hata maliyeti, ceza tutarı ya da düzenleyici sonuç sormayın. Bunlar sizin mevzuatınıza ve sözleşmelerinize bağlıdır, model bilmediği yeri makul görünen bir cümleyle doldurur ve o cümle eşiğinizi belirlemeye başlar. Bu bilgiler işin içindeki hukuk ve düzenleme tarafından gelir.
Son olarak, bu yöntem tahminin kendisini iyileştirmez ve iyileştirmeyi de hedeflemez. Modeliniz zayıfsa zayıf kalır; ama en azından ne kadar zayıf olduğunu, kararları hangi yönde bozduğunu haftalık olarak görürsünüz. Çoğu kurumda asıl kazanç da buradan çıkar.
Kimsenin kararını değiştirmeyen bir tahmin, ne kadar isabetli olursa olsun bir rapor satırıdır.