Blog
Modelin eskidiğini kimse size haber vermez
Kısaca: Bir yapay zeka modeli canlıya alındığı gün en iyi halindedir. Sonrasında sessizce kötüleşir, çünkü model bozulmaz; modelin öğrendiği dünya değişir. Çıktı hala makul göründüğü için kimse alarma geçmez. Eskimeyi zamanında görmek için ölçümü modelden önce kurmak, girdiyi çıktıdan bağımsız izlemek ve yeniden eğitimi takvime değil eşiğe bağlamak gerekir.
Model altı ay önce canlıya alındı. İlk haftalarda isabet oranı güzeldi, ekip memnundu, proje kapandı.
Bugün kimse şikayet etmiyor. Ama operasyon ekibi modelin önerisini artık okumadan geçiyor, iki kişi kendi tablosunu tutuyor, planlamacı "zaten biliyorum" diyor. Panoda hiçbir kırmızı ışık yok.
Model bozulmadı. İşini yapıyor. Sadece artık var olmayan bir dünyayı anlatıyor.
Model bozulmaz, dünya değişir
Bir model, eğitildiği dönemin fotoğrafıdır. O dönem bitince fotoğraf yanlış olmaz, sadece eskir.
Eskimenin üç ayrı yolu var ve üçü farklı şeyler.
Girdi değişir. Sahadaki form alanı değişir, tedarikçi ürün kodlarını yeniler, sayaç verisi başka bir sistemden akmaya başlar. Modelin gördüğü sayılar aynı adı taşır, aynı şeyi anlatmaz.
İlişki değişir. Tarife değişir, teşvik kalkar, müşteri davranışı kayar. Girdi aynıdır, girdi ile sonuç arasındaki bağ değişmiştir. Bu en sinsi olanıdır, çünkü yalnızca veriye bakarak görülmez.
Kullanım değişir. Model bir iş için kuruldu, altı ay sonra üç iş daha ona soruluyor. Model kötüleşmedi; kapsamının dışına taşındı.
Eskimenin üç sessiz belirtisi
Eskime nadiren isabet oranı grafiğinde görünür, çünkü çoğu kurumda o grafik canlıda hiç kurulmamıştır. Daha erken görünen üç belirti var.
Birincisi, elle düzeltme oranının artması. Kullanıcı modeli tartışmaz, sessizce düzeltir ve bu düzeltme hiçbir rapora girmez.
İkincisi, modelin kendinden emin kalmaya devam etmesi. Yeni durumları eskiye benzeterek yüksek güvenle yanıtlar. Güven ortalaması yükselirken isabetin düşmesi klasik bir eskime işaretidir.
Üçüncüsü, istisna sayısının azalması. Model "bu durumu bilmiyorum" demeyi bıraktıysa bu bir iyileşme değil, körleşmedir.
İzleme planı modelden önce yazılır
Canlıya alma toplantısında konuşulan şeyler genellikle erişim, entegrasyon ve kullanıcı eğitimi olur. İzleme, "sonra bakarız" kutusuna gider ve orada kalır.
Oysa izlenecek sayıya model canlıya çıkmadan karar verilmesi gerekir, çünkü karşılaştırma yapabilmek için ilk haftanın değerine ihtiyacınız olacak. O değer kaçtıktan sonra bir daha üretilemez.
Asagida canliya alacagim bir yapay zeka
modelinin tanimi var.
Bana bir IZLEME PLANI cikar. Icinde:
1) Bu modelin eskidigini gosterecek EN FAZLA
dort olculebilir sinyal; her birinin verisi
nereden gelecek.
2) Her sinyalin canliya alma anindaki BASLANGIC
DEGERI nasil olculecek.
3) Olcum sikligi: gunluk / haftalik / aylik.
4) Her sinyal icin bir ESIK ve o esik asilinca
kimin ne yapacagi.
5) Olculemeyecek ama onemli olan riskler;
bunlari "olculemiyor" basligi altinda topla.
Olcemeyecegim bir sinyal ONERME.
Model: [ne yapiyor, hangi karari besliyor, kim
kullaniyor, girdileri nereden geliyor]Bu planı pilot ekibi değil, işin sahibi onaylar. En çok tartışma dördüncü maddede çıkar: eşik koymak, birinin o eşik aşıldığında harekete geçmeyi kabul etmesi anlamına gelir. Eşiksiz izleme, panoya bakıp "ilginç" demekten ibaret kalır.
Girdiyi, çıktıyı beklemeden izleyin
Birçok işte modelin doğru olup olmadığı haftalar sonra belli olur. Bir tahminin tuttuğunu görmek için zamanın geçmesi gerekir ve o süre boyunca kör uçarsınız.
Girdi ise bugün elinizde. Girdinin dağılımı değiştiyse çıktının bozulması an meselesidir, üstelik bunu sonucu beklemeden görebilirsiniz.
Asagida bir modelin kullandigi girdi
alanlarinin listesi ve son uc ayin ozet
istatistikleri var.
Bana bir GIRDI KAYMASI KONTROLU yap:
1) Hangi alanda dagilim belirgin degismis
(ortalama, aralik, bos oran, yeni kategori
degeri).
2) Her degisim icin iki olasilik yaz: gercek bir
is degisikligi mi, veri akis hatasi mi.
3) Bu degisimin modelin ciktisini hangi yonde
bozmasi beklenir.
4) Hangi uc alani once kontrol etmeliyim.
Veride gormedigin bir degisimi VARSAYMA; emin
olmadigin yere "veri yetersiz" yaz.
Alanlar ve istatistikler: [yapistir]Bu kontrol aylık yarım saatlik bir işe dönüşür. Amaç istatistiksel bir kanıt üretmek değil, "bu alan artık eskisi gibi değil" cümlesini erken söylemek. Modelin kendisi bu analizi tek başına yapamaz, çünkü kendi girdisinin dışındaki değişikliği bilmez.
Yeniden eğitim takvim işi değil, eşik işi
"Modeli altı ayda bir yeniden eğitiriz" cümlesi kulağa disiplinli gelir, pratikte iki hata üretir. Hiçbir şey değişmemişken boşa maliyet çıkarır; bir şey değiştiğinde ise altı ay beklemenize sebep olur.
Doğru kural şudur: yeniden eğitim bir eşik aşıldığında tetiklenir. Takvim yalnızca kontrolün takvimidir, eğitimin değil.
Asagida canlida calisan bir modelin son alti
aylik performans ve kullanim verisi var.
Bana bir YENIDEN EGITIM ESIK NOTU cikar:
1) Hangi sayi, hangi degere dusunce yeniden
egitim tetiklenir (tek bir esik yaz).
2) Hangi durumda yeniden egitim DEGIL, modelin
kapsamini daraltmak dogru karardir.
3) Yeniden egitim icin gereken veri, sure ve
kesinti.
4) Yeniden egitim yapilmazsa onumuzdeki alti
ayda olusacak maliyet veya risk.
Ucuncu ve dorduncu maddeyi yan yana karsilastir,
sonra tek cumlelik bir oneri yaz.
Veri: [yapistir]Bu notun en değerli kısmı dördüncü maddedir. Yeniden eğitimin maliyeti genellikle hesaplanır; eski modelle devam etmenin maliyeti hiç yazılmaz. İkisi yan yana durmadan bu karar verilemez, sadece ertelenir.
Şikayet bir ölçüm kanalıdır
Eskimenin ilk işaretleri panoya değil koridora düşer. "Artık güvenmiyorum", "ben kendim kontrol ediyorum", "sabah vardiyasında tutmuyor". Bu cümleler ölçüm verisidir ama hiçbir yere kaydedilmez.
Burada bir sınır var. Amaç kimin modeli kullanmadığını tespit etmek değil; kişi bazlı kullanım takibi izlemeyi gözetlemeye çevirir ve geri bildirimi tamamen susturur. İzlenecek şey kalıptır: hangi iş, hangi durum, hangi saat.
Asagida bir model hakkinda kullanicilardan gelen
serbest metin geri bildirimler var.
Bana KALIP ANALIZI yap:
1) Sikayetleri konusuna gore grupla (en fazla
bes grup).
2) Her grup icin: hangi is adimi, hangi durum,
kac kez tekrarlanmis.
3) Her grubun eskime belirtisi mi, egitim eksigi
mi, kapsam disi kullanim mi oldugunu isaretle.
4) Her isaretlemenin yanina metinden ALINTI koy.
Kurallar:
- Kisi adi, kullanici kimligi veya unvan YAZMA,
sadece rol duzeyinde grupla.
- Alinti ile destekleyemedigin aciklamayi
"hipotez" olarak isaretle.
Geri bildirimler: [yapistir]Çıktıyı okurken dikkatli olun: model şikayetlerden sebep üretmeye çalışır ve metinde olmayan bir açıklama uydurabilir. Prompt bu yüzden alıntı istiyor. Alıntıyla desteklenmeyen her açıklamayı hipotez olarak işaretleyin, bulgu olarak değil.
Tek sayfalık eskime kartı
Canlıda bir modelden fazlası varsa, hangisinin ne zaman kontrol edileceğini kimse hatırlamaz. Her model için tek sayfalık bir kart bu işi görür.
Asagida canlida calisan bir modelin bilgileri
var. Bana TEK SAYFALIK ESKIME KARTI yaz.
Basliklar:
- Model adi ve hangi karari besliyor
- Egitim verisinin donemi
- Kapsam: hangi is, hangi is DISI
- Izlenen uc sayi ve bugunku degerleri
- Yeniden egitim esigi
- Son kontrol tarihi, sonraki kontrol tarihi
- Kart sahibi rol (yapay zeka ekibi olamaz)
- Bu model yarin kapanirsa is nasil yurur
En fazla bir sayfa. Bilinmeyen alana "bilinmiyor"
yaz, tahmin uretme.
Model: [yapistir]Kartı doldurmak yarım saat sürer. Değerini de o yarım saatte değil, bir yıl sonra birisi "bu modele hala güvenebilir miyiz" diye sorduğunda gösterir.
Bir modelin en tehlikeli hali bozulmuş olması değil; eskimiş olduğu halde hala ikna edici görünmesidir.