Blog
Model yanlış cevap verdi, kimse söylemedi
Kısaca: Model yanlış cevap verdiğinde çalışan onu sessizce düzeltip işine devam ediyor. Hiçbir kayıt oluşmuyor. Bu yüzden elinizdeki hata oranı bir ölçüm değil, bir izlenimdir ve aynı hata aylarca tekrar eder. Bildirim kanalı kurmadan modelin nerede yanıldığını öğrenemezsiniz.
Yapay zeka kullanımınızın hata oranını sorun. Çoğu kurumda gelen cevap bir sayı değildir: genelde iyi, bazen saçmalıyor.
Bu cevabın sebebi basit. Kimse yanlış cevabı bir yere yazmıyor. Model yanıldığında çalışan düzeltiyor, işi bitiriyor, geçiyor. Olay kapanmış görünür, oysa yalnızca kayıt dışı kalmıştır.
Yanlış cevabı size kimse söylemiyor
Dört sebebi var ve dördü de makul.
Birincisi, düzeltmek bildirmekten kolay. Çalışan cevabın yanlış olduğunu iki saniyede görüyor, elle düzeltmek bir dakika sürüyor. Bildirim yazmak beş dakika sürüyor ve işi ilerletmiyor.
İkincisi, nereye bildirileceği belli değil. Araç bilgi teknolojilerinin mi, inovasyonun mu, tedarikçinin mi sorumluluğunda belli değilse bildirim gidecek bir adres bulamıyor.
Üçüncüsü, bildirmenin bir karşılığı görülmemiş. Bir kez bildiren ve hiçbir şey değişmediğini gören kişi ikinci kez bildirmez. Bu bir kişilik sorunu değil, doğru bir öğrenmedir.
Dördüncüsü ve en az konuşulanı: bildirim şikayet gibi algılanıyor. Aracı kuruma getiren kişi hatayı duyurmakta isteksizdir, çünkü hata onun önerisini zayıflatır. Aracı savunan kişiyle hatayı raporlayacak kişi aynıysa, hiç rapor gelmez.
Sonuç şu olur: sadece zarar veren hataları duyarsınız. Müşteriye yanlış bir cümle gittiyse, bir karar yanlış sayıya dayandıysa duyarsınız. Küçük hatalar hiç duyulmaz. Oysa benimsemeyi bitiren küçük hatalardır; insanlar araca birden değil, yavaşça güvenmeyi bırakır.
Kaydın olmamasının ikinci bedeli tekrardır. Bir kullanıcının keşfettiği hata hiçbir yere yazılmadığı için ikinci kullanıcı aynı hatayı baştan keşfeder, üçüncüsü de. Kurum aynı bilgiyi onlarca kez satın alır ve hiçbirini saklamaz. Modelin nerede yanıldığını bilen kişi sayısı artar, bunu yazan kişi sayısı sıfır kalır.
Bildirim kanalını işin içine koyun
Kurum içi portalda duran bir form kanal değildir. Bildirim, cevabın görüldüğü yerde ve yirmi saniyede verilebilir olmalı. Alan sayısı dörtten fazla olursa doldurulmaz.
Bir yapay zeka kullanimi icin hatali cevap bildirim formu tasarla.
Kullanim: [kullanimin adi ve ne yaptigi]
Kullanici rolu: [rol]
Bildirimi verecegi an: [cevabi gordugu ekran / sohbet / e-posta]
Kurallar:
- En fazla 4 alan olsun ve doldurma suresi 20 saniyeyi gecmesin
- Alanlarin en az biri serbest metin OLMASIN, secenekli olsun
- Dogru cevabin ne oldugunu soran bir alan MUTLAKA olsun
Her alan icin neden gerekli oldugunu tek cumleyle yaz ve
sormaktan vazgectigin alanlari da gerekcesiyle listele.
Bu prompt formu kısaltmaya zorlar. Kendi başınıza tasarladığınızda form büyür; modele üst sınır verdiğinizde hangi alanın gerçekten gerekli olduğunu tartışmak zorunda kalırsınız. Doğru cevabı soran alan en kıymetlisidir: düzeltmeyi yapan kişi onu zaten biliyor, sormazsanız bilgi sizde kalmaz.
Kanalı kurmak kolay, işletmek zordur. Kurmadan önce tek soruyu cevaplayın: gelen bildirimi kim okuyacak ve bildirene kim dönecek. Adı belli bir kişi yoksa kanal bir hafta içinde ölür. Cevap tek cümle olabilir, hatta düzeltmeyeceğinizi söyleyen bir cümle olabilir; cevapsızlık kabul edilmez.
Gelen bildirimleri üç kovaya ayırın
Bildirimler toplanmaya başladığında hepsi aynı şey gibi görünür. Değildir. Üç ayrı arıza tipi vardır ve üçünün çözümü farklıdır.
Birincisi uydurma: modelin kaynağı olmayan bir bilgiyi emin bir dille vermesi. Çözümü kaynak zorunluluğu ve bilmediğini söylemesine izin vermektir.
İkincisi eski ya da yanlış kaynak: model doğru çalışıyor, bağladığınız belge yanlış. Çözümü modelde değil, belge bakımındadır.
Üçüncüsü yanlış anlama: soru ile verilen cevap birbirini tutmuyor, biçim istenenden farklı. Çözümü talimatta ve örnektedir.
Asagida bir yapay zeka kullanimina gelen hata bildirimleri var.
Bildirimler: [listeyi yapistir]
Her bildirimi su uc kovadan birine koy:
UYDURMA (kaynagi olmayan bilgi)
KAYNAK (bagli belge eski ya da yanlis)
ANLAMA (soruyla cevap uyusmuyor, bicim yanlis)
Hangi kovaya koydugunu tek cumleyle gerekcelendir.
Emin olamadigin bildirimleri AYRIMSIZ olarak isaretle, zorlama.
Sonunda kova basina sayiyi ve en sik tekrar eden uc ornegi ver.
Ayrımsız çıkan bildirimleri eleme sayma. Genelde formun eksik olduğunu gösterirler ve formu düzeltmek için en iyi girdidir.
Kova dağılımının kendisi de bir teşhistir. Bildirimlerin çoğu kaynak kovasındaysa sorununuz yapay zekada değil, belge düzeninizdedir. Çoğu anlama kovasındaysa talimatınız eksiktir ve bu en hızlı düzelen tiptir. Çoğu uydurma kovasındaysa modele cevap vermek zorunda bırakılan bir soru tipi var demektir; orada düzeltilecek şey prompt değil, kullanımın sınırıdır.
Haftada yarım saat triyaj yeter
Her bildirim düzeltilmez. Bazıları kabul edilir, bazıları kapatılır. Önemli olan bu kararın bir yerde verilmesi ve bildirenin cevabı görmesidir.
Enerji tarafında bu daha da kritik. Sahadan gelen bir bildirim, ekranda çalışan bir kullanıcının bildiriminden çok daha pahalı toplanmıştır; karşılığı görülmezse o kanal bir daha açılmaz.
Asagidaki hata bildirimleri icin haftalik triyaj listesi uret.
Bildirimler ve kovalari: [liste]
Her bildirim icin: etkilenen is sayisi [tahmin], hatanin
fark edilmezse yarattigi sonuc [tek cumle]
Her bildirimi DUZELT / KABUL ET / KAPAT olarak etiketle:
DUZELT = sonucu agir ya da tekrar ediyor
KABUL ET = sonucu hafif, maliyeti duzeltmekten dusuk
KAPAT = hata degil, beklenti yanlis
DUZELT satirlarini en fazla uce indir ve digerlerini neden
beklettigini tek cumleyle yaz.
Üç maddeyle sınırlamak bilerek konulmuş bir kısıt. Haftada on düzeltme listesi yazan ekip hiçbirini bitirmez.
Kabul ettiğiniz hatayı da yazın. Bilinen ve kabul edilmiş bir hatayı kullanıcıya söylemek, onu her seferinde yeniden bildirmesini engeller ve güveni bozmaz. Kullanıcıyı rahatsız eden hatanın varlığı değil, hatanın bilinip bilinmediğini bilmemesidir.
Düzeltmenin işe yaradığını aynı soruyla sınayın
Düzeltme yaptınız. İşe yaradığını nereden biliyorsunuz? Tek yolu, hatayı doğuran soruyu tekrar sormaktır. Her düzeltilen bildirim, kalıcı bir sınav sorusuna dönüşür.
Asagidaki duzeltilen hata bildirimlerinden regresyon sinav seti uret.
Bildirimler: [hata, dogru cevap, yapilan duzeltme]
Her bildirim icin:
1) Hatayi doguran soruyu birebir yaz
2) Kabul edilebilir cevabin tasimasi gereken olcutleri madde madde yaz
3) Ayni hatanin farkli bir ifadeyle tekrar edip etmedigini sinayan
ikinci bir soru uret
Ciktiyi sonradan tekrar calistirilabilecek numarali bir liste olarak ver.
Bu setin tek işi, düzelttiğinizi sandığınız hatanın geri gelip gelmediğini göstermektir. Model güncellendiğinde ya da belgeler değiştiğinde ilk çalıştıracağınız şey budur.
Tedarikçiyle çalışıyorsanız bu set elinizdeki tek pazarlık aracıdır. Tedarikçi bir güncelleme geçtiğinde size neyin değiştiğini anlatır; neyin bozulduğunu anlatmaz. Kendi sınav setini çalıştıran kurum bunu bir saatte görür, çalıştırmayan kurum kullanıcı şikayetiyle öğrenir.
Tek sayfalık hata notu
Yönetime hata oranı grafiği götürmeyin. Tek sayfa yeter ve o sayfanın işi iyi haber vermek değil, kör noktayı göstermektir.
Asagidaki bilgilerden tek sayfalik HATA NOTU uret.
Kullanim: [ad]
Donem: [tarih araligi]
Gelen bildirim sayisi: [sayi]
Kova dagilimi: [uydurma / kaynak / anlama]
Duzeltilen: [sayi] Kabul edilen: [sayi] Kapatilan: [sayi]
Bildirim veren kisi sayisi: [sayi]
Notu su basliklarla uret ve tek sayfayi gecme:
- Bu donemde ogrendigimiz en onemli sey (iki cumle)
- Tekrar eden hata var mi
- Bildirim veren kisi sayisi kullanicilarin yuzde kaci
- Hic bildirim gelmeyen kullanim ya da ekip var mi
Sonuna tek cumlelik durum yaz: KANAL CALISIYOR / ZAYIF / KAPALI.
En çok işe yarayan satır, bildirim veren kişi sayısının kullanıcılara oranıdır. Düşükse hata az değildir, kanal kapalıdır. Hiç bildirim gelmeyen bir kullanım, kusursuz çalışan bir kullanım değildir; görünmeyen bir kullanımdır.
Sınır: bu bir kişi takibi değil
Bildirimler kullanım hakkında veri üretir, çalışan hakkında değil. Kim kaç hata bildirdi, kim modeli yanlış kullandı tarzı bir okumaya dönüştüğü anda kanal kapanır ve bir daha açılmaz. Bildirim sayısı bir performans göstergesi değildir; bildirimi en çok veren kişi aracı en ciddi kullanan kişidir.
İkinci sınır modelde. Bildirimleri sınıflandıran ve triyaj listesi üreten model, eksik anlatılmış bir bildirimi makul görünen bir gerekçeyle yanlış kovaya koyabilir. Bu yüzden ayrımsız işareti zorunlu ve bu yüzden düzeltme kararı modele bırakılmaz. Hatanın ne olduğunu bilmeden yapılan düzeltme, hatanın yerini değiştirmekten başka bir işe yaramaz.
Hata oranınız düşük görünüyorsa iki ihtimal var: ya modeliniz çok iyidir, ya da kimse size söylemiyor; ikisini ayırt edecek tek şey bildirim kanalıdır.