Blog
Onayı insana bıraktınız, kuyruk büyüyor
Kısaca: Ajanı kurdunuz, çıktının insan onayından geçmesini şart koştunuz; doğru karar. Ama onay bir güvenlik önlemi değil, kapasite kararıdır. Günlük çıktı sayısını onay süresiyle çarpmadıysanız kuyruk büyümeye başlar ve bir süre sonra onay, bakılmadan verilen bir tıklamaya dönüşür. Onayı türlerine ayırın, hacme göre örnekleme kuralı yazın, onay oranını izleyin.
Otomasyonu kurarken en kolay verilen karar şudur: "çıktıyı insan onaylasın."
Kimse itiraz etmez. Kulağa sorumlu, ihtiyatlı, denetlenebilir gelir. Toplantı o cümleyle rahatlar ve bir sonraki maddeye geçilir.
Üç ay sonra aynı toplantıda farklı bir cümle duyulur: "onaylar birikiyor." Ya da daha kötüsü, hiç duyulmaz; onaylar birikmez, çünkü onaylayan kişi artık okumadan onaylıyordur.
Bu iki sonuç aynı hatanın iki yüzüdür. Onay adımını bir güvenlik önlemi sanıp, kimsenin gününden kaç dakika aldığını hesaplamamak.
Onay adımı bir güvenlik önlemi değil, kapasite kararıdır
Onay adımı eklemek bedava görünür, çünkü yazılımda bir satır, süreç şemasında bir kutudur. Oysa bir kişinin gününden saat satın alır.
Burada bir takas var: riski azaltırsınız, iş yükünü artırırsınız. Takası yazmazsanız takas yine gerçekleşir; sadece sizin seçiminizle değil, kuyruğun baskısıyla gerçekleşir. Kuyruk biriktiğinde kimse "onay adımını kaldırdım" demez. Onaylama süresi kendiliğinden kısalır.
Bu yüzden onay adımını koyarken sorulacak ilk soru "kim onaylasın" değil, "bu adım günde kaç saat tutuyor" olmalı.
Kuyruğun matematiği basit, kimse yapmıyor
Hesap bir satır: günlük çıktı sayısı çarpı çıktı başına onay süresi. Günde 200 çıktı ve çıktı başına 3 dakika, günde 10 saat demektir. Bu iş tek kişiye verilmişse o kişi artık başka bir iş yapmıyor.
Hatanın kaynağı genelde pilottur. Pilotta günde 20 çıktı vardır, onay bir dakika sürer, kimse zorlanmaz. Yaygınlaştırmada çıktı sayısı on kat artar; onay süresi sabit kalır, çünkü onay süresini belirleyen şey hacim değil, çıktının kendisidir.
Bu yüzden onay yükü hesabı yaygınlaştırma kararından önce yapılmalı. Hesabı yapmak için pilot verisi yeterlidir.
Bir yapay zeka ciktisini insan onayina baglamak istiyorum ve
onay adiminin kapasite yukunu hesaplamak istiyorum.
Is: [modelin urettigi cikti, tek cumle]
Bugunku hacim: [gunde kac cikti uretiliyor]
Yayginlasma sonrasi hacim: [hedef durumda gunde kac cikti]
Onaylayan: [hangi rol onaylayacak, kac kisi]
Onay suresi tahminim: [cikti basina kac dakika]
Bana su dort satiri uret:
1) Bugunku gunluk onay yuku (saat) ve kac kisinin gunune
denk geldigi
2) Yayginlasma sonrasi ayni hesap
3) Mevcut onaylayan sayisiyla kapasitenin hangi hacimde
dolacagi
4) Kapasite dolduktan sonra kuyruktaki ciktinin gunde ne
kadar birikecegi
Varsayim uretme; eksik biraktigim sayiyi bana sor.Bu hesabın amacı onay adımını iptal etmek değil. Amacı, adımı koyan kişinin maliyetini de görmesi. Dördüncü satır en rahatsız edici olanıdır: kapasite dolduğunda kuyruk doğrusal değil, her gün üst üste birikerek büyür.
Üç tür onay birbirine karışıyor
Pratikte "onay" tek kelime ama üç ayrı iştir.
Göz gezdirme: biçim ve ton doğru mu. Saniyelerle ölçülür. Karşılaştırma: çıktının dayandığı kaynağa bakmak gerekir. Dakikalarla ölçülür. Karar: çıktıyla bir taahhüt doğar, imza niteliğindedir. Onu veren kişinin yetkisi olmalıdır.
Üçü aynı "onayla" düğmesine bindiğinde en pahalı tür hepsini yavaşlatır. Daha kötüsü, en pahalı tür de hızlanır: karar niteliğindeki onaylar göz gezdirme hızına iner.
Insan onayindan gececek ciktilarimi onay turune gore
ayirmak istiyorum.
Cikti listesi: [uretilen cikti turlerini madde madde yaz]
Alici: [her cikti kime gidiyor]
Geri alinabilirlik: [yanlis giderse geri alinabiliyor mu]
Her cikti icin su uc turden birini ata ve gerekcesini yaz:
- GOZ GEZDIRME: bicim ve ton kontrolu yeter
- KARSILASTIRMA: kaynaga bakmak gerekir
- KARAR: bir taahhut dogar, imza niteligindedir
Sonra her tur icin beklenen onay suresi araligini ve onayin
hangi role verilmesi gerektigini yaz.
Tur atamasinda emin olmadigin ciktiyi "belirsiz" diye
isaretle ve neyi bilmen gerektigini soyle.Çıktı listesi sizden gelmeli, modelden değil. Bu ayrımın tek çıktısı bir tablo değil; aynı anda onay yetkisinin nerede kalabileceğini ve nerede yukarı taşınması gerektiğini de söyler.
Örnekleme ile tam onay arasında seçim yapın
Her çıktıyı onaylatmak zorunda değilsiniz. Dışarı giden, geri alınamayan, taahhüt doğuran çıktılar tam onay ister. İç kullanım için üretilen ve geri alınabilir çıktılarda örnekleme yeterlidir.
Örnekleme kuralı bir oran değil, bir koşul setidir. Oranı yazmak kolay; oranın hangi olayda yükseleceğini yazmak asıl iş.
Ciktilarin tamamini degil bir kismini onaylatmak istiyorum
ve orneklem kuralini yazili hale getirmek istiyorum.
Cikti: [hangi cikti]
Risk: [yanlis giderse en kotu sonuc ne]
Hacim: [gunde kac adet]
Gecmis hata: [varsa ne siklikta ve ne tur hata oldu]
Bana sunlari uret:
1) Bu cikti tam onay mi orneklem mi gerektirir, gerekcesiyle
2) Orneklem ise baslangic orani ve bunu neye dayandirdigin
3) Orani YUKSELTME kosullari: hangi olay olursa tam onaya
donulur
4) Orani DUSURME kosullari: kac gun sorunsuz gecerse
5) Orneklenecek ciktinin nasil secilecegi: rastgele mi,
belirli vaka tiplerinden mi
Onerdigin oranin bir tahmin oldugunu ve neye bakilarak
guncellenecegini acikca yaz.Beşinci madde çoğu kurumda atlanır. Rastgele örnekleme kolaydır ama hatanın yoğunlaştığı vaka tiplerini kaçırır; sadece zor vaka seçmek ise genel kaliteyi hiç ölçmez. İkisi birlikte kullanılır.
Onaylayanın önüne ne koyarsanız süre o kadar olur
Onaylayan kişi çıktıyı baştan okuyorsa otomasyon yoktur. İşi model yapmıştır, süreyi insan ödemiştir.
Onay süresini kısaltan şey çıktının kısalması değil, onaylayanın cevaplaması gereken sorunun netleşmesidir. "Bu doğru mu" sorusu tüm metni okutur. "Bu tutar sözleşmedeki tutarla aynı mı" sorusu iki satır okutur.
Onaylayan kisinin ciktiyi bastan okumasini istemiyorum;
onune ne konacagini tasarlamak istiyorum.
Cikti: [hangi cikti]
Onaylayan rol: [kim onaylayacak]
Onaylayanin cevaplamasi gereken soru: [tek cumle]
Onay ekraninda gosterilecek alanlari listele ve her alan
icin neden gerekli oldugunu tek cumleyle yaz. En az sunlari
degerlendir:
- modelin hangi girdiye dayandigi ve girdinin tarihi
- modelin emin olmadigini belirttigi yerler
- onceki benzer vakada ne yapildigi
- bu ciktinin sablondan nerede ayrildigi
- reddetme sebebini tek tiklamayla isaretleme
Sonra gereksizi ayikla: onaylayanin kararini degistirmeyecek
alanlari "gosterilmesin" basligi altinda ayri listele.Son madde ucuz ama en çok işe yarayan maddedir. Reddetme sebebi tek tıklamayla işaretlenmiyorsa kimse yazmaz; sebep yazılmazsa modelin nerede tutmadığını hiçbir zaman öğrenemezsiniz.
Onay oranı yüzde yüze yaklaşıyorsa onay diye bir şey yok
Lastik damga sessiz gelir. Üç belirtisi var: onay süresi haftalar içinde kısalır, reddetme oranı sıfıra iner, hatalar artık onaydan değil müşteriden geri döner.
Reddetme oranı bir kalite göstergesi değil, bir dikkat göstergesidir. Sıfıra inmesi modelin mükemmelleştiği anlamına gelebilir; çok daha sık rastlanan açıklama, onaylayanın kuyruğa yetişmeye çalışmasıdır.
Onay adimimin gercekten calisip calismadigini anlamak
istiyorum.
Elimdeki kayit: [onay kaydindaki alanlar - tarih, sure,
sonuc, red sebebi]
Donem: [hangi tarih araligi]
Bana su dort okumayi yap:
1) Onay suresinin egilimi; kisalma varsa hangi haftada
basladigi
2) Reddetme oraninin egilimi; sifira yaklasma var mi
3) Kuyrukta bekleme suresi ve en uzun bekleyen ciktilarin
tipi
4) Onaydan gectikten sonra duzeltilen cikti orani
Bulgulari KALIP duzeyinde yaz. Kisi bazli performans
cikarimi yapma, isim ve kullanici kirilimi uretme.
Veriden cikmayan sonuc yazma.Dördüncü okuma en değerlisidir. Onaydan geçtikten sonra düzeltilen çıktı oranı yükseliyorsa onay adımı hala duruyor ama artık bir şey yakalamıyor demektir.
Tek sayfalık onay notu
Bütün bunların kurum içinde taşınabilir hali tek sayfadır: iş, günlük hacim, onay türü, onaylayan rol, o rol yoksa yedeği, örnekleme oranı ve oranın yükselme koşulu, kuyruk için üst sınır ve üst sınır aşıldığında ne yapılacağı.
Son satır en kritik olandır, çünkü kuyruk mutlaka aşılır. Seçenekler bellidir: üretimi yavaşlatmak, örneklemeye geçmek, ikinci onaylayan devreye almak. Hangisinin seçileceği o anda değil, bugün yazılır. O anda seçilen şey her zaman aynı: okumadan onaylamak.
Bu notu ayda bir, yirmi dakikada gözden geçirmek yeterlidir. Bakılacak tek şey, kuyruk üst sınırının o ay kaç kez aşıldığıdır.
Sınırı baştan çizin
Onay kayıtları kişi performansı ölçmek için uygun bir veri kaynağı değildir ve o amaçla kullanılmamalıdır. Okuma kalıp düzeyinde yapılır: hangi çıktı tipi uzun sürüyor, hangi vaka tipinde reddetme yoğunlaşıyor. Kimin kaç saniyede onayladığı bu sorunun cevabı değil.
İkinci sınır modelin kendisiyle ilgili. Model kendi çıktısı için bir güven skoru üretebilir, ama o skor emin olmadığı yeri her zaman göstermez; uydurduğu yerde kendinden emin olabilir. Bu yüzden örnekleme oranı modelin güven skoruna değil, işin risk sınıfına bağlanır.
Üçüncüsü de şu: onay adımı koymak sorumluluğu devretmez. Çıktı dışarı gittiğinde arkasında kurum vardır, onaylayan kişi değil.
Onay adımı bir imza yeri değil, bir kapasite taahhüdüdür; kaç dakikanızı verdiğinizi yazmadıysanız o adımı koymamışsınız, sadece ertelemişsiniz.