Blog
Ajan her sabah çalışıyor, kimse açmıyor
Kısaca: Kurduğunuz ajan her sabah çalışıyor, bir çıktı üretiyor ve kimse açmıyor. Bir gün veri kaynağı değişiyor ya da bir yetki düşüyor. Ajan yine çalışıyor, yine bir çıktı üretiyor ama içi boş. Arıza gürültü çıkarmadığı için haftalar sonra fark edilir, o haftaların kararları ise zaten verilmiştir.
Bozulan bir ajan hata vermez. Çoğu zaman tam tersini yapar.
Her sabah aynı saatte çalışır, aynı biçimde bir çıktı üretir, aynı klasöre yazar. Değişen tek şey içeriktir. Rapor artık on sekiz satır değil, iki satır. Özet artık geçen haftayı değil, üç hafta öncesini anlatıyor. Liste bir bölgeyi hiç görmüyor.
Kimse fark etmez, çünkü ekranda kırmızı bir şey yoktur.
Bu durum ajan kurmanın kötü bir fikir olduğunu göstermiyor. Gösterdiği şey daha basit: bir ajanı kurmak işin yarısı, çalışmadığını size haber verecek şeyi kurmak diğer yarısı. İkinci yarı genelde hiç yapılmıyor.
Sessiz arıza, gürültülü arızadan pahalıdır
Bir ajan tamamen çökerse aslında şanslısınız. Çıktı gelmez, biri ertesi gün sorar, akşama kadar düzeltilir.
Sessiz bozulmada o soru hiç gelmez. Çıktı akmaya devam eder, ona duyulan güven de devam eder. Maliyet iki yerde birikir.
Birincisi, eksik çıktıya dayanarak verilen kararlar. İkincisi daha can sıkıcı: arıza fark edildiğinde hangi tarihten sonrasının şüpheli olduğunu bilemezsiniz. O noktada geriye dönüp sekiz haftanın işini elden geçirmek gerekir.
Bu yüzden sessiz arıza bir teknik sorun değil, bir güven sorunudur. Bir kez yaşandığında ekip o ajanın çıktısını bir daha tam olarak ciddiye almaz. Paralel olarak eski yöntemi de sürdürmeye başlar ve siz hem ajanın hem elle yapılan işin maliyetini ödersiniz.
Çalıştı ile iş yaptı aynı şey değil
Çoğu kurumda bir ajanın izlenen tek şeyi var: çalıştı mı, çalışmadı mı. Bu teknik bir ölçüdür, iş ölçüsü değildir.
Bir ajan hiç hata vermeden çalışıp hiçbir iş yapmamış olabilir. Kaynağa bağlanır, boş sonuç alır, boş sonucu özetler, raporu gönderir. Sistem tarafında her şey yeşildir.
Aynı şey yetkilerde de oluyor. Ajanın bağlandığı klasöre erişimi daralır, ajan erişebildiği kadarını okur ve kalanını hiç görmediğini söylemez. Çıktı küçülür, biçim bozulmaz.
Bu yüzden her ajan için başarının ne olduğunu iş diliyle yazmak gerekir. Tek seferlik bir iştir, on dakika sürer.
Kurumda calisan bir yapay zeka ajanini tanimlayacagim.
Ajanin yaptigi is: [isi bir cumleyle yaz]
Calisma sikligi: [gunluk / haftalik / tetiklemeyle]
Urettigi cikti: [rapor / liste / mesaj / kayit]
Bana bu ajan icin BASARI KOSULU yaz. Teknik degil is dilinde olsun.
Uc bolum istiyorum:
1. Bu ajan dogru calistiysa ciktida MUTLAKA bulunmasi gereken seyler
2. Ciktida gorulurse ajan BOZULMUS sayilmasi gereken belirtiler
3. Ciktinin dogru oldugunu bir insanin 2 dakikada nasil anlayacagi
Her bolum en fazla 4 madde. Kod yazma, oneri siralamasi yapma.
Bu çıktı bir kurulum belgesi değil, bir kabul ölçüsüdür. Elinizde bu üç liste yoksa ajanın bozulduğunu anlamanın tek yolu birinin tesadüfen fark etmesidir. Tesadüf bir izleme yöntemi değildir.
Çıktının kendisine üç kontrol koyun
Sessiz arızayı yakalayan şey modelin içini incelemek değil, çıktının dışına üç basit kontrol koymaktır.
Doluluk: çıktıdaki satır, madde ya da alan sayısı. Dün yirmi iki satırdı, bugün üç satır. Bu bir uyarıdır.
Tazelik: çıktının içindeki en yeni tarih. Rapor bugün üretilmiş olabilir ama içindeki en yeni kayıt on gün öncesine aitse kaynak kopmuştur.
Tutarlılık: bugünün çıktısının dünkünden ne kadar saptığı. Küçük oynamalar normaldir, bir gecede yarıya inmek normal değildir.
Üçünün ortak özelliği şu: hiçbiri modelin ne kadar iyi olduğunu ölçmüyor. Üçü de çıktının dışından, saymayla yapılıyor. Bu yüzden bir kez kurulduğunda bakım istemiyorlar.
Bir ajanin ciktisi icin UC KONTROL esigi belirlemene ihtiyacim var.
Ciktinin son 10 gunluk ornegini veriyorum: [ornekleri yapistir]
Her kontrol icin esik oner:
- DOLULUK: satir/madde sayisi kac altina inerse supheli
- TAZELIK: ciktidaki en yeni tarih bugunden kac gun geride olursa supheli
- TUTARLILIK: dunkune gore yuzde kac sapma supheli
Her esigin yaninda hangi gozleme dayandigini tek cumleyle yaz.
Esikleri genis tut; her gun alarm ureten esik ilk haftada kapatilir.
Veri yetersizse hangi esigi belirleyemedigini soyle, tahmin uretme.
Buradaki asıl risk eşiği fazla sıkı koymaktır. Her gün alarm üreten bir sistem iki hafta içinde kapatılır ve ondan sonra hiçbir arıza görülmez. Geniş başlayıp daraltmak, dar başlayıp sistemi kaybetmekten iyidir.
Son otuz güne geri dönüp bakın
Bir ajan bugün bozulmadı. Genelde haftalar önce incelmeye başladı ve kimse eğriyi görmedi.
Bu yüzden izleme kurmadan önce geçmişe bakmak gerekir. Aynı ajanın son otuz çıktısını yan yana koymak, bozulmanın hangi tarihte başladığını çoğu zaman tek seferde gösterir.
Ayni ajanin son 30 gunluk ciktilarini tarih sirasiyla veriyorum.
[ciktilari yapistir ya da dosyalari ekle]
Bana sunu cikar:
- Her gun icin satir/madde sayisi ve ciktidaki en yeni tarih
- Bu sayilarda belirgin bir kirilma var mi, hangi tarihte
- Kirilmadan sonra kaybolan icerik turleri neler
- Kirilma tarihinde degismis olabilecek seyler icin 3 tahmin
Tahminleri KANIT ve VARSAYIM olarak ayri isaretle.
Duzeltme onerisi yazma, sadece kirilmayi gorunur yap.
Bu taramanın en değerli çıktısı kırılma tarihidir. O tarihi bildiğinizde hangi kararların şüpheli olduğunu da bilirsiniz. Bilmediğinizde bütün dönemi şüpheli saymak zorunda kalırsınız.
Haber veren şey ters alarmdır
Klasik izleme bir şey olduğunda haber verir: hata, kesinti, aşım. Sessiz arızada olan bir şey yoktur, olmayan bir şey vardır.
Bu yüzden kurulması gereken alarm terstir. Beklenen çıktı gelmediğinde, eşiğin altına düştüğünde ya da içindeki tarih eskidiğinde haber verir.
Bir ajan icin TERS ALARM tanimi yaz.
Ajan: [ad], calisma zamani: [saat], ciktinin dustugu yer: [yer]
Esikler: doluluk [deger], tazelik [gun], tutarlilik [yuzde]
Tanimda su alanlar olsun:
- Alarm hangi uc durumda tetiklenir
- Alarm kime gider (tek kisi adi, ekip adresi degil)
- Alarm mesajinda hangi uc bilgi yazili olur
- Alarmi kim kapatir ve kapatirken ne yazmak zorundadir
- Ust uste 3 alarmdan sonra ajan otomatik durdurulur mu
Toplam 200 kelimeyi gecme. Araci ya da urun onermeye calisma.
Alarmın bir klasöre değil bir insana gitmesi şart. Ortak bir adrese düşen alarm kimsenin alarmı değildir. Mesajda tek kişinin adı yazıyorsa o alarm sahipli olur.
Üst üste üç alarmdan sonra ajanın kendini durdurması da yazılmaya değer. Bozulmuş bir ajanın çalışmaya devam etmesi, hiç çalışmamasından daha pahalıdır; çünkü her gün bir çıktı daha üretir ve o çıktıya bakan biri olur.
Çıktının bir okuma sahibi olmalı
İzleme otomatikleşebilir, sahiplik otomatikleşemez.
Her ajanın çıktısında bir ad bulunmalı: haftada bir kez açıp beş dakika bakacak kişi. Bu kişi teknik olmak zorunda değil, çıktının kullanıcısı olmak zorunda. Sahipsiz ajan en hızlı bozulan ajandır, çünkü bozulduğunda kimsenin günü aksamaz.
Okuma sahibini bulmanın kolay bir testi var: bu ajan yarın sessizce dursa kimin işi aksar? Cevap kimse ise o ajanı kapatmanın zamanı gelmiştir. Cevap bir isimse o isim nota yazılır.
Burada iki sınırı baştan yazın. Birincisi: izleme ajanın çıktısını izler, çalışanı izlemez. Kimin kaç kez modele sorduğunu ölçmeye başladığınız an ekip kaydı doldurmayı bırakır ve sistem ilk ayda ölür.
İkincisi modelin kendisiyle ilgili. Bir ajana kendi çıktısını değerlendirmesini söylediğinizde bulamadığı şeyi uydurabilir, eksik veriyi makul bir cümleyle kapatabilir. Doluluk ve tazelik gibi sayılabilir kontrolleri modele değil koda bırakın. Modele bırakılacak kısım yorumdur, sayma değil.
Yarın yazılacak tek sayfa
Bu iş bir izleme yazılımı satın almayı gerektirmiyor. Çalışan her ajan için bir sayfa yetiyor.
Kurum ici tek sayfalik AJAN NOTU yaz.
Girdiler: ajan adi [ad], yaptigi is [is], calisma sikligi [siklik],
cikti yeri [yer], okuma sahibi [kisi].
Sayfada su bolumler olsun:
- Bu ajan dogru calistiysa ciktida ne bulunur
- Uc kontrol esigi: doluluk, tazelik, tutarlilik
- Alarm kime gider ve kim kapatir
- Okuma sahibi kim, haftanin hangi gunu bakar
- Ajan durdurulursa bu isi elle kim yapar
- Bu notun gecerlilik tarihi
Toplam 350 kelimeyi gecme. Giris paragrafi ve mazeret yazma.
Notun en kritik satırı sondan ikincisi. Ajan durdurulduğunda işin elde kalıp kalmayacağını bilmiyorsanız, o ajanı durdurma seçeneğiniz hiç yok demektir.
Bir ajanı kurmak bir karardır; çalışmadığını size haber verecek şeyi kurmamak da bir karardır.
