Blog
Hangi işi yapay zeka ajanına devredebilirsiniz: dört soruluk test
Kısaca: Yapay zeka ajanı sohbet penceresinden farklıdır: sizin adınıza adım atar, sistem çağırır, kayıt günceller. Bu yüzden "hangi işi devredeyim" sorusunun cevabı işin zorluğunda değil, dört ayrı yerde saklı. Çıktı denetlenebiliyor mu, iş hangi sisteme dokunuyor, hata geri alınabiliyor mu, iş yeterince tekrarlanıyor mu. Dördüne birden evet diyemediğiniz işi ajana değil, kendinize bırakın.
Yöneticilerin yapay zeka ajanlarıyla ilgili ilk hatası, ajanı daha iyi bir sohbet robotu sanmak. İkinci hatası, ajanı en zor işe vermek. İkisi de aynı yanlış varsayımdan çıkıyor: modelin yeteneği kararın merkezinde sanılıyor. Oysa devredilebilirliği belirleyen şey modelin ne kadar akıllı olduğu değil, işin çevresindeki yapı. Aşağıdaki dört soru, bir işin ajana verilip verilemeyeceğini beş dakikada söyler.
Ajan, sohbet değildir
Sohbette model bir metin üretir, siz okur ve kullanırsınız. Kontrol sizdedir. Ajanda ise model bir hedef alır ve o hedefe ulaşmak için sırayla adımlar atar: dosya okur, API çağırır, rapor yazar, e-posta taslağı hazırlar, kayıt günceller. Kontrol adım adım paylaşılır. Aradaki fark, hata yapıldığında hatanın nerede durduğudur. Sohbette hata ekranda kalır; ajanda hata sisteme yazılır.
Bu yüzden ajan kararı bir teknoloji kararı değil, bir yetki kararıdır. Yeni bir çalışana ilk gün hangi işi verirdiniz sorusunun cevabı neyse, ajana verilecek ilk iş de odur: tarif edilmiş, çıktısı görülebilir, yanlış yapılırsa geri alınabilir bir iş.
Birinci soru: çıktıyı kim, ne kadar sürede denetleyebilir?
Bir işi ajana devretmenin bedeli, çıktısını denetleme süresidir. Ajan on beş dakikada bir rapor üretiyorsa ve o raporu doğrulamak kırk dakika sürüyorsa devretmiş sayılmazsınız; iş sadece şekil değiştirmiştir. Denetimin işin kendisinden kısa olması gerekir.
Denetlenebilirliğin pratik testi şudur: çıktının doğru olup olmadığını anlamak için ayrı bir kaynağa bakmak yeterli mi? Fatura eşleştirmede yeterlidir, kaynak zaten kayıtlardadır. Bir pazar tahmininde yeterli değildir, karşılaştıracak kaynak yoktur. İlki ajana verilir, ikincisi verilmez.
Asagida bir haftalik islerimin listesi var. Her is icin su dort soruyu
tek tek cevapla ve 1-5 arasi puanla:
(1) Ciktinin dogrulugu ayri bir kaynaga bakarak kontrol edilebilir mi?
(2) Is hangi sisteme dokunuyor: sadece metin mi, yoksa bir kayit/dosya/mesaj mi?
(3) Yanlis yapilirsa geri alinabilir mi, geri almanin maliyeti nedir?
(4) Bu is ayda kac kez tekrarlaniyor?
Sonda toplam puani en yuksek 3 isi "once bunlari devret" basligiyla listele,
en dusuk 3 isi de "devretme" basligiyla ve tek cumlelik sebebiyle yaz.
Bilmedigin bilgiyi tahmin etme, "BILINMIYOR" yaz.
Is listesi: [bir haftalik islerinizi buraya yapistirin]Bu promptun işi sıralama yapmak değil, konuşmayı doğru eksene çekmek. Çoğu yönetici listeyi ilk kez böyle gördüğünde en çok zaman harcadığı işin devredilemez, en az düşündüğü işin ise devredilebilir olduğunu fark eder. Puanları modelin verdiği gibi kabul etmeyin; sizin cevabınız farklıysa doğru olan sizinkidir.
İkinci soru: iş hangi sisteme dokunuyor?
Ajanlar üç seviyede çalışır. En güvenli seviye sadece okur ve metin üretir: belge özetler, veriyi tablolaştırır, taslak yazar. Orta seviye sizin onayınızla bir yere yazar: taslağı gönderir, kaydı günceller. En riskli seviye ise kendi başına yazar ve bir sonraki adımı da kendisi tetikler.
Kurumda ajan altyapısı kurarken teknik tartışma genelde araç seçimine kayar; MCP mi, doğrudan API mi, komut satırı mı. Asıl karar bu değil. Asıl karar, her aracın hangi seviyede yetkiyle bağlanacağı. Aynı sistem hem salt okunur hem yazma yetkisiyle bağlanabilir ve aradaki fark, bir hatanın maliyetini yüz kat değiştirir. Yeni bir ajanı her zaman en dar yetkiyle başlatın; yetkiyi ihtiyaç ortaya çıktıkça açın, ihtimale karşı değil.
Bu konuda pratik bir kural: ajan bir sisteme yazacaksa, o yazma işleminin bir geri alma yolu olmalı. Geri alma yolu yoksa yetki verilmez, insan onayı konur.
Üçüncü soru: hata geri alınabilir mi?
Ajanların ürettiği risk, yanlış cevap vermeleri değil; yanlış cevabı kimse görmeden bir sonraki adıma taşımaları. Bu yüzden devretme kararında sorulacak soru "yanılır mı" değil, "yanıldığında ne oluyor" olmalı. Yanıt üç kategoriden birine düşer: fark edilmeden düzelir, birileri fark eder ve düzeltir, ya da geri dönülemez.
Üçüncü kategoriye giren hiçbir iş, insan onayı olmadan ajana verilmez. Müşteriye giden ileti, resmi bir bildirim, ödeme, silme işlemi, dış paydaşa taahhüt. Bunların hepsinde ajan taslağı hazırlar, gönderme tuşuna insan basar. Bu kural konforlu değil ama tek gerçekçi olan.
Asagidaki isi bir yapay zeka ajanina devretmeyi dusunuyorum.
Su tabloyu doldur: ajanin atacagi her adim, o adimin dokundugu sistem,
adimin yetki seviyesi (sadece oku / onayla yaz / kendi basina yaz),
adim yanlis giderse ortaya cikan sonuc, ve bu sonucun geri alinma yolu.
Geri alma yolu olmayan adimlari "INSAN ONAYI" olarak isaretle
ve tablonun altinda ayrica listele.
Varsayim uretme; bilmedigin sistemi "BILINMIYOR" olarak birak.
Is tarifi: [isi 5-10 cumleyle anlatin]Çıktının değerli kısmı tablonun tamamı değil, en alttaki kısa liste. O liste, ajanın nerede duracağını gösterir ve pratikte ajan tarifinizin en önemli parçasıdır. Bir işte insan onayı noktası yoksa iki ihtimal vardır: iş gerçekten güvenlidir ya da siz henüz riskini görmemişsinizdir.
Dördüncü soru: iş yeterince tekrarlanıyor mu?
Ajan kurmak zaman ister: görev tarifi, erişim, deneme, düzeltme. Bu yatırım ancak iş tekrarlandığında geri döner. Yılda iki kez yapılan bir işi ajana devretmek için harcanan gün, işin kendisinden uzun sürer.
Pratik eşik şu: iş haftada en az bir kez tekrarlanıyorsa ve her seferinde aynı adımlarla yapılıyorsa devretmeye değer. Adımlar her seferinde değişiyorsa devredilecek bir iş değil, bir karar var demektir; kararlar devredilmez, desteklenir.
Devretmeden önce görev tarifini yazın
Ajanların başarısızlık sebeplerinin çoğu modelde değil, tarifte. İnsan bir işi devrederken eksik anlatır, karşı taraf sorar. Ajan sormaz; boşluğu kendi doldurur. Bu yüzden görev tarifi, işe alma ilanından çok iş talimatına benzemeli: girdi nedir, adımlar nelerdir, nerede durulur, çıktı hangi biçimde gelir.
Asagidaki is icin bir ajan gorev tarifi yaz. Bolumler:
1) Amac: tek cumle.
2) Girdiler: ajanin erisecegi kaynaklar ve her birinin yetki seviyesi.
3) Adimlar: numarali, her adim tek eylem.
4) Durma kosullari: ajan hangi durumlarda islemi durdurup insana sorar.
5) Cikti bicimi: ornek bir cikti sablonu.
6) Yasaklar: ajanin asla yapmayacagi seyler.
Belirsiz ifade kullanma. Her adimda tek bir eylem olsun.
Is: [isi anlatin]Bu tarifi bir kez yazdığınızda ajan kurmanın en zor kısmı biter. Dikkat edilecek bölüm dördüncüsü; durma koşulları yazılmamış bir ajan, eksik veriyle de olsa sonuna kadar gider ve makul görünen bir çıktı üretir. Yasaklar bölümünü de boş bırakmayın, kısa olsun ama olsun.
Asagida bir ajanin urettigi cikti var. Bunu kabul etmeden once
su kontrolleri yap ve her biri icin GECTI / KALDI / KONTROL EDILEMEDI yaz:
(1) Ciktidaki her sayi ve tarih, verilen kaynakta var mi?
(2) Kaynakta olmayan bir bilgi eklenmis mi?
(3) Gorev tarifindeki adimlarin hepsi yapilmis mi?
(4) Durma kosullarindan biri olusmus ama ajan devam etmis mi?
Sadece KALDI ve KONTROL EDILEMEDI cikanlari, nedeniyle birlikte listele.
Gorev tarifi: [tarifi yapistirin]
Cikti: [ciktiyi yapistirin]Bu kabul testini ilk hafta her çıktıda çalıştırın, sonra haftada bir örnekleme yapın. Testin asıl faydası hataları yakalamak değil, hangi tür hataların tekrarlandığını göstermek; tekrarlayan hata, görev tarifindeki bir eksikliğin işaretidir.
Sınırlar
İki sınırı baştan yazın. Birincisi, ajanı çalışan izleme aracına dönüştürmeyin. Kişi bazında çıktı, mesai ya da mesaj takibi yapan bir kurulum, teknik olarak mümkün olsa da kurumdaki güveni geri getirilemez biçimde bozar. Ajan süreçlere bakar, kişilere değil.
İkincisi, model eksik bilgiyi makul görünen bir bilgiyle doldurabilir. Kaynakta olmayan bir tarih, bir sayı ya da bir isim üretebilir ve bunu diğer cümlelerle aynı güvenle yazar. Bu yüzden promptlarda "tahmin etme, BILINMIYOR yaz" satırı var ve bu yüzden dışarı giden hiçbir çıktı denetlenmeden gönderilmez. Ajanı hızlandırıcı olarak kullanın, son karar mercii olarak değil.
Nereden başlanır
Bu haftaki tek işiniz şu olsun: kendi işlerinizden dört soruya da evet diyebildiğiniz bir tane bulun ve sadece onu devredin. İkinci ajanı, birincisinin çıktısını iki hafta denetledikten sonra kurun. Pilotları tek tek değil bütün olarak yönetmek üzerine yapay zeka pilotlarını portföy olarak yönetin yazısına, sektörel çerçeve için enerji sektöründe yapay zeka sayfasına bakabilirsiniz.
Ajan kurmanın zor kısmı modeli çalıştırmak değil, nerede duracağını yazmaktır.