Blog
Modeliniz bilmiyorum demiyor, izin vermediniz
Kısaca: Yapay zeka araçları hiçbir soruyu boş bırakmaz, çünkü cevap vermemek öğretilmiş bir davranış değildir. Model elindeki bilgi yetmediğinde susmaz, makul görünen bir şey üretir ve bu çıktı diğerlerinden hiçbir şekilde ayrılmaz. Aşağıda cevap vermeme hakkını prompta yazmaktan aylık cevapsızlık takibine kadar beş kopyala-yapıştır prompt var. Bir modelin güvenilirliği verdiği cevaplarla değil, vermediği cevaplarla ölçülür.
Ekipten biri geliyor, modele kurumun bir yönetmeliğini yükleyip soru sormuş. Cevap düzgün, akıcı, kaynak bile gösteriyor. Sonra ortaya çıkıyor ki o yönetmelikte o konu hiç geçmiyor.
Burada olan şey bir arıza değil. Modele "bilmiyorsan söyle" diye hiç söylenmedi. Söylenmediği için model elindeki en makul kalıbı kurdu ve size verdi.
Kurumsal kullanımda bu tek başına en pahalı davranıştır. Yanlış cevabın maliyeti, yanlış olduğunun anlaşılmasına kadar geçen süreyle çarpılır.
Uydurma bir hata değil, varsayılan davranış
Bu araçlar bir sonraki kelimeyi tahmin ederek çalışır. Tahmin etmeyi bırakmak diye bir durum yoktur. Elinde yeterli bilgi olmadığında da aynı işi yapar, sadece zemini zayıflar.
Önemli olan nokta şu: çıktının görünüşü zeminin sağlamlığına göre değişmez. Belgede yazan bir cevap ile hiç yazmayan bir cevap aynı tonda, aynı güvenle, aynı düzgün cümlelerle gelir. Okuyan kişi için ayırt edici hiçbir işaret yoktur.
Dolayısıyla çözüm modeli daha iyi bir modelle değiştirmek değil. Çözüm, cevap vermemeyi geçerli bir sonuç haline getirmek. Bu bir ayar değil, yazılı bir talimat işidir.
Birinci adım: cevap vermeme hakkını prompta yazın
Kurumsal sorularda model kendi genel bilgisiyle sizin belgenizi birbirine karıştırır. İkisini ayırmanın yolu, cevabın nereden gelebileceğini baştan kısıtlamak ve kısıtın dışına çıkınca ne yazacağını söylemek.
Asagidaki soruyu SADECE sana verdigim belgelere
dayanarak cevapla.
Kurallar:
1) Cevap belgelerde varsa cevabi yaz ve hangi
belgenin hangi bolumunden aldigini belirt.
2) Cevap belgelerde yoksa sadece su satiri yaz:
"Bu soru verilen belgelerle cevaplanamaz."
Tahmin yurutme, genel bilgiyle tamamlama.
3) Cevap kismen varsa once cevaplanabilen kismi
yaz, sonra "eksik bilgi" basligi altinda
neyin eksik oldugunu listele.
4) Belgelerde olmayan hicbir sayi, tarih, kurum
adi veya kisi adi kullanma.
Belgeler: [belgeleri buraya yapistirin]
Soru: [sorunuz]İkinci madde promptun çalışan kısmıdır. Modele sadece "bilmiyorsan söyle" demek yetmez; ne yazacağını kelime kelime vermek gerekir, yoksa cevabın içine "net bilgi bulunmamakla birlikte" gibi bir ifade sıkıştırıp devam eder. Dördüncü madde ise en çok işe yarayan maddedir, çünkü uydurma en çok sayı ve tarihte olur.
İkinci adım: eksik bilgiyi işten önce sorun
Çoğu hatalı çıktı, hatalı promptun değil eksik girdinin sonucudur. Model eksik girdiyle de iş teslim eder. Teslim etmeden önce eksikleri söylemesini istemek, tek satırlık bir ekleme.
Sana bir gorev ve elimdeki bilgileri veriyorum.
Gorevi HEMEN yapmaya calisma.
Once su iki listeyi cikar:
1) "Elimde var" listesi: gorevi yapmak icin
gereken ve verdigim bilgilerde bulunan seyler.
2) "Eksik" listesi: gorevi yapmak icin gereken
ama verdigim bilgilerde olmayan seyler. Her
madde icin bu bilginin kimde veya hangi
sistemde olabilecegini yaz.
Eksik listesi bos cikiyorsa sebebini tek
cumleyle acikla.
Listeler bittikten sonra DUR, gorevi yapma.
Gorev: [gorev]
Bilgiler: [eldeki bilgiler]Bu promptun asıl faydası, işi yapmadan önce bir karar noktası yaratması. Eksik listesi uzun geldiyse, çıktıyı sonradan düzeltmek yerine eksikleri tamamlamaya gidersiniz. Son satırdaki "dur" komutu olmazsa model listeyi yazıp hemen altında işi de yapar ve karar noktası kaybolur.
Üçüncü adım: emin olmadığı cümleleri işaretletin
Uzun bir çıktının tamamını kaynağa karşı kontrol etmek çoğu zaman yapılmaz, çünkü işin kendisinden uzun sürer. Kontrolü daraltmanın yolu, hangi cümlelerin kontrol edilmesi gerektiğini modele söyletmek.
Asagidaki metni sen urettin. Simdi kendi metnini
gozden gecir.
Her cumleyi uc gruptan birine koy:
A) Verilen kaynakta aynen yazan bilgi.
B) Verilen kaynaktan cikarim yaptigin, kaynakta
aynen yazmayan bilgi.
C) Kaynakta hic olmayan, kendi genel bilginden
gelen bilgi.
Cikti bicimi: her cumle tek satir, basinda
A, B veya C harfi.
C grubundaki her cumle icin ayrica, o cumle
silinirse metnin sonucunun degisip
degismeyecegini yaz.
Kaynak: [kaynak metin]
Metin: [modelin urettigi metin]C grubu sizin kontrol listenizdir, geri kalanı değil. Son maddenin sebebi şu: C grubundaki cümlelerin çoğu zararsız bağlam cümlesidir, bir kısmı ise sonucu taşıyan cümledir. İkisini ayırmadan listeye bakmak kontrolü yine uzatır.
Dördüncü adım: demoyu cevabı olmayan sorularla sınayın
Tedarikçi demosu her zaman cevabı veride bulunan sorularla kurulur. O yüzden demo hiçbir şey göstermez. Bir aracın kurumsal kullanıma uygun olup olmadığını cevaplayamadığı sorularda görürsünüz.
Bir yapay zeka cozumunu kendi verimizle test
edecegiz. Bana test sorulari hazirla.
Soru dagilimi:
1) Yarisi: cevabi verilen belgelerde NET olarak
bulunan sorular.
2) Dortte biri: cevabi belgelerde KISMEN bulunan
sorular.
3) Dortte biri: cevabi belgelerde HIC OLMAYAN,
ama konuyla ilgili ve makul gorunen sorular.
Her soru icin beklenen dogru davranisi tek
cumleyle yaz. Ucuncu gruptaki sorularin beklenen
cevabi "cevaplanamaz" olmalidir.
Sorulari karisik sirada ver, grup etiketlerini
ayri bir tabloda tut.
Belgeler: [test icin verdiginiz belgeler]
Konu: [kullanim alani]Üçüncü grup testin kendisidir. Bu sorulara kendinden emin cevap veren bir araç, canlıya alındığında aynı şeyi müşteriye ve denetçiye de yapar. Grup etiketlerini ayrı tutmanızı istemesinin sebebi, aynı soru listesini tedarikçiye hangi soruların tuzak olduğunu söylemeden verebilmeniz.
Beşinci adım: cevapsızlık oranını aylık takip edin
Bir ölçü tutulmadığı sürece bu iş ilk promptla başlar ve üçüncü ayda unutulur. Takip edilmesi gereken tek sayı var: modelin kaç soruda cevap vermeyi reddettiği.
Asagida bir ay boyunca modele sorulan sorular ve
verilen cevaplar var.
Her kayit icin isaretle:
1) Model cevap verdi mi, cevaplanamaz dedi mi.
2) Cevap verdiyse kaynak gosterdi mi.
3) Cevaplanamaz dediyse, soru gercekten eldeki
bilgiyle cevaplanamaz miydi.
Sonra tek sayfalik ozet cikar:
- Toplam soru sayisi
- Cevaplanamaz denen soru sayisi
- Kaynak gostermeden verilen cevap sayisi
- Yanlis yere cevaplanamaz denen soru sayisi
Her sayinin yaninda bir ornek kayit ver.
Yorum ve tavsiye yazma, sadece tablo.
Kayitlar: [soru-cevap kayitlari]Bu oranın sıfır olması iyi haber değil, kurulumun çalışmadığının işareti. Hiçbir soruyu reddetmeyen bir kurulumda ya talimat uygulanmıyor ya da sorular zaten cevabı belli sorulardan oluşuyor. Dördüncü satır ise ters yöndeki hatayı yakalar.
Nerede durmalı
Birinci sınır fazla temkinlilikte. Cevap vermeme hakkı verilen bir model, elinde cevap olduğu halde reddetmeye başlayabilir. Bu da bir hatadır ve kullanıcıyı aracı bırakmaya götürür. Bu yüzden beşinci adımdaki dördüncü satır isteğe bağlı değil; iki yönlü hatayı birlikte takip etmezseniz aracı kullanılamaz hale getirirsiniz.
İkinci sınır kaynak gösterme işinin kendisinde. Model var olmayan bir bölüm adı veya sayfa numarası da üretebilir, yani atıf da uydurulabilir. Her ay birkaç atıfı elle açıp kontrol etmek gerekiyor; atıfın varlığı doğruluğun kanıtı değildir.
Üçüncü sınır kayıtlarda. Soru-cevap kayıtlarını soru bazında tutun, kişi bazında tutmayın. Bu çalışma aracın davranışını ölçmek içindir, kimin ne sorduğunu izlemek için değil. Ekip kayıtların kendisini ölçtüğünü düşünürse modele soru sormayı bırakır, araç da ölçülemez hale gelir.
Son sınır yöntemin kendisinde. Bunların hiçbiri modelin bilmediğini bilmesini sağlamaz; sadece bilmediği yerleri görünür kılar. Kararın imzası hala masada oturan kişide.
Her soruya cevap veren bir araç size bilgi vermiyor, sadece boşluğu sizden saklıyor.