Blog
Aynı soruya iki farklı cevap veriyor
Kısaca: Aynı soruyu iki kişi sorar, iki farklı cevap gelir. Ekip bunu arıza sanır, model ise olağan çalışıyordur. Eksik olan şey, hangi çıktının her seferinde aynı çıkması gerektiğine kimsenin karar vermemiş olmasıdır. Önce tutarlılık sınıflarını yazın, sonra aynı soruyu beş kez sorup farkı ölçün, tutarlılığı modelden değil çerçeveden isteyin.
Bir ekip üyesi soruyu sorar, cevabı alır, işine koyar. Öğleden sonra bir başkası aynı soruyu sorar, farklı bir cevap alır.
İki ekran görüntüsü yan yana gelir. O andan sonra konuşulan şey aracın faydası değil, güvenilirliğidir.
Çoğu kurumda bu noktada verilen karar kullanımı askıya almaktır. Erken bir karardır, çünkü ortada bir arıza yoktur.
Tutarsızlık arıza değil, aracın doğası
Model her çağrıda cümleyi yeniden kurar. Aynı kaynaktan iki farklı özet çıkması, iki deneyimli analistin aynı rapordan iki farklı özet çıkarmasına benzer.
Mesele farkın olması değil. Mesele, farkın nerede kabul edilebilir olduğuna kimsenin karar vermemiş olmasıdır.
Bir teklif metninde cümle değişebilir, kimse itiraz etmez. Bir sözleşme süresinde rakam değişirse iş durur. İkisi de aynı araçtan çıkar ve aynı ekip kullanır. Ayrımı araç yapmaz, siz yaparsınız.
Ayrım yapılmadığında iki şey birden olur. Değişmesi zararsız olan yerde ekip gereksiz yere tedirgin olur, değişmemesi gereken yerde ise kimse kontrol etmez. İkincisi kuruma pahalıya patlar.
Hangi çıktının aynı çıkması gerektiğini baştan yazın
Bu ayrımın yazılı bir hali olmalı. Üç sınıf yeter.
Sabit: aynı girdiden her seferinde aynı sonuç gelmeli. Rakam, tarih, sınıflama, evet ya da hayır. Biçimi sabit: başlıklar ve sıra aynı kalmalı, cümleler değişebilir. Özetler ve taslaklar buraya girer. Serbest: farklılık zaten istenen şeydir, fikir üretimi gibi.
Üç sınıfa ayıramadığınız bir çıktı varsa, o çıktının modelde ne işi olduğu da ayrı bir sorudur.
Yapay zeka ciktilarimi tutarlilik acisindan siniflandiracagim.
Kullanim alani: [ornegin teklif ozeti, musteri yanit taslagi,
fatura siniflama, rapor cevirisi]
Kullananlar: [hangi roller]
Bana su tabloyu uret:
1) Her cikti icin tutarlilik sinifi: SABIT (ayni girdiden ayni
sonuc), BICIMI SABIT (baslik ve sira ayni, cumle degisebilir),
SERBEST (farklilik istenir)
2) SABIT dedigin her satir icin farkin kabul edilebilir ust
siniri nedir
3) Yanlis sinifa konulma riski en yuksek iki cikti
4) SABIT olmasi gerekip de bugun model tarafindan uretilmemesi
gereken isler
Emin olmadigin satiri bos birakma, SORU olarak isaretle.Bu prompt size bir politika metni değil, bir beklenti listesi verir. Dördüncü madde en rahatsız edici olanıdır: bazı işler sabit sonuç ister ve o sonucu model üretmemelidir. Son satır da önemli, çünkü modelin doldurduğu boşluk sizin kararınız gibi görünür.
Aynı soruyu beş kez sorun, farkı ölçün
Tutarlılık tartışması genelde iki ekran görüntüsüyle yürür. İki örnekle karar verilmez.
En sık sorulan on soruyu alın, her birini beş kez sorun, cevapları yan yana koyun. Bu bir öğleden sonralık iştir ve tartışmayı bitirir.
Önemli olan farkı ikiye ayırmaktır. Sadece ifade farkı mı, yoksa sonuç farkı mı? Birincisi normaldir. İkincisi, o işin bugünkü haliyle canlıya alınamayacağını söyler.
Aynı girdiden beş farklı rakam çıkıyorsa sorun tutarlılıkta değildir. O iş modele hiç uygun değildir ve çözüm promptu düzeltmek değil, hesabı başka yere almaktır.
Bir yapay zeka kullaniminin cevap tutarliligini olcecegim.
Is: [isin tanimi]
Ornek sorular: [en sik sorulan 5-10 soru]
Bana sunu hazirla:
1) Her soruyu bes kez sormak icin degistirilmemis sabit metin
2) Cevaplari karsilastirirken bakilacak alanlar: sonuc, rakam,
siniflama, tavsiye, bicim
3) Farki iki sutunda isaretleyecek bir sema: SADECE IFADE
FARKI / SONUC FARKI
4) Sonuc farki cikan sorularda bir sonraki adim ne olmali
Test sonucunu yorumlarken basari orani uretme, sadece
farklari listele.Son satır bilinçli. Modelden tek bir yüzde isterseniz onu alırsınız ve o yüzde hiçbir karara yetmez. Size lazım olan şey oran değil, hangi sorunun sonucu değiştirdiğidir.
Tutarlılığı modelden değil, çerçeveden isteyin
Prompta daha tutarlı ol yazmak işe yaramaz. Tutarlılık talimatla değil, yapıyla gelir.
Dört müdahale çoğu durumda yeter. Çıktıyı sabit bir şablona oturtmak. Serbest metin isteyeceğiniz yerde seçenek listesi vermek. Modelin okuyacağı kaynağı tek bir sürüme kilitlemek. Hesabı modele yaptırmamak.
Sonuncusu en etkilisidir. Sayısal işi tablodan veya koddan alıp modele sadece yorumlatırsanız, tutarsızlık şikayetlerinin büyük kısmı o gün biter.
Bunun bir bedeli var. Şablon sıkılaştıkça araç sıra dışı durumlarda işe yaramaz hale gelir. Bu yüzden şablonu en riskli çıktıya göre değil, en sık gelen çıktıya göre kurun ve istisnayı insana bırakın.
Bu isin ciktisini her seferinde ayni yapida almak istiyorum.
Is: [isin tanimi]
Bugunku prompt: [mevcut metni yapistir]
Degismemesi gereken alanlar: [ornegin tutar, tarih, karar]
Bana sunu uret:
1) Sabit cikti sablonu: alan adlari ve her alanin izin verilen
degerleri
2) Serbest metin yerine secenek listesine cevrilebilecek alanlar
3) Modelden alinip hesap tablosuna veya koda verilmesi gereken
adimlar
4) Sablonda bilgi yok secenegi hangi alanlarda zorunlu olmali
Daha tutarli ol gibi bir talimat ONERME, yapiyi degistir.Dördüncü madde atlanırsa şablon kendi sorununu üretir. Zorunlu bir alan boş kalamıyorsa model orayı doldurur ve uydurduğu şey sizin tablonuzda gerçek gibi durur.
Farkın nereden geldiğini ayırın
Fark bildirildiğinde ilk saat genelde kime inanacağız tartışmasıyla geçer. Oysa dört olasılık vardır ve hepsi ayırt edilebilir.
İki kişi soruyu farklı sormuştur. Model farklı bir belge sürümünü okumuştur. Aradaki prompt değişmiştir. Ya da sağlayıcı modeli güncellemiştir ve kimse haberdar değildir.
Dördüncüsü en sinsi olanıdır, çünkü sizin tarafınızda hiçbir şey değişmemiştir. Aynı testi ayda bir tekrarlamak, bu sessiz değişikliği müşteri fark etmeden görmenin en ucuz yoludur.
Bu dördünü ayırmanın tek yolu çıktının altına üç satır iz bırakmaktır: hangi prompt sürümü, hangi kaynak sürümü, hangi tarih. Bu üç satır yoksa tartışma teknik olmaktan çıkıp kişiselleşir.
Ayni soruya farkli cevap geldiginde sebebini ayirmak istiyorum.
Kullanim: [isin tanimi]
Kaynaklar: [modelin okudugu belge veya veri]
Bana sunu uret:
1) Farkin dort olasi kaynagi icin ayirt edici tek soru
(kullanici sorusu, girdi surumu, prompt surumu, saglayici
guncellemesi)
2) Her ciktinin altina yazilacak en fazla uc satirlik iz kaydi
ve icerigi
3) Iz kaydi olmadan tartismanin nasil ilerledigi ve bunun
maliyeti
4) Bu kaydi tutmanin isi yavaslatacagi yerler
Kisi adi veya kullanici kimligi iceren bir alan ONERME.Dördüncü maddeyi sormazsanız iz kaydı her ekrana yayılır ve kimse okumaz. İz, çıktının güvenilirliğinin tartışıldığı yerlerde durmalı; her yerde değil.
Ekibe ne söyleyeceğinizi baştan belirleyin
En çok zarar veren cümle şudur: bu araç her seferinde aynı cevabı verir. Veremez, ve ilk farkta güven tamamen gider.
Doğrusu tek sayfalık bir nottur. Hangi çıktı sabittir, hangi çıktı değişebilir, fark görüldüğünde nereye bildirilir, bildirilene kim bakar.
Bu notu eğitim slaytına koymayın, aracın kullanıldığı ekranın yanına koyun. Fark görüldüğü an okunmayan bir not yazılmamış sayılır.
Dördüncü satır olmadan ilk üçü işe yaramaz. Bildirimin dönüşü yoksa ekip bildirmeyi bırakır ve farkları kendi içinde sessizce düzeltmeye başlar.
Ekibe verecegim tek sayfalik tutarlilik notunu yazacagim.
Arac: [arac adi]
Kullananlar: [roller]
Sabit olmasi gereken ciktilar: [liste]
Not su bes satiri icersin:
1) Hangi cikti her seferinde ayni gelir
2) Hangi cikti her seferinde degisebilir ve bu neden sorun degil
3) Fark goruldugunde nereye ve nasil bildirilecek
4) Bildirilen farka kim bakar ve ne kadar surede doner
5) Gozden gecirme tarihi
Her satir tek cumle olsun. Bos biraktigim alani doldurma,
soru olarak isaretle.Bu notun değeri ikinci satırda. Değişmesi normal olan çıktıyı önceden söylerseniz fark bir şikayet değil, beklenen bir durum olur.
Sınır
Tam belirlilik peşinde koşmayın. Ayarları sabitlemek bile aynı cevabı garanti etmez; sağlayıcı tarafında değişen her şey cevabı değiştirebilir. Hedefiniz sıfır fark değil, sonucu değiştirmeyen fark olmalı.
Tutarlılık kayıtlarını kişiye bağlamayın. Kayıt promptu ve girdiyi ölçer, soruyu soran kişiyi değil. Aksi halde ölçtüğünüz şey tutarlılık değil, kimin daha az soru sorduğu olur.
Son olarak, biçimi zorladığınız her yerde modelin boşluk doldurma eğilimini hesaba katın. Sabit şablon tutarlılık verir ama doğruluk vermez; ikisi aynı şey değildir.
Güven, modelin her seferinde aynı cevabı vermesinden değil, hangi cevabın değişebileceğini sizin baştan söylemenizden gelir.