Blog
Her adım doğru, zincirin sonu yanlış
Kısaca: Birbirine bağlanmış yapay zeka adımlarında her halka tek tek doğru çalışır, zincirin sonundaki çıktı yanlış olur. Sebebi basit: ikinci adım, birinci adımın çıktısını veri sanar. Bir adımın tahmini sonraki adımın gerçeği haline gelir ve yol boyunca iz bırakmadan büyür. Aşağıda zinciri yazmaktan tek sayfalık zincir kartına kadar beş kopyala-yapıştır prompt var. Her adımı tek tek doğrulamak, zinciri doğrulamak değildir.
Ekip bir akış kurmuş. Model gelen talepleri okuyor, ikinci adım bunları tabloya döküyor, üçüncü adım tablodan teklif taslağı yazıyor. Üç adımın üçü de ayrı ayrı test edilmiş ve üçü de çalışıyor.
Sonra müşteriye yanlış kapasiteyle teklif gidiyor. Kimse hatanın nerede olduğunu söyleyemiyor, çünkü her adım kendi girdisine göre doğru iş yapmış.
Bu tablo tek bir aracın yanlış cevap vermesinden farklı bir şey. Orada hatalı çıktıyı gören kişi onu okur ve şüphelenir. Burada hatalı çıktı kimseye gösterilmeden bir sonraki adımın girdisi olur.
Hata kaybolmaz, yer değiştirir
Bir modelin çıktısı iki şeyi birlikte taşır: bilgiyi ve bilginin ne kadar sağlam olduğunu. İkincisi çıktıya yazılmaz. Zincirin ikinci adımına giden şey sadece birincisidir.
Bu yüzden ikinci adım, önündeki metni veri olarak okur. Birinci adımın zorlanarak ürettiği bir sayı, ikinci adım için kesin bir sayıdır. Üçüncü adıma geldiğinde o sayı artık taslağın içindedir ve tahmin olduğuna dair hiçbir iz kalmamıştır.
Zincir uzadıkça durum ağırlaşır. Beş adımlık bir akışta her adımın tek başına isabet oranı yüksek olabilir; sonucu belirleyen şey beşinin üst üste binmesidir. Adımlara tek tek bakan bir kontrol bunu hiç göremez.
Birinci adım: zinciri yazın, kaç adım olduğunu öğrenin
Çoğu kurumda zincirin tamamı tek bir yerde yazılı değildir. Adımlar farklı zamanlarda, farklı kişiler tarafından eklenmiştir. Düzeltmeye başlamadan önce zincirin kaç halkası olduğunu görmek gerekiyor.
Bir is akisini adim adim cikarmani istiyorum.
Her adim icin su alanlari doldur:
1) Adim adi
2) Bu adima giren bilgi ve nereden geliyor
3) Bu adimin urettigi cikti
4) Ciktiyi kim veya hangi adim kullaniyor
5) Adimi yapan: insan mi, yapay zeka mi, ikisi mi
6) Ciktinin kontrol edildigi bir yer var mi
Adimlari tablo olarak ver.
Tablonun altina ayri bir liste yaz: bir yapay
zeka adiminin ciktisi, arada insan olmadan
baska bir yapay zeka adimina girdi oluyorsa
o adim ciftlerini listele.
Yorum ve iyilestirme onerisi yazma.
Akis: [akisi buraya anlatin]Altıncı alan çoğu tabloda boş kalır ve asıl bilgi o boşluktadır. Alttaki liste ise zincirin riskli kısmını ayırır: insan elinden geçmeden birbirine bağlanmış yapay zeka adımları. Yorum istememenizin sebebi, tabloyu bir çözüm tartışmasına çevirmeden önce mevcut hali görmek.
İkinci adım: her adımın devraldığı varsayımı yazdırın
Bir adımın çıktısına güvenip güvenmemeniz, o adımın neyi varsaydığına bağlı. Model bunu kendiliğinden yazmaz ama istenirse yazar.
Sana bir gorev veriyorum. Ciktiyi uretirken
asagidaki yapiya uy.
1) ISTENEN CIKTI: gorevin sonucu.
2) KULLANDIGIM VERI: ciktiyi uretmek icin
girdiden aldigim somut bilgiler, madde madde.
3) VARSAYIM: girdide olmayan ama ciktiyi
uretmek icin kabul etmek zorunda kaldigim
seyler. Her varsayim icin, yanlis cikmasi
halinde ciktinin hangi kismi bozulur, yaz.
4) GIRDIDEKI BOSLUK: girdi eksik veya celiskili
geldiyse buraya yaz.
Bu dort bolumu her zaman ver. Bos olsa bile
basligi koy ve altina "yok" yaz.
Gorev: [gorev]
Girdi: [onceki adimin ciktisi]Üçüncü bölüm zincirin can damarı. Bir sonraki adıma yalnızca birinci bölümü değil üçüncü bölümü de taşırsanız, varsayım yol boyunca görünür kalır. Dördüncü bölüm de bir önceki adımın hatasını erken yakalar, çünkü bozuk bir girdi genelde çelişkili gelir.
Üçüncü adım: bozuk girdiyle test edin
Zincir testleri doğru girdiyle yapılır ve bu hiçbir şey göstermez. Bir zincirin dayanıklılığı, bozuk bir girdi geldiğinde nerede durduğuyla ölçülür.
Asagida bir is akisinin adimlari var. Bu akis
icin bozuk girdi testleri hazirla.
Her adim icin uc test yaz:
1) Girdideki bir sayi yanlis olsa bu adim fark
eder mi, yoksa isleyip devam eder mi.
2) Girdide gerekli bir alan bos gelse ne yapar.
3) Girdideki iki bilgi birbiriyle celisse ne
yapar.
Her test icin iki satir ver: adimin su anki
beklenen davranisi, olmasi gereken davranis.
Sonda tek liste cikar: hatayi fark etmeden
sonraki adima gecen adimlar.
Akis: [birinci promptun tablosu]Sondaki liste zincirin zayıf halkalarını verir. Bir adım bozuk girdiyi işleyip devam ediyorsa o adım hata üretmiyor, hatayı taşıyor. Taşıyıcı adımlar üreticilerden daha zararlıdır, çünkü arkalarında iz bırakmazlar ve aramayı zincirin yanlış yerine yönlendirirler.
Dördüncü adım: zincire insan değil, kontrol koyun
Bu noktada akla gelen ilk çözüm her adıma bir onay koymak olur. Bu zinciri durdurur, çünkü kimse altı adımın altısını okumaz. Gereken şey onay sayısını artırmak değil, kontrolü doğru yere koymak.
Asagida bir is akisi ve zayif adim listesi var.
Bana kontrol noktasi onerisi cikar.
Kurallar:
1) En fazla iki kontrol noktasi oner.
2) Her kontrol noktasi icin yaz: hangi iki adim
arasina giriyor, neye bakiliyor, bakan kisi
kac dakikada bitirir.
3) Kontrol tek bir soruya indirilebiliyorsa o
soruyu yaz.
4) Kalan adimlar icin kontrol onerme; onlarin
neden kontrolsuz birakilabilecegini tek
cumleyle acikla.
Tablo ver, serbest metin yazma.
Akis: [tablo]
Zayif adimlar: [ucuncu promptun listesi]İki noktayla sınırlamanın sebebi, uzun kontrol listelerinin uygulanmamasıdır. Üçüncü madde kontrolü gerçekten yapılabilir hale getirir: tek soruya inen bir kontrol yapılır, yarım sayfalık kontrol listesi yapılmaz. Dördüncü madde ise yazılı bir karar bırakır, böylece bir şey ters gittiğinde o adımın bilerek kontrolsüz bırakıldığı görünür.
Beşinci adım: zinciri tek sayfaya indirin
Bu çalışma tek seferlik yapılırsa altı ay sonra zincir değişir ve elinizde eski hali kalır. Zincirin tek sayfalık bir kartı olması gerekiyor.
Asagidaki bilgilerden tek sayfalik bir zincir
karti cikar. Bolumler:
1) Zincirin adi ve ne ise yaradigi, iki cumle.
2) Adim listesi, her adim tek satir, yapay zeka
adimlarinin yanina (YZ) yaz.
3) Kontrol noktalari ve her birinin tek sorusu.
4) Bilinen zayif adimlar ve her birinde
olabilecek hata, tek satir.
5) Zincir bozulursa ilk bakilacak adim.
6) Bu zincirin sahibi olarak yazilacak rol adi.
Tek sayfayi gecme, tablo ve kisa satir kullan.
Bilgiler: [onceki promptlarin ciktilari]Beşinci bölüm bir şey ters gittiğinde kaybedilen zamanı kısaltır. Altıncı bölüm de kart olmadan hiç yazılmayan kısım: zincirin bir sahibi yoksa değişiklikleri kimse takip etmez ve kart ilk güncellemede ölür. Kartı rol adıyla tutun, kişi adıyla tutmayın.
Nerede durmalı
Birinci sınır modelin kendi raporunda. İkinci promptta modelin yazdığı varsayım listesi bir ölçüm değil, modelin beyanı. Yazmadığı varsayımlar olabilir, yazdığı varsayımın etkisini de yanlış tartabilir. Bu liste kontrolü daraltmak için işe yarar, kontrolün yerine geçmez.
İkinci sınır kayıtlarda. Zincir kayıtlarını adım bazında tutun, kişi bazında tutmayın. Burada ölçülen şey akışın davranışı, adımı çalıştıran kişinin performansı değil. Kayıtlar kişiye bağlandığı anda ekip hataları bildirmeyi bırakır ve zincir görünmez hale gelir.
Üçüncü sınır dışarı çıkan çıktıda. Zincirin sonunda müşteriye veya denetçiye giden bir belge varsa, o belgedeki bilginin kaçıncı adımda şekillendiğini yazılı tutmanız gerekir. Dışarıdan gelen bir soruya "akış üretti" diye cevap verilemez.
Son sınır zincirin uzunluğunda. Bir adım eklemek her zaman bir kontrol noktası eklemekten kolaydır, bu yüzden zincirler kendiliğinden uzar. Her yeni adımda sorulacak tek soru şu: bu adım, kendi girdisinin yanlış olabileceğini fark edebilir mi.
Doğru çalışan adımlardan kurulu bir zincir, doğru çalışan bir zincir değildir.