Blog
Kurumunuzda herkes aynı promptu baştan yazıyor
Kısaca: Kurumda yapay zeka kullanımı bir eşiği geçtiğinde herkes kendi promptunu kendi yazar. Aynı iş için onlarca kalıp dolaşır, hiçbiri kayıtlı değildir ve kalıbı bulan kişi ayrıldığında bilgi de onunla gider. Çözüm bir prompt kütüphanesi kurmak; ama ortak klasör olarak değil, sahibi, sürümü ve kabul testi olan bir varlık listesi olarak. Aşağıda bunu iki hafta içinde kurmanızı sağlayan beş kopyala-yapıştır prompt var.
Kurumda yapay zeka kullanımı belli bir noktayı geçtiğinde şu tablo ortaya çıkar: otuz kişi aynı aracı kullanıyordur, her biri kendi kalıbını bulmuştur ve hiçbiri diğerinin ne yaptığını bilmez. Kalıplar not uygulamalarında, kişisel belgelerde ve sohbet geçmişlerinde durur.
Bu tablo bir süre sorun gibi görünmez, çünkü herkes bir şekilde işini yapıyordur. Sorun iki durumda patlar: yeni gelen biri sıfırdan başlar ve altı ayda öğrenilmiş olanı yeniden öğrenir; ya da kalıbı en iyi bilen kişi ayrılır ve kimse o işi aynı kalitede çıkaramaz.
Prompt kütüphanesi kurmanın gerekçesi hız değil. Aynı işin aynı kalitede tekrar edilebilmesi.
Önce dolaşan kalıpları toplayın
Kütüphaneyi boş sayfadan kurmayın. Kurumda zaten çalışan kalıplar vardır; onlar kütüphanenin ilk sürümüdür. Yapılacak ilk iş toplamak ve tekilleştirmek.
Toplama işini gönüllülüğe bırakırsanız beş kişiden cevap alırsınız. Bunun yerine her birime tek bir soru sorun: son bir ayda yapay zekaya verdiğiniz ve sonucunu kullandığınız üç isteği yapıştırın. Üç sayısı önemli; sınırsız isteyince kimse başlamıyor.
Asagida ekiplerden toplanan ham prompt metinleri var.
Bunlari isleyip kutuphane adayi listesi cikar:
1) Ayni isi yapan promptlari tek bir grupta birlestir,
gruba isi tarif eden bir ad ver.
2) Her grup icin: kac kisiden geldigi, isin ne oldugu,
girdisinin ne oldugu, ciktinin nereye gittigi.
3) Gruplar arasindaki farklari yaz: biri digerinde
olmayan hangi talimati iceriyor.
4) Hicbir gruba girmeyen tekil promptlari ayri listele.
Prompt metinlerini yeniden yazma, sadece grupla ve
karsilastir. Emin olamadigin gruplamalari isaretle.
Ham promptlar: [toplanan metinleri yapistirin]Bu çıktının en değerli kısmı üçüncü madde oluyor. Aynı işi yapan beş kalıbın dördünde olmayıp birinde olan bir talimat, genelde o kalıbı çalıştıran şeydir. Kütüphaneye giren sürüm o olmalı.
Kütüphaneye ne girer, ne girmez
Her kalıp kütüphanelik değildir. Üç ölçüt yeterli: iş en az ayda bir tekrar ediyor mu, çıktı bir yere gidiyor mu (belge, karar, müşteri, sistem), sonucun doğru olup olmadığı kontrol edilebiliyor mu. Üçü birden karşılanmıyorsa o kalıp kişisel kalsın.
Kütüphaneye girmeyecek olanlar da net: bir kerelik araştırmalar, kişinin kendi yazım tarzını taklit ettiren istekler ve içine müşteri verisi, isim, sözleşme metni gömülmüş promptlar. Sonuncusu özellikle önemli; paylaşılan bir kalıbın içinde kalan gerçek veri, o veriyi görmemesi gereken herkese açılmış demektir.
Ham promptu kalıba çevirin
Çalışan bir prompt ile kütüphanelik bir kalıp arasındaki fark şudur: kalıp, o işi ilk kez yapan birinin eline verildiğinde de çalışır. Bunun için değişecek yerlerin işaretlenmiş, çıktı biçiminin sabitlenmiş ve sınırların yazılmış olması gerekir.
Asagidaki ham promptu kurumsal kalip haline getir.
Su yapiyi kullan:
- KALIP ADI: isi tarif eden kisa ad.
- NE ISE YARAR: iki cumle.
- GIRDI: kullanicinin saglamasi gereken sey, koseli
parantezle isaretlenmis alanlar halinde.
- TALIMAT: modele verilecek metin, adim adim.
- CIKTI BICIMI: tam olarak hangi basliklar/sutunlar
hangi sirayla gelecek.
- SINIR: modelin yapmamasi gereken seyler; bilgi
eksikse ne yapacagi (uydurmak yerine ne yazacagi).
Ham promptun calisan talimatlarini koru, kendi
yorumunu ekleme. Belirsiz kalan yerleri
"[netlestirilecek]" olarak birak.
Ham prompt: [gruptan secilen en iyi surumu yapistirin]Sınır bölümü çoğu kurumda atlanıyor ve en pahalı atlama bu oluyor. "Bilmediğin bir rakam varsa tahmin etme, [girilecek] yaz" gibi tek bir satır, kalıbın ürettiği çıktının güvenilirliğini en çok değiştiren şeydir.
Kalıbı yazmak kolay, kabul etmek zor
Bir kalıbın çalıştığını nasıl biliyorsunuz? Çoğu kurumda cevap "denedik, güzel görünüyordu" oluyor. Bu, kalıp kütüphaneye girdikten sonra ilk gerçek işte patladığında anlaşılıyor.
Kalıbı kütüphaneye almadan önce küçük bir kabul seti kurun: geçmişte gerçekten yapılmış üç iş, o işlerin gerçek girdisi ve gerçek çıktısı. Kalıp bu üçünde beklenen sonuca yakın bir şey üretiyorsa kabul edilir.
Asagidaki kalip icin bir kabul testi seti tasarla.
Sunlari uret:
1) Kalibin dogru calistigini gosterecek 3 farkli test
durumu; her biri icin hangi tur girdi gerektigini
tarif et (gercek ornekleri ben koyacagim).
2) Her test icin "kabul edilir" sayilmasi gereken
ciktinin ozellikleri: hangi bilgiler mutlaka olmali,
hangi hata olursa test basarisiz sayilir.
3) Kalibin en olasi iki bozulma bicimi: hangi girdi
turunde yanlis veya uydurma cikti uretmesi bekle-
nir, bunu fark etmek icin neye bakilmali.
4) Testi yapacak kisinin 15 dakikada uygulayabilecegi
bir kontrol listesi.
Ornek cikti uydurma; sadece olcutleri yaz.
Kalip: [bir onceki adimda urettiginiz kalibi yapistirin]Üçüncü madde kütüphanenin en çok işe yarayan parçası. Kalıbın nerede bozulduğunu önceden yazmak, o kalıbı kullanan kişiye neye bakacağını söylemek demek.
Her kalıbın bir sahibi ve bir sürümü olsun
Sahipsiz kalıp, altı ay sonra kimsenin güvenmediği kalıptır. Sahip, kalıbı yazan kişi olmak zorunda değil; o işi yapan birimde biri olması yeterli. Sürüm numarası ise kalıp değiştiğinde eski çıktıların neden farklı olduğunu açıklıyor.
Asagidaki kalip icin tek ekrana sigan bir kutuphane
kaydi yaz. Alanlar:
- kalip adi ve tek cumlelik amaci,
- sahibi (birim ve rol; kisi adi degil),
- surum ve son gozden gecirme tarihi,
- hangi isde kullanilir, hangi isde kullanilmaz,
- kabul testinin ozeti (2 satir),
- bilinen zaaflar,
- cikti nereye gidiyor ve gitmeden once kim bakiyor,
- bu kalip ne zaman yeniden test edilmeli (olay bazli:
saglayici/surum degisirse, sikayet gelirse, vb).
200 kelimeyi gecme. Bilmedigin alanlari
"[doldurulacak]" birak, tahmin etme.
Kalip ve test seti: [kalibi ve kabul setini yapistirin]Kütüphaneyi çeyrekte bir budayın
Kütüphaneler kullanılmadığı için değil, şiştiği için ölüyor. Kırk kalıbın içinde doğru olanı arayan kişi, üçüncü denemede kendi promptunu yazmaya geri dönüyor. Üç ayda bir budamak, kütüphaneyi kütüphane tutan şey.
Asagida kutuphanedeki kaliplarin listesi ve son ceyrek-
teki kullanim bilgisi var. Su dort gruba ayir:
- KALSIN: duzenli kullaniliyor, testi gecerli.
- BIRLESSIN: baska bir kalipla buyuk olcude ayni isi
yapiyor; hangisiyle birlesecegini ve birlesik kalibin
neyi kapsamasi gerektigini yaz.
- YENILENSIN: kullaniliyor ama son gozden gecirmesi
eski veya bilinen zaafi buyumus; neyin degismesi
gerektigini yaz.
- EMEKLI OLSUN: kullanilmiyor veya isi ortadan kalkmis.
Her karar icin tek cumlelik gerekce yaz. Kullanim
bilgisi olmayan kalibi emekli etme, "veri yok" isaretle.
Kutuphane listesi: [kalip adlari, sahipleri, son gozden
gecirme tarihleri ve kullanim sayilarini yapistirin]Budama toplantısı yarım saat sürüyor ve genelde kütüphanenin üçte birini götürüyor. Kalanlara güven artıyor.
Nerede durmanız gerekiyor
Üç sınır var. Birincisi veri: paylaşılan bir kalıbın içinde gerçek müşteri adı, sözleşme metni veya kişisel bilgi kalmamalı. Kalıba giren şey örnek değil, yer tutucu olmalı.
İkincisi ölçüm: kütüphanenin hangi kalıbının kaç kez kullanıldığına bakın, kimin kaç kez kullandığına bakmayın. Kişi bazlı kullanım raporu, kütüphaneyi bir gözetim aracına çevirir ve insanlar kalıp paylaşmayı bırakır.
Üçüncüsü doğrulama: yukarıdaki promptların hepsi size düzgün görünen listeler üretir. Model, kurumda olmayan bir işi gruplandırabilir, kabul ölçütü olarak anlamsız bir şey yazabilir. Kabul setinin gerçek girdileri ve kalıbın sınırları, işi fiilen yapan kişiden geçmeden kütüphaneye girmemeli.
Prompt kütüphanesi bir dosya değil; kurumun bir işi nasıl yaptırdığına dair yazılı hafızasıdır.