Blog
Demoyu beğendiniz, sınavı hiç yazmadınız
Kısaca: Demoda gördüğünüz soruları satıcı seçti. Kararı verecek olan şey demo değil, sizin elinizde olan sınav setidir: kendi işinizden gelmiş otuz vaka, her birinin kabul edilebilir cevabı yazılı. Bu seti modeli görmeden yazın, her teklife aynısını uygulayın, her sürüm değişikliğinde tekrar çalıştırın. Sınav seti olmayan kurum, satın alma kararını satıcının seçtiği sorularla verir.
Toplantı iyi geçti. Model soruları doğru cevapladı, ekran akıcıydı, ekipten iki kişi "bunu bugün kullanırım" dedi. Karar neredeyse verilmiş görünüyor.
Oysa o toplantıda bir şey eksikti: soruları siz seçmediniz.
Demo, ürünün en iyi çalıştığı yerde çekilmiş bir fotoğraftır. Kötü niyet gerektirmez; satıcı da ürününü en iyi gösterdiği örneklerle anlatır, bu normaldir. Anormal olan, alıcının bu fotoğrafı sınav sonucu sanmasıdır.
Kurumda bu boşluk neredeyse her zaman aynı cümleyle kapatılmaya çalışılır: "pilotta görürüz". Pilot aylar sürer, para harcanır, sonra ortaya çıkan şey zaten iki haftada ölçülebilecek bir şeydir.
Sınav seti bu iki haftanın adıdır. Pahalı bir araç değil, bir dosya: kendi işinizden gelmiş vakalar ve her birinin yanında ne beklediğinizi yazdığınız bir satır.
Demo sizin sorunuzu cevaplamaz
Demoda sorulan sorular genelde üç özelliği paylaşır: girdi temizdir, vaka tipiktir, doğru cevap tektir.
Sizin işiniz böyle değil. Girdinin yarısında alan boş, vakaların önemli kısmı sınırda, bazı sorularda doğru cevap "elde yeterli bilgi yok" olmalı. Modelin asıl sınavı burada verilir ve demoda bu soruların hiçbiri sorulmaz.
Bu yüzden değerlendirmede ilk iş teklifi incelemek değil, kendi sınavınızı yazmaktır. Sınav setiniz yoksa elinizdeki tek ölçü satıcının anlatısıdır.
Sınav setini modeli görmeden yazın
Sırası önemli. Model çalıştıktan sonra yazılan sınav, modelin iyi olduğu yerlere doğru kayar. Bu kayma kötü niyetle olmaz, farkında olmadan olur: elinizde zaten bir çıktı varken "bunu da sorsam mı" diye düşünmek, çıktıya benzeyen soruları seçmek anlamına gelir.
Setin ne zaman yazıldığı ayrıca bir yönetişim meselesidir. Teklif açılmadan önce yazılmış bir sınav seti, karara itiraz edildiğinde elinizde duran tek nesnel belgedir.
Setin ilk hali uzun olmak zorunda değil. Vaka kategorilerini çıkarmakla başlayın.
Bir yapay zeka cozumu satin almayi degerlendiriyorum ve
karari demoya degil kendi sinav setime dayandirmak istiyorum.
Is: [modelin yapmasini bekledigim is, tek cumle]
Girdi: [modele ne verilecek - dosya turu, alan sayisi, kimden geliyor]
Cikti: [modelden ne beklenecek - metin, siniflama, oneri, hesap]
Kullanici: [cikti kime gidecek, o kisi ne yapacak]
Bana bu is icin bir sinav setinin VAKA KATEGORILERINI cikar.
Her kategori icin: adi, neyi olcuyor, kac vaka gerekir.
Kategorilerde su dort grubu mutlaka ayri tut:
1. Tipik vaka (isin cogunlugu)
2. Sinirda vaka (iki cevap da savunulabilir)
3. Eksik girdi (modelin cevap VERMEMESI gerekir)
4. Tuzak vaka (girdi dogru gorunur ama ice tutarsiz)
Cozum onerme, teknoloji onerme. Sadece kategori listesi ver.
Verdigim bilgi yetmiyorsa eksik alani sor.Bu prompt bir test planı değil, bir iskelet üretir. İskeletin değeri üçüncü ve dördüncü grupta: kurumlar sınav setlerini neredeyse her zaman sadece tipik vakalardan kurar, oysa satın alma kararını değiştiren vakalar diğer ikisidir. Son satır, modelin işiniz hakkında bilmediği şeyi doldurmasını engeller.
Otuz vaka yeter, ama hangi otuz
Sınav seti büyük olmak zorunda değil. Ayırt edici olmak zorunda. Otuz iyi seçilmiş vaka, üç yüz rastgele vakadan daha çok şey söyler.
Vakalar uydurulmaz, geçmişten seçilir. Geçen çeyreğin gerçek kayıtları elinizdeki en değerli test malzemesidir, çünkü hem gerçek girdileri hem de insanların o girdilere verdiği kararları içerir.
Seçim yaparken içgüdü yanıltır. İnsan aklına kolay gelen örnekleri seçer ve kolay gelen örnekler genelde tipik olanlardır. Bu yüzden seçimi duyguyla değil, yazılı bir kuralla yapın.
Elimde gecmis kayitlar var ve bunlardan bir yapay zeka
sinav seti icin vaka secmek istiyorum.
Kayitlarin icerigi: [alan isimleri ve her alanda ne var]
Kayit sayisi: [yaklasik]
Donem: [hangi tarih araligi]
Bana bu kayitlardan vaka secmek icin bir SECIM KURALI listesi yaz.
Her kural icin: hangi kayitlari isaretler, neyi test eder.
Su tipleri ayri ayri yakalayacak kurallar olsun:
- Insanlarin karar vermekte zorlandigi kayitlar
- Sonradan duzeltilmis veya itiraz edilmis kayitlar
- Nadir ama pahali sonuclu kayitlar
- Girdisi eksik oldugu halde islem gormus kayitlar
Kurallari ben elle uygulayacagim, kod yazma.
Sonuna, toplam 30 vakanin kategorilere nasil dagitilmasi
gerektigini tek tablo olarak oner.Buradaki ikinci kural çoğu kurumda hiç kullanılmaz ve en çok işe yarayan kuraldır: sonradan düzeltilmiş kayıtlar, işin gerçekten zor olduğu yerleri işaretler. Kod istememek bilinçli bir tercihtir, bu aşamada kayıtlara kimin baktığı önemlidir.
Doğru cevabı modele değil, size birisi tanımlamalı
Sınav setinin asıl zorluğu soruları bulmak değil, cevap anahtarını yazmak. "Doğru cevap" çoğu işte tek bir metin değildir; kabul edilebilir bir aralıktır.
Bu yüzden her vakaya tek doğru cevap yazmak yerine kabul kriteri yazın: hangi unsurlar bulunmak zorunda, hangileri bulunmamalı, neye "yetersiz bilgi" demek gerekir. Kriteri yazan kişi de belli olmalı. İşin sahibi yazmıyorsa, cevap anahtarı sadece bir görüştür.
Bir yapay zeka sinav setindeki vakalar icin cevap anahtari
yazmak istiyorum. Tek dogru metin degil, KABUL KRITERI istiyorum.
Vaka turu: [bu grup vakalarda ne soruluyor]
Ornek vaka: [tek bir vakanin girdisi]
Bu vakada isin sahibi olarak dogru buldugum cevap: [kendi cevabim]
Bana bu vaka turu icin bir kabul kriteri sablonu yaz:
- Cevapta MUTLAKA bulunmasi gerekenler
- Cevapta BULUNMAMASI gerekenler
- "Yetersiz bilgi" cevabinin kabul edildigi kosullar
- Kismen dogru sayilacak haller ve nasil puanlanacagi
Sonuna, bu kriteri kimin onaylamasi gerektigini ve
onay tarihinin neden yazili olmasi gerektigini iki cumleyle yaz.Şablonun en çok tartışma çıkaran kısmı "bulunmaması gerekenler" satırıdır ve tartışma iyidir. Müşteriye giden bir cevapta nelerin asla yer almayacağını sınavdan önce yazmazsanız, o sınırı canlıda öğrenirsiniz.
Aynı sınavı her teklife ve her sürüme uygulayın
Sınav setinin ikinci faydası karşılaştırmadır. Üç teklif üç farklı demoyla gelir ve bu demolar karşılaştırılamaz. Aynı otuz vakayı üçüne de verdiğinizde elinizde tek bir karne olur.
Aynı set, satın alma bittikten sonra da işe yarar. Sağlayıcı sürüm güncellediğinde, prompt değiştiğinde, veri kaynağı yenilendiğinde aynı sınav tekrar çalıştırılır. Düşüşü yakalamanın en ucuz yolu budur.
Burada tek şart, sonuçların bir yerde durması. Sınav her seferinde çalıştırılıp unutuluyorsa karşılaştırma yapamazsınız; tarih, sürüm ve kategori bazlı sonuç tek bir tabloda birikmeli.
Elimde ayni sinav setini uygulayarak aldigim sonuclar var.
Bunlari karsilastirip karar notuna donusturmek istiyorum.
Sinav seti: [kac vaka, kac kategori]
Degerlendirilen secenekler: [A, B, C - kisa tanim]
Her secenegin kategori bazli sonucu: [kategori: dogru/kismi/yanlis sayilari]
Isin kabul esigi: [hangi kategoride en az ne bekliyorum]
Bana su sirayla bir karar notu yaz:
1. Hangi secenek hangi kategoride digerlerinden gercekten farkli
2. Fark kucuk oldugu icin karar gerekcesi OLMAYAN kategoriler
3. Kabul esigini gecemeyen secenekler ve hangi kategoride kaldigi
4. Sonuclarin cevaplamadigi sorular
Puanlari toplayip tek bir genel skor URETME.
Her maddede hangi sayiya dayandigini belirt.Tek skor üretmeyi yasaklamak önemli: genel ortalama, eksik girdi kategorisindeki başarısızlığı tipik vakalardaki başarıyla gizler. Dördüncü madde de bilerek orada; sınav setinin cevaplamadığı soruları yazılı görmek, sonraki sürümde hangi vakaları ekleyeceğinizi söyler.
Sınav seti de eskir
Bir süre sonra setteki vakaların çoğunu her seçenek doğru cevaplar. Bu, modellerin mükemmelleştiği anlamına gelmez; setin ayırt etme gücünü kaybettiği anlamına gelir.
Sınav setine sahip bir rol ve yılda iki gözden geçirme tarihi koyun. Her gözden geçirmede sorulacak soru şu: hangi vakayı artık herkes doğru cevaplıyor, bu çeyrekte işimizde hangi yeni vaka tipi çıktı.
Bir yapay zeka sinav setini gozden gecirmek istiyorum.
Setin kurulus tarihi: [tarih]
Vaka sayisi ve kategorileri: [liste]
Son uc calistirmada kategori bazli sonuclar: [ozet]
Bu donemde iste degisen seyler: [yeni surec, yeni girdi turu, yeni kural]
Bana bir gozden gecirme notu uret:
- Ayirt etme gucunu kaybeden vakalar (hepsi dogru cevapliyor)
- Hala ayirt eden ve korunmasi gereken vakalar
- Isteki degisiklikler nedeniyle ARTIK GECERSIZ olan vakalar
- Eklenmesi gereken yeni vaka tipleri ve neden
- Setin bir sonraki gozden gecirme tarihi
Vaka metni yazma; sadece hangi tipte vaka gerektigini soyle.
Emin olmadigin yerde varsayim yazma, soru sor.Üçüncü madde en çok atlanan maddedir. İşiniz değiştiğinde eski vakalar sadece eskimez, yanlış yöne iter: artık geçerli olmayan bir kurala göre doğru cevap veren seçeneği ödüllendirirsiniz.
Sınırı baştan çizin
Sınav seti geçmiş kayıtlarla kurulur ve o kayıtların arkasında insanlar vardır. Amaç kimin kaç kez yanlış karar verdiğini bulmak değil, işin nerede zorlaştığını bulmak. Vakaları kişiden arındırarak kullanın; karne kategori düzeyinde okunur, kişi düzeyinde okunmaz.
İkinci sınır modelin kendisiyle ilgili. Sınav setini modele yazdırırsanız, modelin bilmediği vaka tipleri sette hiç yer almaz. Yukarıdaki promptlar bilerek kategori ve kural üretir, vaka metni üretmez: vakalar sizin kayıtlarınızdan gelmeli. Kabul kriterini de model değil, işin sahibi onaylar.
Ayrıca bir sınav sonucu bir garanti değildir. Otuz vakada doğru cevap veren bir model otuz birincide yanlış cevap verebilir; sınav seti riski ölçer, kaldırmaz.
Demoyu satıcı hazırlar, sınavı siz hazırlarsınız; hangisine göre karar verdiğiniz, altı ay sonra kimin haklı çıkacağını da belirler.