Blog
Yapay zeka yanlış cevabı sizin eski belgenizden veriyor
Kısaca: Kurum içi yapay zeka uygulamalarında yanlış cevapların çoğu uydurma değildir; model gerçek bir kurum belgesinden okur, sadece o belgenin artık yürürlükte olmadığını bilmez. Arşivinizde aynı konunun üç sürümü varsa model üçünü de eşit derecede doğru sayar. Aşağıda, tek bir satır kod yazmadan bu boşluğu kapatmanızı sağlayan beş prompt var.
Bir kuruma yapay zeka asistanı kurulduğunda ilk şikayet neredeyse hep aynıdır: "yanlış cevap veriyor". Ekip modeli suçlar, tedarikçi veriyi suçlar, herkes bir süre hassasiyet oranı konuşur.
Sonra biri cevabın kaynağına bakar. Belge gerçektir. Kurumun kendi sunucusundadır. İmzalıdır. Sadece 2022'de değişmiştir ve eski hali silinmemiştir.
Bu, teknik bir arıza değil arşiv arızasıdır. Ve düzeltmesi model değiştirmekten çok daha ucuzdur.
Model belgeyi okur, geçerliliğini bilmez
İnsan bir prosedürün eskidiğini bağlamdan anlar. Kağıdın formatı, imza atanın artık şirkette olmaması, ekteki tablonun para birimi, hepsi sinyaldir. Deneyimli bir çalışan "bu eski, sorma bunu" der ve geçer.
Model bu sinyalleri okumaz. Onun için iki belge arasındaki tek fark metindir. Birinde "onay limiti 250 bin" yazıyorsa, diğerinde "onay limiti 500 bin" yazıyorsa, model ikisini de gördüğünde ya birini seçer ya ortalama bir cevap kurar. Hangisini seçtiğini de size söylemez.
Bu yüzden kurum içi yapay zeka projelerinde en yüksek getirili iş genellikle model tarafında değildir. Hangi belgenin yürürlükte olduğunu, hangisinin arşiv olduğunu ve çakışma halinde hangisinin kazanacağını yazmaktır. Bunu yazmak yönetimin işidir, kimse sizin yerinize yapamaz.
Birinci adım: hangi belge hangi soruya cevap veriyor
Klasör sayısıyla başlamayın, soruyla başlayın. Asistana en çok sorulan otuz sorunun listesini çıkarın ve her soru için hangi belgenin yetkili kaynak olduğunu tek tek yazın. Bu liste sandığınızdan kısa çıkar; kurumların çoğunda soruların yüzde sekseni on beş belgeye dayanır.
Asagida kurum ici yapay zeka asistanina en cok
sorulan sorularin listesi var.
Her soru icin su uc seyi ayri satirda yaz:
- bu soruya cevap verecek TEK yetkili belge hangisi olmali,
- o belgenin sahibi hangi birim,
- belge yoksa bunu "yetkili belge yok" diye isaretle.
Belge adini uydurma; sadece sana verdigim
belge listesinden sec.
Cevabini bir tablo olarak ver.
Sorular: [en cok sorulan sorulari yapistirin]
Belge listesi: [belge adlarini ve tarihlerini yapistirin]Bu prompt size iki şey verir. Birincisi, her sorunun tek bir sahibi olur. İkincisi, "yetkili belge yok" satırları ortaya çıkar; bunlar modelin uydurmaya en açık olduğu yerlerdir ve genellikle kimsenin farkında olmadığı boşluklardır.
İkinci adım: her belgeye bir geçerlilik etiketi koyun
Bir belgenin yürürlükte olup olmadığı üç bilgiyle belirlenir: ne zaman yürürlüğe girdi, ne zaman sona eriyor, yerine geçen bir belge var mı. Kurumsal arşivlerin çoğunda birinci bilgi vardır, ikincisi yoktur, üçüncüsü hiç yoktur.
Asagidaki belge listesi icin bir gecerlilik tablosu kur.
Her belge icin su alanlari doldur:
- yururluk baslangic tarihi,
- yururluk bitis tarihi (yoksa "belirsiz" yaz),
- yerine gecen belge (varsa adi, yoksa "yok"),
- durum: YURURLUKTE / ARSIV / BELIRSIZ.
Tarihi belgenin kendi metninden al.
Metinde tarih yoksa "metinde yok" yaz, tahmin etme.
Ayni konunun birden fazla surumunu gordugunde
bunlari ust uste grupla.
Sonunda sadece BELIRSIZ olanlarin listesini
ayri bir baslik altinda tekrarla.
Belgeler: [belge metinlerini veya ust bilgilerini yapistirin]Son satır bu promptun asıl çıktısıdır. Belirsiz listesi, insanın karar vermesi gereken kısa bir kuyruktur. Bu kuyruğu bir kişiye verip iki hafta içinde kapatmak, modeli ince ayara sokmaktan çok daha fazla doğruluk kazandırır.
Üçüncü adım: çakışma kuralını önceden yazın
İki belge aynı konuda farklı şey söylüyorsa hangisi kazanır? Cevap "yeni olan" değildir. Bir yönetmelik eski tarihli olsa bile bir iç talimatnameyi ezer. Bir müşteri sözleşmesi genel prosedürden önce gelir. Bu hiyerarşi kurumunuzda vardır ama yazılı değildir.
Kurumumuzda belge turleri sunlar:
[belge turlerini listeleyin: mevzuat, yonetmelik,
prosedur, talimat, sunum, e-posta, toplanti notu vb.]
Bu turler icin bir oncelik siralamasi oner ve
her sirayi tek cumleyle gerekcelendir.
Sonra su uc catisma senaryosunu bu siralamaya gore coz:
(1) yeni tarihli bir sunum, eski tarihli bir
prosedurle celisiyor,
(2) iki prosedur ayni konuda farkli sinir soyluyor,
(3) bir e-postada verilen istisna,
yazili prosedure aykiri.
Her senaryo icin hangi belgenin gecerli oldugunu ve
kullaniciya ne uyarisi gosterilmesi gerektigini yaz.Çıkan sıralamayı olduğu gibi kabul etmeyin, üstünde tartışın. Önemli olan sonucun mükemmel olması değil, tartışmanın bir kere yapılıp yazıya geçmesidir. Yazılmamış hiyerarşi, her sorguda yeniden ve rastgele kurulur.
Dördüncü adım: cevabın kaynağını göstermesini zorunlu kılın
Kaynak göstermeyen bir kurum içi asistan denetlenemez. Kullanıcı cevabın doğru olup olmadığını anlayamaz, siz de hangi belgenin sorun çıkardığını göremezsiniz. Kaynak zorunluluğu bir teknik özellik değil, bir kullanım kuralıdır ve prompt seviyesinde uygulanabilir.
Bundan sonraki her cevabinda su formati kullan:
1) Cevap (en fazla bes cumle).
2) Dayanak: kullandigin her belgenin adi,
tarihi ve ilgili bolum basligi.
3) Guven: cevabin tamami tek bir yururlukteki
belgeden mi geliyor, yoksa birden fazla
belgeyi birlestirdin mi? Birlestirdiysen bunu yaz.
4) Eksik: cevabi vermek icin ihtiyacin olan ama
sana verilmeyen bilgi varsa listele.
Dayanak gosteremiyorsan cevap yerine
"dayanak bulunamadi" yaz ve dur.
Soru: [soruyu yazin]Dördüncü maddeyi atlamayın. "Eksik" listesi zamanla kurumdaki en değerli belge talebi listesine dönüşür; modelin hangi konuda kaynaksız kaldığını kullanıcı şikayetinden aylar önce gösterir.
Beşinci adım: belge değişince ne olacağını bugünden yazın
Bir prosedür güncellendiğinde asistanın bunu ne kadar sürede öğreneceği, kimin haber vereceği ve eski sürümün ne olacağı önceden yazılmamışsa, sistem ilk revizyonda sessizce bozulur. Bozulduğunu da aylar sonra bir kullanıcı fark eder.
Asagidaki belge icin bir guncelleme protokolu yaz.
Su dort soruyu somut cevapla:
- belge degistiginde kim, hangi kanaldan haber verir,
- eski surum ne olur (silinir mi,
arsiv olarak isaretlenir mi),
- degisiklik asistana yansiyana kadar
kullaniciya ne gosterilir,
- degisikligin yansidigi nasil kontrol edilir
(tek bir test sorusu oner).
Rol adlari kullan, kisi adi kullanma.
Protokolu bir sayfayi gecmeyecek sekilde yaz.
Belge: [belgenin adini ve sahibini yazin]Son maddedeki test sorusu küçük görünür ama işi bitiren şeydir. Her yürürlükteki belge için cevabı bilinen tek bir soru varsa, güncellemenin yansıyıp yansımadığını kontrol etmek otuz saniyelik iştir.
Nerede durmalı
Bu çalışma belge yönetimi işidir, kişi takibi değil. Kimin hangi soruyu sorduğunu kayıt altına alıp performans değerlendirmesinde kullanmak, sistemi ilk haftada bitirir; insanlar soru sormayı bırakır ve elinizde kullanılmayan bir asistan kalır. Soru kayıtlarına bakacaksanız kişi bazında değil, konu bazında bakın.
İkinci sınır modelin kendisiyle ilgili. Yukarıdaki promptların hepsi belgeden okuma işi yaptırıyor ama model yine de boşluk gördüğü yeri doldurmaya eğilimlidir; özellikle tarih, sayı ve limit alanlarında. "Metinde yok" ve "dayanak bulunamadı" gibi çıkışları promptta açıkça tanımlamanın sebebi budur. Yine de yürürlük tablosunu bir insan gözden geçirmeden yayına almayın.
Üçüncüsü kapsam. Bu yöntem iç prosedürler, talimatlar ve el kitapları için çalışır. Sözleşme yorumu, mevzuat uyumu ve hukuki görüş bu listenin dışındadır; oralarda yetkili kaynak modelin bulduğu belge değil, hukuk biriminin verdiği görüştür.
Yapay zekanın kurumunuzda verdiği yanlış cevapların çoğu, aslında sizin hiç kapatmadığınız bir dosyanın sesidir.