Blog
Modele sorulan sorular size ne anlatıyor
Kısaca: Ekibinizin yapay zekaya yazdığı sorular, kurumunuzdaki en dürüst ihtiyaç listesidir. Kimse anket doldurmazken herkes modele gerçek derdini yazıyor. Çoğu kurumda bu kayıt hiç okunmuyor, sadece kaç sorgu atıldığı sayılıyor. Soruların içine bakmak, hangi belgenin bulunamadığını ve hangi adımın eksik olduğunu bir ayda gösterir.
Benimseme raporunuzda bir sayı var. Bu ay kaç kişi kullandı, kaç sorgu atıldı. Grafik yukarı gidiyor, kimse itiraz etmiyor.
O grafiğin altında kimsenin açmadığı bir kayıt duruyor: ekibinizin modele yazdığı soruların kendisi. Sayısı değil, içeriği.
Anket yaptığınızda insanlar neye ihtiyaç olduğunu düşündüklerini yazar. Modele ise o an neye takıldıklarını yazar. İkisi aynı şey değil ve ikincisi daha doğru.
Kurumun en dürüst ihtiyaç listesi
Süreç çalışmalarında insanlara zamanlarını nereye harcadıklarını sorarsınız. Aldığınız cevap hatırlanan iştir, yaşanan iş değil. Kimse bilerek yanlış söylemez; hafıza öyle çalışır.
Modele sorulan soru ise o anda, iş tıkandığı yerde yazılmış. Üstelik kimse not tutulduğunu düşünmediği için süslemiyor. Bir atölye günü boyunca çıkmayacak bilgi, üç yüz satır soru kaydında duruyor.
Ama bu kayıt ancak içeriği okunursa bilgi verir. Sayıldığında sadece hacim verir, hacim de karar üretmez.
Soru sayısı size yalnızca kullanımı söyler
Kaç sorgu atıldığı benimsemenin ölçüsüdür. İyi bir ölçüdür ama tek başına yanıltır. Aynı soru yüz kez soruluyorsa elinizde yüz birimlik kullanım yok, bir birimlik eksiklik var.
Ölçüyü değiştirin. Kaç soru soruldu yerine, sorular kaç farklı ihtiyaca işaret ediyor diye sorun. Birinci sayı artarken ikincisi sabit kalıyorsa kurum öğrenmiyor, sadece daha çok soruyor.
Kaydı toplamak çoğu kurumda sanıldığı kadar zor değil. Kurumsal hesapta yönetici panelinden dökülür, kendi kurduğunuz ajanlarda zaten günlük tutuyorsunuz. Zor olan kısım izin ve kapsamdır: hangi kayıtların analize girdiği, kimin okuyabildiği ve ne kadar süre saklandığı ilk günden yazılı olsun.
Soruları dört kovaya ayırın
Her soru şu dördünden birine girer. Belgede yazılı olanı arayan soru: bilgi var, bulunamıyor. Burada çözüm model değil, erişim ve arama. İş yaptırmak isteyen soru: taslak, hesap, çeviri, özet. Bunlar süreçte otomatikleşmeye hazır adımları gösterir. Doğrulamak isteyen soru: bu doğru mu, böyle mi yapılır. Burada bir kural yazılı değil demektir. Kurum dışı genel soru: eğitim ihtiyacı ya da merak.
Dağılımın kendisi bir teşhistir. Birinci kova büyükse belge düzeniniz bozuk, model almanıza gerek yoktu. Üçüncü kova büyükse kurallarınız insanların kafasında duruyor.
Bu ayrımı tek seferlik bir çalışma gibi görmeyin. İlk ay fotoğraf verir, üçüncü ay yön verir. Bir kova küçülürken diğeri büyüyorsa bu iyi haberdir: insanlar bilgi aramayı bırakıp iş yaptırmaya geçmiş demektir.
Asagida kurumumuzda yapay zekaya sorulmus [sayi] soru var. Isim ve
kullanici bilgisi cikarilmis durumda.
Her soruyu su dort kovadan birine koy:
1. BELGEDE VAR: cevabi mevcut bir belgede yazili olmasi gereken soru
2. IS YAPTIRMA: taslak, hesap, ceviri, ozet gibi bir isi yapma istegi
3. DOGRULAMA: bu dogru mu, boyle mi yapilir turu teyit sorusu
4. KURUM DISI: bizim surecimizle ilgisi olmayan genel soru
Ciktida ver:
- Her kovanin soru sayisi ve yuzdesi
- Her kovadan 3 ornek soru
- Her kova icin tek cumle: bu kovanin bu kadar buyuk olmasi
kurumda neyin eksik oldugunu gosterir
- Hangi kovaya koyacagindan emin olmadigin sorulari ayri listele
Sorular:
[sorulari buraya yapistir]Bu prompt bir ayın sorularını yarım saatte okunabilir hale getirir. Emin olunamayan soruların ayrı listelenmesi önemli; o liste genelde kurumun kendi diliyle yazılmış, modelin anlamadığı işleri barındırır. Dağılımı her ay aynı dört kovayla ölçün, yoksa karşılaştıramazsınız.
Tekrar eden soru bir arıza kaydıdır
Aynı ekipman üç kez arızalanırsa bakım kaydı açılır. Aynı soru üç kez sorulursa hiçbir şey olmaz. Oysa tekrar, kurumun bir bilgiyi yerinde tutamadığının kanıtıdır.
Her tekrar kümesi için tek satır yazın: bu bilgi nerede yazılı olmalıydı, sahibi kim, neden bulunamıyor. Kümeleri büyüklüğüne göre değil, sorunun kime dokunduğuna göre sıralayın. Beş kişinin sorduğu bir müşteri sorusu, kırk kişinin sorduğu bir izin sorusundan önce gelir.
Asagidaki soru listesinde ayni ihtiyaci farkli kelimelerle
tekrarlayan kumeleri bul.
Kurallar:
- Bir kume en az [3] soru icermeli
- Kelime benzerligine degil, SORULAN SEYE gore grupla
- Her kume icin kisa bir baslik yaz
Her kume icin su alanlari doldur:
- Kume basligi
- Soru sayisi
- Bu bilgi nerede yazili olmaliydi
- Sahibi kim olabilir
- Neden bulunamiyor olabilir
Son olarak kumeleri soru sayisina gore DEGIL su siraya gore diz:
musteriye giden isler, mevzuat ve guvenlik, ic raporlama, digerleri.
Sorular:
[sorulari buraya yapistir]Bu çıktı doğrudan bir iş listesidir. Kümelerin çoğu bir belgenin yanlış yerde durmasıyla kapanır, model tarafında hiçbir şey değişmez. Sıralamayı modele bırakmayın; o hacmi büyük olanı öne alır, sizin için önemli olan etkisi büyük olandır.
Yarıda bırakılan soru en değerli sinyal
İnsanlar kötü cevap aldığında şikayet etmez, sekmeyi kapatır. Bu yüzden en çok şey anlatan kayıt, cevap alındıktan sonra devam etmeyen konuşmalardır.
İki ihtimal var. Cevap yetersizdi ya da soru modelin bilemeyeceği bir şeyi soruyordu. Birincisi istem ve bağlam işi, ikincisi veri işi. İkisi tamamen farklı iş çıkarır, bu yüzden ayırmadan bakmanın faydası yok.
Asagida tek turda birakilmis konusmalar var: kullanici soruyu sordu,
cevabi aldi ve devam etmedi.
Her konusma icin iki ihtimalden hangisi daha olasi, gerekcesiyle yaz:
A. Cevap yetersizdi ya da yanlisti
B. Soru modelin bilemeyecegi bir sey soruyordu (bizim verimiz,
bizim kuralimiz, guncel durum)
Ciktida ver:
- A ve B dagilimi
- B grubunda en sik gecen uc bilgi turu
- A grubunda cevabin nerede yetersiz kaldigi: eksik baglam,
yanlis format, fazla genel
- Bu listeden cikan en fazla uc somut is
Emin olmadigin konusmalari KARARSIZ olarak isaretle, tahmin etme.
Konusmalar:
[konusmalari buraya yapistir]Tek göstergeyi izlemek yeter: tek turda bırakılan konuşma oranı. Buna eşik koymayın, trendini izleyin. Oran düşüyorsa cevaplar işe yarıyor, yükseliyorsa insanlar sessizce vazgeçiyor demektir.
Bunu kişi bazına indirmeyin
Bu kayıtların kimin ne sorduğu olarak okunması hem yanlış hem de çalışmayı bitirir. İnsanlar soru kayıtlarının performans konuşmasına girdiğini bir kez duyarsa modele gerçek derdini bir daha yazmaz. Sinyali kendi elinizle kapatırsınız.
Üç kural yeter. İsim ve kullanıcı kimliği analizden önce çıkar. Yalnızca en az beş farklı kişinin sorduğu kümeler raporlanır. Kişisel ya da hassas içerik taşıyan konuşmalar hiç okunmaz. Rapor rol seviyesinde kalsın: saha ekibi şunu soruyor olur, şu kişi şunu soruyor olmaz.
Asagidaki soru raporu taslagini kisi mahremiyeti acisindan denetle.
Su uc kurali ihlal eden her satiri isaretle:
1. Isim, kullanici adi, e-posta ya da tek kisiye isaret eden ifade
2. Bes kisiden az kisinin sordugu bir kumenin raporlanmasi
3. Kisisel durum, saglik ya da performans iceren ornek
Her isaretli satir icin:
- Hangi kurali ihlal ediyor
- Rol seviyesinde nasil yeniden yazilir
- Yeniden yazilamiyorsa CIKAR de
Rapor taslagi:
[raporu buraya yapistir]Bu denetimi raporu paylaşmadan önce çalıştırın. Asıl faydası, farkında olmadan tek kişiye indirgediğiniz satırları yakalamasıdır; küçük ekiplerde bir kümenin tamamı tek kişiden gelebiliyor. Denetimi modele yaptırmak son kontrol değildir, raporu paylaşan kişi de bir kez okumalı.
Aylık tek sayfalık soru notu
Bütün bu çalışmanın çıktısı bir sayfa olmalı. Dört kovanın dağılımı, en büyük üç tekrar kümesi, yarıda bırakılma oranı ve trendi, geçen aya göre değişen tek şey, bu aydan çıkan en fazla üç iş. Üçten fazla iş yazılırsa hiçbiri yapılmaz.
Notun en kıymetli satırı şu: bu ay modele sorulmayan ama sorulması beklenen şey. Beklediğiniz bir kullanım hiç gelmediyse ya o ihtiyaç yok ya da insanlar o iş için modele güvenmiyor. İkisini ayırt etmenin tek yolu sormaktır.
Asagidaki analiz sonuclarindan tek sayfalik aylik soru notu yaz.
Not su basliklardan olussun, her baslik en fazla uc satir:
- Dort kovanin dagilimi ve gecen aya gore degisim
- En buyuk uc tekrar kumesi
- Tek turda birakilma orani ve trendi
- Bu ay modele SORULMAYAN ama beklenen kullanim
- Bu aydan cikan en fazla uc is, her birinin sahibi ve tarihi
Kurallar:
- Tahmin ettigin her satirin basina TAHMIN yaz
- Uc isten fazlasini yazma
- Kisi ismi ve kullanici bilgisi kullanma
Analiz sonuclari:
[sonuclari buraya yapistir]Notu her ay aynı başlıklarla yazın, yoksa kıyaslanamaz. Modelin kurduğu kategoriler ve çıkardığı sonuçlar tahmindir; sayılar sizin kaydınızdan gelir, yorum doğrulanmayı bekler. Her ay en az bir kümeyi elle açıp gerçekten öyle mi diye bakmak, notun tamamını güvenilir kılan tek adımdır.
Kurumunuzun yapay zeka ihtiyaç analizi zaten yazıldı; ekibiniz her gün modele yazıyor, siz sadece okumuyorsunuz.