Blog
Yapay zekanın hazırladığı işi yeniden yapmadan kontrol edin
Kısaca: Yapay zekanın hazırladığı bir metni kontrol etmek, onu okuyup beğenmek değildir. Kontrol dört şeyi ayırt etmektir: hangi cümle iddia, o iddia neye dayanıyor, hangi sayının kaynağı belli, ve yanlış çıkarsa kararınız değişir mi. Aşağıda bu ayrımı yarım saatte yapmanızı sağlayan beş prompt var. Hiçbiri işi baştan yaptırmıyor; sadece hangi kısmın güvenilir olduğunu gösteriyor.
Yapay zeka çıktısı masaya çok düzgün gelir. Başlıklar yerinde, cümleler tamam, sayılar tabloya girmiş. İnsanın hazırladığı taslakta hemen fark edilen dağınıklık burada yoktur.
Sorun tam olarak budur. Düzgün görünen bir metin okuyucuyu kontrol etmekten alıkoyar. Okursunuz, mantıklı gelir, altına imzanızı atarsınız. İki hafta sonra bir toplantıda birisi tablodaki bir sayıyı sorar ve o sayının nereden geldiğini kimse bilmiyordur.
Beğenmek kontrol değildir
Çoğu yönetici yapay zeka çıktısını okuma alışkanlığıyla değerlendirir: akıcı mı, tutarlı mı, benim düşündüğüme yakın mı. Bunların üçü de kontrol değil, izlenimdir. Model zaten akıcı yazmak üzere kurulmuştur; akıcılık bir kalite işareti değil, aracın varsayılan çıktısıdır.
Kontrol farklı bir iştir ve dört soruyu ayrı ayrı sorar. Bu metinde kaç iddia var. Her iddia neye dayanıyor. Hangi sayının kaynağı belli. Bu iddialardan biri yanlış çıkarsa vereceğim karar değişir mi.
Aradaki farkı bir örnek netleştirir. Bir tedarikçi karşılaştırmasını beğenmek, tablonun okunaklı olduğunu söylemektir. Kontrol etmek, tablodaki teslim süresi sütununun hangi belgeden geldiğini sormaktır. İkinci soruyu sorduğunuzda çoğu zaman cevap gelir; gelmediğinde de metnin nerede zayıf olduğunu bir dakikada öğrenmiş olursunuz.
Dördüncü soru işin ekonomisini kurar. Bir metindeki her cümleyi doğrulamak zorunda değilsiniz. Kararı değiştirecek olanları doğrulamak zorundasınız. Aşağıdaki beş prompt bu ayrımı yapmak için.
Birinci adım: iddiaları metinden ayırın
Bir metni bütün olarak değerlendiremezsiniz. Önce parçalarına ayırmanız gerekir.
Asagida yapay zekanin hazirladigi bir metin var.
Metni ozetleme; su tabloyu cikar:
(1) metindeki her iddia, tek cumlede,
(2) iddia bir sayiya mi, bir belgeye mi,
yoksa yoruma mi dayaniyor,
(3) dayanagi metinde acikca yaziyor mu,
(4) yanlis cikarsa alinacak karari degistirir mi.
Dorduncu sutunda "evet" olan satirlari en uste al.
Metinde olmayan iddia uretme, eksigi kendin tamamlama.
Metin: [ciktiyi yapistirin]Bu tablo genelde bir şeyi hemen gösterir: metnin uzunluğu ile içindeki iddia sayısı arasında beklediğiniz ilişki yoktur. Dört sayfalık bir rapor bazen altı iddia taşır, gerisi bağlantı cümlesidir. Kontrol edilecek yer o altı satırdır.
İkinci adım: her sayının izini sürün
Sayılar metinlere güven kazandırır ve en çok orada hata yapılır. Bir modelin ürettiği sayı üç yerden gelebilir: verdiğiniz belgeden, kendi eğitim verisinden ya da yaptığı bir hesaptan. Metin bu üçünü aynı şekilde yazar.
Asagidaki metindeki her sayiyi listele.
Her sayi icin su alanlari doldur:
(1) sayinin kendisi ve birimi,
(2) hangi cumlede geciyor,
(3) metne gore kaynagi: verilen belge, genel bilgi,
hesap, yoksa belirsiz,
(4) hesapsa hangi iki sayidan cikarilmis,
(5) kaynagi belirsizse satirin sonuna "DOGRULANMALI" yaz.
Sayilari duzeltme, tahmin yurutme,
eksik kaynagi kendin tamamlama.
Metin: [ciktiyi yapistirin]Çıktıda "genel bilgi" yazan her satır bir uyarıdır. Kurum içi bir karara girecek sayının genel bilgiden gelmesi kabul edilemez; o sayının sizin belgenizde bir karşılığı olmalıdır. "Hesap" yazan satırlar da elle kontrol edilmelidir, çünkü modeller aritmetikte sessizce yanılır ve yanlış sonucu doğrusuyla aynı özgüvenle yazar.
Üçüncü adım: yazılmayanı arayın
Yapay zeka çıktısındaki asıl risk yanlış cümle değil, hiç yazılmamış konudur. Model sorduğunuz soruyu cevaplar; sormadığınız soruyu gündeme getirmez.
Asagida bir konu ve o konuda hazirlanmis bir metin var.
Metinde EKSIK olani listele:
(1) bu konuda karar vermek icin gerekli olup
metinde hic gecmeyen basliklar,
(2) tek tarafli anlatilan, karsi tarafi yazilmamis konular,
(3) metnin sessizce dogru kabul ettigi varsayimlar,
(4) "bu bilgi elimizde yok" denmesi gereken yerler.
Her madde icin neden gerekli oldugunu tek cumleyle yaz.
Metni ovme, ozetleme, yeniden yazma.
Konu: [konuyu yazin]
Metin: [ciktiyi yapistirin]Bu promptu çalıştırmadan önce konuyu kendi cümlelerinizle yazın. Metnin başlığını kopyalayıp yapıştırırsanız model eksikleri metnin kendi çerçevesi içinde arar ve dışarıda kalanı göremez. Konuyu siz tanımladığınızda çerçeve genişler.
Üçüncü madde çoğu zaman en verimlisidir. Bir metnin sessizce doğru kabul ettiği varsayımlar, tartışmanın gerçek konusudur. Rapor bunları tartışmaz çünkü model onları soru olarak görmemiştir; o varsayımlar sizin promptunuzdan gelmiştir.
Dördüncü adım: metne itiraz ettirin
Aynı modele kendi işini kontrol ettirmek sınırlı bir hamledir. Model kendi metnini genelde onaylar. Bu sınırı aşmanın pratik yolu, ona onaylama değil itiraz etme görevi vermektir.
Asagidaki metnin onerdigi karari savunmuyorsun.
Bu karara itiraz eden birinin agzindan yaz:
(1) itirazin dayandigi en guclu uc nokta,
(2) her nokta icin metindeki acigi kapatacak bilgi ne olurdu,
(3) itiraz haksizsa bunu hangi bilgi gosterirdi,
(4) metnin en zayif tek cumlesi ve nedeni.
Dengeli olmaya calisma, sadece karsi tarafi yaz.
Uydurma veri kullanma, yalnizca metindeki bilgilerle itiraz et.
Metin: [ciktiyi yapistirin]İkinci maddeyi atlamayın. İtirazın kendisi ilginçtir ama işe yarayan kısım, o itirazı kapatacak bilginin adının konmasıdır. Genelde iki üç belge çıkar ve ikisi zaten kurumda vardır. Bu listeyi ilgili ekibe göndermek, raporu tartışmaktan çok daha hızlı sonuç verir.
Beşinci adım: kararı imzalanabilir hale getirin
Dört adımın çıktısı elinizdeyse metnin hangi kısmına güvenebileceğinizi biliyorsunuz. Kalan iş bunu bir sayfaya indirmek.
Asagidaki metinden bir karar notu cikar. Bolumler:
(1) alinmasi istenen karar, tek cumlede,
(2) kararin dayandigi uc bilgi ve her birinin kaynagi,
(3) dogrulanmis bilgiler ve dogrulanmamis bilgiler,
ayri iki liste halinde,
(4) karar yanlis cikarsa ilk gorulecek belirti,
(5) notu imzalayacak kisinin adi icin bos satir.
Bir sayfayi gecmesin.
Dogrulanmamis bilgiyi dogrulanmis listeye tasima.
Metin: [ciktiyi yapistirin]
Dogrulama ciktilari: [onceki promptlarin ciktilari]Beşinci madde bir biçim ayrıntısı değil. Yapay zekanın hazırladığı bir işin sorumlusu her zaman bir insandır ve bunun kağıtta görünmesi gerekir. İmza satırı boş kalan bir karar notu, kimsenin sahiplenmediği bir karardır; o notun yapay zekayla hazırlanmış olması durumu değiştirmez, sadece görünmez kılar.
Nerede durmalı
Üç sınırı baştan çizin.
Birincisi, bu rutin kişi denetimine dönüştürülmemeli. Kontrol edilen şey metindir, metni hazırlayan çalışan değil. Doğrulama çıktılarını kimin ne kadar hata yaptığını sayan bir tabloya çevirdiğiniz gün ekip yapay zeka kullandığını söylemeyi bırakır ve elinizde kontrol edemediğiniz bir çıktı yığını kalır.
İkincisi, modelin doğrulama sırasında da uydurabileceğini unutmayın. Kaynak sorduğunuzda makul görünen bir belge adı üretebilir. Promptlardaki "eksik kaynağı kendin tamamlama" satırları bunun için var, ama yeterli değil. Kararı değiştirecek her kaynağı kendi belgenizden gözünüzle doğrulayın.
Üçüncüsü, bu rutin her metin için değil. Kararı değiştirmeyecek bir özet için beş prompt çalıştırmak israftır. Eşiği baştan koyun: dışarıya gidecek, bütçe bağlayacak veya bir karara dayanak olacak metinler.
Bu hafta ne yapabilirsiniz
Önümüzdeki hafta masanıza gelecek ilk yapay zeka destekli raporu seçin ve beş promptu sırayla çalıştırın. Yarım saat sürer.
İlk seferde promptların çıktısı fazla uzun gelebilir. Sorun değil; ilk iki tablo dışındaki her şeyi atabilirsiniz. Rutin oturduktan sonra bu iş bir raporu baştan okumaktan daha kısa sürer.
Sonunda elinizde beş şey olur: iddia tablosu, doğrulanacak sayılar listesi, eksik başlıklar, en güçlü itiraz ve imzalanabilir bir karar notu. Bunları raporu hazırlayan kişiyle paylaşın. İkinci raporda bu adımların yarısı zaten yapılmış gelir ve rutin kendi kendini kurar.
Yapay zekanın hazırladığı bir işin kalitesini metnin ne kadar iyi göründüğü değil, kaç cümlesinin kaynağını gösterebildiğiniz belirler.