Blog
Pilotu durduracak koşulu baştan yazın
Kısaca: Yapay zeka pilotlarının çoğu başarısız olmaz, bitmez. Durdurma kararı kimsenin işi olmadığı için pilot aylarca "devam ediyor" kalır, bütçe yavaşça akar, ekip de geri dönüşü olmayan bir yatırımı savunmaya başlar. Çözüm pilotu daha iyi ölçmek değil, başlamadan önce hangi sonuçta durduracağınızı yazmak. Aşağıda durdurma koşulundan tek sayfalık kapanış notuna kadar beş kopyala-yapıştır prompt var. Bir pilotun en değerli çıktısı bazen "bu iş olmuyor" cümlesidir.
Şubatta başlamış bir pilot var. Sekiz ay sonra hala "devam ediyor" durumunda. Sorulunca kimse memnun olduğunu söylemiyor, kimse de durdurmuyor.
Burada eksik olan şey ölçüm değil. Başlangıçta başarının neye benzediği yazılmış: şu kadar isabet, şu kadar süre tasarrufu. Yazılmayan şey başarısızlığın neye benzediği. Pilot o eşiği tutmazsa ne olacağı hiçbir belgede yok.
Eşiği tutmayan bir pilot kendiliğinden durmaz. Bir sonraki sürüme, bir sonraki modele, bir sonraki çeyreğe kayar. Her kayış tek tek makul görünür, toplamı ise aylarca süren bir belirsizliktir.
Durdurma kararı kimsenin işi değil
Devam eden bir pilotun maliyeti görünmez, durdurulan bir pilotun maliyeti göze batar. Devam ettirmek için kimsenin bir şey söylemesi gerekmez; durdurmak için birinin "bu beklediğiniz sonucu vermedi" demesi gerekir.
Bir de harcanmış emek var. Altı ay uğraşılmış bir işe bakarken insan o emeği kurtarmaya çalışır. Oysa karar verilirken bakılması gereken şey bugüne kadar harcanan değil, bundan sonra harcanacak olan.
Bu iki sebep bir arada pilot listelerini şişirir. Listede yirmi kalem görünür, bunların üçü gerçekten devam eder, gerisi kimsenin kapatmadığı kalemlerdir.
Birinci adım: durduracak koşulu başlamadan yazın
Durdurma koşulu pilot bittikten sonra yazılamaz. O noktada her sonuç yoruma açıktır ve yorum her zaman devam etmeyi destekler. Koşul, pilotun ilk gününe ait bir belgedir.
Asagida bir yapay zeka pilotunun tanimi var.
Bana bu pilotun DURDURMA KOSULLARINI cikar.
Format:
1) Pilotun cevap aradigi tek soru, bir cumle.
2) BASARI ESIGI: olculebilir, tek satir.
3) DURDURMA KOSULLARI: en az dort madde.
Her madde su kalipta olsun: "Eger [olculebilir
durum] gerceklesirse pilot durdurulur."
Maddeler sadece ciktinin kalitesiyle ilgili
olmasin; veri erisimi, surece uyum, kullanici
kabulu ve isletme maliyeti icin de birer
madde yaz.
4) OLCUM TARIHI: her kosul hangi tarihte
kontrol edilecek.
5) Pilot tanimindaki hangi bilgiler eksik
oldugu icin kosul yazilamadi.
Tavsiye ve iyilestirme onerisi yazma.
Pilot tanimi: [pilotu buraya anlatin]Üçüncü bölümdeki dört alan önemli, çünkü pilotlar genelde çıktı kalitesi yüzünden ölmez. Veriye erişemediğiniz için, sürece oturmadığı için veya kimse kullanmadığı için ölür. Beşinci bölüm de pilot tanımındaki boşlukları daha ilk gün gösterir.
İkinci adım: karar tarihini takvime koyun
Koşul yazılmış olsa bile kimse gidip bakmazsa işe yaramaz. Pilotun bitiş tarihi değil, karar tarihi gerekiyor: o gün masada bir karar alınır.
Asagida bir pilotun durdurma kosullari ve
sureleri var. Bana bir KARAR TAKVIMI cikar.
Her karar noktasi icin:
1) Tarih
2) O tarihte elde olmasi gereken veri
3) O tarihte sorulacak tek soru
4) Verilebilecek uc karar: devam, degistir,
durdur. Her birinin o tarihteki anlami ne.
5) Veri o tarihte hazir olmazsa ne yapilir
Toplam karar noktasi sayisini ucte tut.
Her noktayi tek satirlik bir tabloya sigdir.
Kosullar: [birinci promptun ciktisi]Dördüncü alandaki "değiştir" seçeneği en çok kullanılan ve en çok suistimal edilen seçenek. Değiştirmek, kapsamı küçültmek ya da hedefi değiştirmek anlamına gelir; aynı işi daha uzun denemek anlamına gelmez. Beşinci alan da en sık görülen kaçış yolunu kapatır: veri hazır olmadığı için kararı ertelemek.
Üçüncü adım: elinizdeki zombi pilotları ayırın
Yeni pilotlar için koşul yazmak kolay. Asıl iş şimdi devam ettiği varsayılan kalemleri ayıklamak.
Asagida kurumda devam eden yapay zeka
pilotlarinin listesi var. Her pilot icin su
alanlari doldur ve tablo olarak ver:
1) Pilot adi
2) Baslangic tarihi ve bugune kadar gecen sure
3) Son otuz gunde olan somut bir gelisme
4) Su anda kim uzerinde calisiyor
5) Bu pilot bugun bitse kurum ne kaybeder
Tablonun altina pilotlari uc listeye ayir:
A) Devam eden: son otuz gunde gelisme var.
B) Beklemede: calisan var ama gelisme yok.
C) Zombi: calisan yok, gelisme yok, kapanmamis.
C listesindeki her pilot icin kapatma gerekcesi
olarak kullanilabilecek tek cumle yaz.
Liste: [pilot listesini buraya yapistirin]Beşinci alan listeyi hızla kısaltır. Bir pilot bugün bitse kurumun hiçbir şey kaybetmediği ortaya çıkıyorsa o pilot zaten bitmiş, sadece kağıt üzerinde duruyor. C listesi genelde kimsenin tahmin ettiğinden uzun olur.
Dördüncü adım: kararı bir role bağlayın
Durdurma kararı herkesin işi olduğunda kimsenin işi olmaz. Kararı verecek rolün adı, karar tarihinden önce yazılı olmalı.
Asagida bir pilot ve karar takvimi var. Bana
karar yetkisi tablosu cikar.
Satirlar:
1) Durdurma karari: hangi rol verir.
2) Devam karari: hangi rol verir.
3) Karari veren rol itiraz ederse kim karar
verir.
4) Karari veren rol pilotun sahibiyse bu bir
cikar catismasi mi, evet ise nasil ayrilir.
5) Karar nereye yazilir ve kimler gorur.
Her satiri rol adiyla yaz, kisi adiyla yazma.
Sonda tek paragraf: bu tabloda karar verecek
kimse yoksa bunu acikca belirt.
Pilot ve takvim: [onceki ciktilar]Dördüncü satır en sık atlanan nokta. Pilotu kuran kişi aynı zamanda durdurma kararını veriyorsa karar neredeyse hiç durdurma yönünde çıkmaz. Beşinci satır da kararı görünür kılar; yazılmayan bir durdurma kararı altı hafta sonra tekrar tartışmaya açılır.
Beşinci adım: kapanış notunu yazdırın
Durdurulan bir pilot boş bir harcama değil, pahalı bir ölçümdür. Ama ölçümün sonucu bir yere yazılmazsa aynı pilot bir yıl sonra yeni bir adla geri gelir.
Asagidaki bilgilerden tek sayfalik bir KAPANIS
NOTU cikar. Bolumler:
1) Pilotun cevap aradigi soru ve cikan cevap,
iki cumle.
2) Hangi durdurma kosulu gerceklesti.
3) OGRENILEN: bu pilot olmadan bilemeyecegimiz
uc sey.
4) KULLANILABILIR KALAN: baska bir iste ise
yarayacak veri, prompt, entegrasyon veya
surec tanimi.
5) BU KONU TEKRAR ACILIRSA: hangi kosul
degisirse yeniden denemeye deger.
6) Kapatma tarihi ve karari veren rol.
Suclu arama, kisi adi kullanma.
Bilgiler: [pilot kayitlari]Dördüncü bölüm notu bir kayıp raporundan varlık listesine çevirir. Beşinci bölüm ise asıl değerli kısım: konuyu bir daha açmanın koşulunu yazıyorsunuz, böylece aynı fikir altı ay sonra gelen biri tarafından sıfırdan tartışılmıyor.
Nerede durmalı
Birinci sınır karar yetkisinde. Model durdurma kararını vermez; yazdığınız koşulu hatırlatır ve verileri aynı biçimde önünüze koyar. Eşiği siz koyarsınız, kararı siz verirsiniz. Modelden "durdurmalı mıyım" diye sormak, cevabı kendi cümlelerinizden üretmesini istemek olur.
İkinci sınır ölçülebilirlikte. Promptlar ölçülebilir koşul ister ve model istenirse ölçülebilir görünen koşullar uydurur. Kurumda gerçekten ölçülen bir şey yoksa koşul yazılmaz; önce o ölçüm kurulur. Kağıt üzerindeki bir eşik, eşik değildir.
Üçüncü sınır kayıtlarda. Pilot değerlendirmesini pilot bazında tutun, kişi bazında tutmayın. Durdurulan pilot sayısı bir performans göstergesi haline geldiği anda ekip pilot kapatmayı bırakır ve zombi listesi tekrar uzar.
Durduramadığınız bir pilot pilot değildir; sessizce bütçeye girmiş bir karardır.