Blog
Yapay zeka hata yaptığında ilk saatinizi bugünden yazın
Kısaca: Kurumlar yapay zekayı devreye alırken ne yapacağını uzun uzun tartışır, yanlış yaptığında ne olacağını ise neredeyse hiç konuşmaz. Hata günü geldiğinde kimin karar vereceği, sistemin nasıl durdurulacağı ve kime ne söyleneceği o sabah icat edilir. Oysa bu planın büyük kısmı bugünden, sakin bir kafayla yazılabilir. Aşağıda yapay zeka kaynaklı bir olayın ilk 24 saatini hazırlamanızı sağlayan beş kopyala-yapıştır prompt var.
Bir sabah bir müşteri temsilcisi yöneticisine bir ekran görüntüsü gönderir. Asistan, bir müşteriye olmayan bir kampanyayı anlatmıştır. Ya da bir özetleme aracı, yönetim kuruluna giden bir raporda bir sayıyı ters çevirmiştir. Ya da bir ajan, test ortamı yerine canlı ortamdaki bir kaydı güncellemiştir.
İlk on dakikada herkes aynı soruyu sorar: "Bunu kim kapatabiliyor?" Cevabı kimse bilmez. Sonraki bir saatte ikinci soru gelir: "Bu kaç kez oldu?" Onun da cevabı yoktur, çünkü kayıtlar ya tutulmamıştır ya da kimin elinde olduğu belli değildir.
Yapay zeka hataları yazılım hatalarına benzemez. Tekrar üretilmesi zordur, her seferinde biraz farklı görünür ve çoğu zaman bir müşteri ya da bir çalışan fark edene kadar kimse bilmez. Bu yüzden klasik olay müdahale planınız bu işi tam olarak karşılamaz.
Hata günü değil, hata planı eksik
Hiçbir model hatasız değildir ve hiçbir tedarikçi bunu garanti etmez. Asıl risk hatanın kendisi değil, hatadan sonraki ilk saatlerdeki dağınıklıktır. Kimse sistemi durdurma yetkisine sahip olduğunu bilmediği için sistem çalışmaya devam eder. Kimse etkiyi ölçemediği için iletişim ya gereğinden sert ya da gereğinden sessiz olur.
İyi bir plan uzun olmak zorunda değil. Beş soruya önceden cevap vermesi yeterli: Neyi olay sayıyoruz? Kim durdurur? Etkiyi nasıl buluruz? Kime ne söyleriz? Bir daha olmaması için neyi değiştiririz? Aşağıdaki promptlar bu beş sorunun her birini bir çalışma belgesine çevirir.
Bu promptları sırayla, bir çalışma oturumunda kullanın. Her biri bir öncekinin çıktısına dayanıyor. Sonunda elinizde tek bir klasör olur: seviye tablosu, durdurma kartları, etki analizi yöntemi, iletişim şablonları ve değerlendirme raporu şablonu. Bu klasörü uygulamayı devreye almadan önce hazırlamak, devreye aldıktan sonra hazırlamaktan çok daha kolaydır.
Önce neyin olay sayılacağını tanımlayın
Her yanlış cevap olay değildir. Bir çalışanın taslak aşamasında yakaladığı hatalı bir cümle ile müşteriye gitmiş yanlış bir taahhüt aynı muameleyi görmemeli. Tanım yoksa ya her şey alarm olur ya da hiçbir şey.
Asagida kurumumuzda kullanilan yapay zeka uygulamalarinin
listesi var. Her uygulama icin olasi hata turlerini cikar ve
bunlari uc seviyeye ayir:
- Seviye 1: ic kullanicida kalan, cikti kullanilmadan
yakalanan hata,
- Seviye 2: bir karara veya ic belgeye girmis ama kurum
disina cikmamis hata,
- Seviye 3: musteriye, duzenleyiciye veya kamuya ulasmis ya da
kisisel veri iceren hata.
Her seviye icin 2 somut ornek yaz ve bildirim suresini
oner (hemen, ayni gun, haftalik ozet).
Emin olmadigin durumlari "tartisilacak" olarak isaretle.
Uygulamalar: [uygulama adi, kullanan birim, ciktinin
nereye gittigi bilgisini yapistirin]Bu tablo planın omurgasıdır. Seviyeler netleşince kimin uyandırılacağı, kimin haftalık özeti okuyacağı da netleşir. "Tartışılacak" satırlarını hukuk ve iş birimiyle bir toplantıda kapatın.
Durdurma düğmesinin sahibi belli olsun
Hata anında en pahalı dakikalar, sistemin kimin elinde olduğunu aramakla geçen dakikalardır. Her uygulama için tek bir sorumlu, bir yedek ve somut bir durdurma yöntemi yazılı olmalı. "BT'ye haber verilir" bir yöntem değildir.
Asagidaki yapay zeka uygulamasi icin tek sayfalik bir
durdurma karti hazirla. Su basliklar olsun:
- uygulamanin sahibi ve yedegi (rol olarak, isim degil),
- durdurma yontemi: kapatma, manuel moda gecis veya
sadece taslak uretme moduna alma,
- durdurma karari icin kimin onayi gerekir, kimin gerekmez,
- durdurulunca is nasil devam eder (manuel surec),
- yeniden acmak icin hangi kosullar saglanmali.
Bilgi eksikse doldurma; "eksik: [ne gerekiyor]" yaz.
Uygulama bilgileri: [uygulamanin ne yaptigini, hangi
sistemlere eristigini ve kim tarafindan isletildigini yazin]Kartın en önemli satırı, durdurma kararı için kimin onayının gerekmediğidir. Seviye 3 bir olayda, uygulama sahibinin bir üst yöneticiye ulaşmasını beklemeden sistemi taslak moduna alabilmesi gerekir. Sonradan geri açmak, sonradan özür dilemekten ucuzdur.
Etkiyi tahminle değil kayıtla bulun
"Bu kaç kişiyi etkiledi?" sorusunun cevabı ancak kayıt varsa verilebilir. Hata günü, girdilerin ve çıktıların saklanıp saklanmadığını öğrendiğiniz gündür. Bunu bugünden kontrol edin.
Asagida hataya yol acan bir yapay zeka ciktisi ve ilgili
kayitlar var. Etki analizini su adimlarla yap:
- hatanin tarifini tek cumlede yaz,
- ayni hatanin tekrar edebilecegi benzer girdileri tanimla,
- kayitlarda bu benzer girdilere verilen ciktilari bul ve
listele,
- her biri icin "ayni hata var / yok / belirsiz" yaz,
- sonucta etkilenen kayit sayisini ve belirsiz kayit sayisini
ayri ayri ver.
Kayitlarda olmayan bir sey hakkinda tahmin yurutme.
Hatali cikti: [ornegi yapistirin]
Kayitlar: [ayni donemin girdi ve cikti kayitlarini,
kisisel bilgileri cikararak yapistirin]Belirsiz sayısını ayrı istemenin sebebi dürüstlüktür. Yönetime "23 kayıt etkilendi" demek ile "23 kayıt kesin, 40 kayıt belirsiz" demek arasında büyük fark var. İkincisi daha az rahatlatıcıdır ama doğru kararı sağlar.
İlk iletişim metnini sakin bir günde yazın
Olay anında yazılan metinler iki uca savrulur: ya her şeyi inkar eder ya da gereğinden fazla söz verir. İletişim şablonlarını bugünden hazırlarsanız hata günü sadece boşlukları doldurursunuz.
Yapay zeka kaynakli bir hata icin uc iletisim sablonu hazirla:
1. ic duyuru (etkilenen birimlere),
2. yonetime kisa durum notu,
3. etkilenen musteriye veya paydasa bilgilendirme.
Her sablonda su bilgiler olsun: ne oldu, ne zaman fark ettik,
su an ne durumda, kimi etkiliyor, ne yapiyoruz, bir sonraki
bilgilendirme ne zaman.
Kurallar:
- teknik jargon kullanma,
- "yapay zeka yapti" diye sorumlulugu sisteme atma;
sorumluluk kurumundur,
- henuz bilinmeyen seyleri "inceleniyor" diye acikca yaz,
- tazminat veya hukuki sonuc vaat etme.
Degisecek yerleri [koseli parantez] ile birak.
Sektor ve kanal: [sektorunuzu ve iletisim kanalini yazin]Buradaki en önemli kural, sorumluluğu modele atmamaktır. Müşteri için hatayı yapan yapay zeka değil, onu kullanan kurumdur. Bunu ilk cümlede kabul eden metin, güveni en az kaybeden metindir. Şablonları mutlaka hukuk biriminize onaylatın.
Şablonların yanına bir de bildirim zinciri ekleyin: Seviye 3 bir olayda ilk bir saat içinde kimin kimi arayacağı. Bu zincir bir telefon listesinden ibaret olabilir. Önemli olan, hata günü kimsenin "Bunu kime söylemem gerekiyor?" diye düşünmek zorunda kalmamasıdır.
Olay sonrası toplantıyı suçlu aramaya çevirmeyin
Olay kapandıktan sonra yapılan değerlendirme, planın gerçekten öğrenip öğrenmediğini gösterir. Soru "kim yaptı" değil, "sistem bu hatayı neden yakalamadı" olmalı. Kişiye odaklanan bir değerlendirme, bir sonraki hatanın saklanmasına yol açar.
Asagida yasanan bir yapay zeka olayinin zaman cizelgesi ve
notlari var. Suclamasiz bir olay sonrasi degerlendirme raporu
hazirla. Bolumler:
- olayin ozeti (en fazla 5 cumle),
- zaman cizelgesi (fark edilme, durdurma, cozum),
- hatanin neden olustugu: veri, prompt, yetki, surec veya
model davranisi,
- hangi kontrol bu hatayi yakalayabilirdi,
- en fazla 5 aksiyon, her biri icin sahip (rol) ve tarih.
Kisileri isimle anma, rol kullan.
Kanita dayanmayan sebep yazma; "dogrulanmadi" diye belirt.
Notlar: [olay notlarini ve zaman bilgilerini yapistirin]Raporun en değerli bölümü "hangi kontrol yakalayabilirdi" sorusudur. Çoğu olayda cevap yeni bir teknoloji değil, basit bir kuraldır: müşteriye gitmeden önce bir onay adımı, belirli bir tutarın üzerinde insan kontrolü, canlı ortama yazma yetkisinin kaldırılması.
Planı yazdıktan sonra bir kez prova edin. Yarım saatlik bir masa başı tatbikat yeterli: bir hata senaryosu okuyun, herkes kendi kartına göre ne yapacağını söylesin. Provada ortaya çıkan her "bunu bilmiyordum" cümlesi, gerçek olayda kaybedeceğiniz bir saattir.
Sınırlar ve dikkat edilecekler
Olay kayıtlarını çalışan performansını ölçmek için kullanmayın. Hatayı bildiren kişi cezalandırıldığı anda bir sonraki hata bildirilmez, sadece gizlenir.
Etki analizine vereceğiniz kayıtlarda kişisel veri olabilir. Bunları modele vermeden önce anonimleştirin ve kurumunuzun onayladığı ortamda çalışın. Kişisel veri içeren bir olayda yasal bildirim yükümlülükleri olabilir; bu değerlendirmeyi modele değil hukuk birimine bırakın.
Model, olayın sebebini emin bir dille yanlış açıklayabilir. Kök neden yazısını her zaman kayıtlarla doğrulayın ve sistemi yeniden açma kararını hiçbir zaman model çıktısına dayandırmayın.
Yapay zeka projenizin olgunluğu ne kadar iyi çalıştığıyla değil, ilk hatasından sonraki bir saatte ne kadar sakin kaldığınızla ölçülür.