Blog
Sahada güveni yanlış alarm sayısı belirler
Kısaca: Sahadaki bir yapay zeka modeli isabet oranı yüzünden terk edilmez, boşa çıkan uyarı sayısı yüzünden terk edilir. Nadir olaylarda iyi bir model bile çok sayıda yanlış alarm üretir ve ekip üçüncü haftada uyarılara bakmayı bırakır. Çözüm modeli iyileştirmek değil, vardiya başına kaç uyarıyı kaldırabileceğinizi önceden belirlemek, yanlış alarmda ne yapılacağını yazmak ve eşiği bir işletme kararı olarak almak.
Laboratuvarda çalışan bir model var. Test setinde isabet oranı yüksek, sunumda tablo güzel görünüyor. Sahaya iniyor, ilk hafta herkes bakıyor, üçüncü hafta kimse bakmıyor.
Sonradan sorulunca verilen cevap hep aynı: "tutmadı". Oysa model tuttu. Tutmayan şey ekibin uyarılarla yaşama kapasitesiydi.
İsabet oranı sahada hiçbir şey anlatmaz
İsabet oranı tek bir tahminin ne kadar iyi olduğunu söyler. Saha ekibi tek bir tahminle karşılaşmaz; bir vardiya boyunca gelen uyarı yığınıyla karşılaşır. Onun yaşadığı şey oran değil, sayı.
Aradığınız olay ne kadar nadirse bu makas o kadar açılır. Yılda birkaç kez olan bir arızayı binlerce varlık üzerinde her gün arayan bir model, çok iyi olsa bile gelen uyarıların büyük kısmını boşa gönderir. Çünkü yanlış uyarı, gerçek olay sayısından değil, taranan varlık sayısından doğar.
Bu matematik kimsenin hatası değil. Ama tahmin projesinin sunumunda yer almadığı için sahaya sürpriz olarak iner.
Alarm bütçesini modelden önce belirleyin
Doğru sıra şu: önce bir operatörün bir vardiyada kaç uyarıyı gerçekten inceleyebileceğini belirlersiniz, sonra modelden o sayıyı aşmamasını istersiniz. Tersi sıra, yani modeli kurup çıkan uyarı sayısına katlanmak, sessiz bir terk kararıdır.
Bu sayı bir veri bilimi kararı değil, işletme kararıdır. Vardiyadaki kişi sayısı, bir incelemenin kaç dakika sürdüğü ve o kişinin zaten yaptığı iş belirler.
Asagida bir yapay zeka tahmin uygulamasinin
sahaya cikis tanimi var.
Bana bu uygulamanin ALARM BUTCESINI cikar.
Format:
1) Uyariyi kim gorecek: rol, vardiya sayisi,
vardiyada kisi sayisi.
2) Tek bir uyariyi incelemek icin gereken
islemler ve tahmini sure.
3) VARDIYA BASINA UYARI UST SINIRI: tek sayi,
nasil hesaplandigi tek satir.
4) Bu sinir asilirsa ne olur: hangi uyarilar
dusurulur, hangi esik degisir.
5) Tanimda eksik olan ve benim soramadigim
bilgiler.
Tahmin uretmeyin, sadece verdigim bilgiden
cikarin; eksikleri eksik olarak yazin.
Bilgiler: [uygulama tanimi, ekip bilgisi]Bu prompt bir tek sayı üretir: vardiya başına kaç uyarı. O sayı sonraki her teknik tartışmanın sınırı olur. Eşik seçimi, model değişikliği ve kapsam genişletme hep bu sayıya çarpar.
Geçmiş kayıtları yanlış alarm gözüyle okutun
Elinizde zaten bir alarm geçmişi var. Çoğu kurum bu kayıtları arıza analizi için okur, uyarı kalitesi için okumaz. İkisi farklı sorudur.
Asagida son uc aylik alarm ve mudahale
kayitlari var.
Bana bir YANLIS ALARM DENETIMI cikar.
Format:
1) Toplam uyari sayisi, gun ve vardiya
dagilimi.
2) Kacina mudahale edildi, kacina
edilmedi.
3) Mudahale edilenlerin kacinda kayitta
gercek bir bulgu var.
4) EN COK TEKRARLAYAN BES UYARI KALIBI:
her biri icin hangi varlik grubu, hangi
saat araligi, hangi sensor veya veri alani.
5) Kayitta mudahale sonucu yazmayan uyarilar:
sayi ve oran.
Hangi uyarinin yanlis oldugunu SEN karara
baglama; sadece kalibi ve kaniti goster.
Kisi adi, operator adi veya sicil kullanma.
Kayitlar: [alarm ve mudahale kayitlari]Son iki satır önemli. Bir uyarının yanlış olduğuna karar vermek saha bilgisi gerektirir ve model bu bilgiye sahip değil. Modelin işi kalıbı görünür kılmak, kararı o kalıba bakan kişinin vermesi.
Bu denetimin çıktısı genellikle rahatsız edicidir: uyarıların önemli bir kısmının sonucu hiç yazılmamıştır. Yani sistem zaten güvenilmez haldedir, kimse yüksek sesle söylememiştir.
Operatör yanlış uyarıda ne yapacağını bilmiyor
Güven asıl burada kaybedilir. Uyarı doğru çıktığında ne yapılacağı yazılmıştır. Yanlış çıktığında ne yapılacağı yazılmamıştır.
Yazılmayınca ekip kendi çözümünü bulur: uyarıyı kapatır, bildirimi sessize alır, ekranı başka sekmede bırakır. Bunların hiçbiri kayda geçmediği için merkezde her şey yolunda görünür.
Asagidaki yapay zeka uyarisi icin bir
OPERATOR KARTI yaz. Tek sayfa, en fazla
on madde.
Format:
1) Uyari geldiginde ilk uc adim, sirayla.
2) Hangi bilgiye bakilacak: ekran, alan,
kayit adi.
3) Uyari yanlissa yapilacak tek islem:
nereye, hangi butona, hangi iki alan
doldurularak.
4) Mudahale edilmeyecek durumlar: acikca
listele.
5) Eskalasyon: hangi durumda kime, hangi
sure icinde.
6) Bu uyarinin KAPSAM DISI oldugu durumlar.
Dil sade olsun, teknik terim kullanma,
emir kipiyle yaz.
Uyari tanimi: [uyari adi, ne tespit ediyor,
hangi veriye bakiyor]Üçüncü madde kartın en değerli satırı. "Bu yanlıştı" demenin iki alan doldurulan tek bir işlem olması, uyarı kalitesini ölçmenizi sağlayan tek mekanizma. Bu işlem yoksa yanlış alarm oranınız hakkında konuştuğunuz her sayı tahmindir.
Eşiği model değil, vardiya belirler
Her tahmin uygulamasında bir eşik vardır: hangi olasılığın üstünde uyarı üretilecek. Bu eşik teknik bir ayar gibi görünür, aslında bir maliyet tercihidir. Eşiği düşürürseniz kaçırdığınız olay azalır, boşa giden müdahale artar. Yükseltirseniz tersi olur.
Bu tercihi yapacak kişi modeli kuran değil, kaçırmanın ve boşa gitmenin bedelini bilen kişidir.
Asagida bir tahmin modelinin esik secenekleri
ve gecmis performansi var.
Bana bir ESIK KARAR NOTU cikar.
Format:
1) Iki esik senaryosu: DUSUK ve YUKSEK.
2) Her senaryo icin: vardiya basina uyari
sayisi, kacirilacak olay sayisi, bosa
gidecek mudahale sayisi.
3) Her senaryonun dayandigi varsayimlar,
madde madde.
4) Bu secimi yapmasi gereken rol ve kararin
yazili olmasi gereken yer.
5) Hangi veri olsa bu notu daha saglam
yazardin.
Hesaplayamadigin sayiyi tahmin etme, "veri
yok" yaz.
Bilgiler: [esik secenekleri, test sonuclari,
varlik sayisi]Not iki senaryo üretince tartışma teknik bir tartışma olmaktan çıkar. Masada iki tercih durur ve ikisinin de bir bedeli vardır. Karar yazılı olarak bir role gider, modele değil.
Haftalık alarm incelemesi, aylık rapordan değerli
Yanlış alarm sabit kalmaz. Mevsim değişir, bir sensör bozulur, bir varlık grubu devreye girer ve bir anda belirli bir uyarı türü çoğalır. Aylık rapor bunu bir ay gecikmeli gösterir, o süre içinde ekip güvenini çoktan kaybeder.
Asagida son bir haftanin uyari ve geri
bildirim kayitlari var.
Yirmi dakikalik bir HAFTALIK ALARM
INCELEMESI gundemi hazirla.
Format:
1) Bu hafta toplam uyari ve gecen haftaya
gore degisim.
2) "Yanlis" olarak isaretlenen uyarilarin
en sik uc kalibi.
3) Bu hafta YENI ortaya cikan uyari turu
var mi.
4) Kapatilan veya yanitsiz kalan uyarilarin
yogunlastigi saat ve varlik grubu.
5) Bu hafta alinmasi gereken EN FAZLA IKI
karar, her biri tek cumle.
6) Karar gerektirmeyen ama izlenmesi gereken
tek konu.
Uzun aciklama yazma, her maddeyi iki satirda
bitir. Kisi bazli degerlendirme yapma.
Kayitlar: [haftalik uyari ve geri bildirim]Gündemdeki en fazla iki karar sınırı bilinçli. Haftalık toplantı kararsız bir durum değerlendirmesine dönüşürse ikinci ayda kimse katılmaz.
Nerede durmalı
Birinci sınır kişi bazlı ölçümde. Alarm kayıtları operatör performansını ölçmek için kullanılmaz. Kullanıldığı anda ekip uyarı kapattığını kaydetmeyi bırakır ve elinizdeki tek kalite verisi bozulur.
İkinci sınır gerekçede. Bir uyarının niçin yanlış olduğunu modele sorarsanız makul görünen bir gerekçe yazar. O gerekçe gerçek bir veri alanına dayanmıyorsa karar için kullanılmaz; model sebebi kayıttan okumuyorsa üretiyordur.
Üçüncü sınır güvenlikte. Koruma, kesme ve emniyet zincirindeki alarmlar yapay zekaya devredilmez. Model bu alanda mevcut sistemin yerine değil, yanına konur ve kendi uyarısı ayrı kanaldan gelir.
Sahada bir modele güven, doğru çıktığı günlerde değil, yanlış çıktığı gün ne yapılacağının yazılı olup olmamasıyla kurulur.