Blog
Model doğru cevaplıyor, veriniz yanlış
Kısaca: Model veriyi sorgulamaz, kullanır. Alan eksikse, eskiyse ya da gerçekle uyuşmuyorsa cevap yine kusursuz görünür. Önce cevabın hangi alana dayandığını söyletin, o alanı otuz kayıtla elle ölçün, her alana bir güven notu yazın ve düzeltme sırasını veri hacmine göre değil kullanıma göre kurun.
Modele veritabanınızı bağladınız. Belgeler okunuyor, tablolar düzgün, hiçbir teknik sorun yok.
Bir rapor istiyorsunuz. Cevap geliyor, rakamlar tutarlı, cümleler net. Sahadan biri okuyor ve tek satırda bitiriyor: bu sayaçların yarısı iki yıl önce değişti.
Model yanlış bir şey yapmadı. Verinizdeki alanı aldı, doğru işledi, doğru sundu. Alanın gerçekle ilgisi yoktu.
Model veriyi sorgulamaz, kullanır
Bir insan tablo okurken sezgi kullanır. Bir ilçede abone sayısı komşu ilçenin on katıysa durur, sorar. Alan boşsa boş bırakılmış mı yoksa gerçekten sıfır mı diye düşünür.
Model bunu yapmaz. Verilen sayıyı veri olarak kabul eder. Boş alanı sıfır sayar, 1900 tarihini tarih sayar, bir kere yanlış girilmiş birimi birim sayar.
Üstelik hatayı gizlemez; görmez. Gizlemek bilmeyi gerektirir.
Bu yüzden veri kalitesi bir bilgi teknolojileri konusu olmaktan çıkıyor. Modeli işin içine soktuğunuz anda verinin doğruluğu, kararın doğruluğuyla aynı şey oluyor. Daha önce arada bir insan vardı ve o insan çoğu saçma kaydı sessizce atlıyordu. Şimdi o filtre yok.
Buradaki asıl risk hatanın kendisi değil, hatanın parlak bir sunumla gelmesidir. Elle hazırlanmış bir raporda yanlış rakam genelde yanlış duran bir rakamdır. Modelin ürettiği raporda aynı rakam gerekçeli, bağlamlı ve ikna edici bir paragrafın içine yerleşir.
Yanlış veri üç biçimde gelir
Birincisi eksik veri. Alan var, dolu değil. Modele sorduğunuzda eksik kayıtları sessizce dışarıda bırakır ve kalan kayıtlardan bir ortalama verir. Ortalama doğrudur, kapsadığı küme yanlıştır.
İkincisi eski veri. Alan dolu, bilgi geçmişte doğruydu. Varlık envanterleri, iletişim bilgileri, cihaz tipleri ve kapasite bilgileri bu gruba girer. Kimse yanlış yazmamıştır, kimse güncellememiştir.
Üçüncüsü gerçekle uyuşmayan veri. Alan dolu ve güncel görünüyor ama sahadaki durumu hiç yansıtmıyor. Bu en pahalı olanıdır çünkü içeriden bakınca tespit edilemez. Veri kendi içinde tutarlıdır.
Enerji tarafında bunun klasik örneği direk envanteridir. Koordinat var, malzeme tipi var, kurulum yılı var. Sahaya gidince direğin yeri değişmiş, tipi farklı, yanına bir tane daha dikilmiş. Tabloda tek satır, sahada iki direk.
Üçünü ayırmak önemli çünkü çözümleri farklıdır. Eksik veri doldurulur, eski veri tazelenir, uyuşmayan veri ancak sahadan doğrulanır.
Modele sorarak ayırt edebileceğiniz tek tür eksik veridir. Diğer ikisi için tabloya bakmak yetmez, dışarı bakmak gerekir.
Cevabın hangi alana dayandığını modele söyletin
Bütün veriyi denetlemeye kalkışmayın. Bir cevap, veritabanının tamamına değil üç dört alana dayanır. Denetlenecek yer orasıdır.
Asagidaki soruyu cevaplamadan once cevabi hangi veriye
dayandiracagini yaz.
Soru: [soru]
Veri kaynagi: [tablo adlari ve sutun listesi]
Su sirayla ver:
1) Cevabi uretmek icin kullanacagin sutunlar, en kritik olan
en basta.
2) Her sutun icin: bu sutundaki bilgi yanlis olsaydi cevap
nasil degisirdi?
3) Bu sutunlardan hangisi yanlis olursa cevap tamamen gecersiz
olur?
Henuz cevap verme, sadece bu listeyi dondur.Bu listeyi almak bir dakika sürüyor ve denetim yükünü onda bire indiriyor. Üçüncü sorunun cevabı genelde tek bir alandır. Doğruluk çalışmanız o alandan başlar.
Listeyi aldıktan sonra cevabı ayrıca isteyin. Aynı istekte ikisini birlikte sorarsanız model listeyi cevabına uydurur.
Bu listenin ikinci faydası beklenmedik yerden geliyor. Cevabın hangi alana dayandığını görmek, bazen o alanın cevapla hiç ilgisi olmadığını gösteriyor. Model elindeki en dolu sütunu kullanmaya yatkındır, en doğru sütunu değil.
Otuz kaydı elle açın, yüzdeyi oradan çıkarın
Veri kalitesi konuşmaları genelde kanaatle yapılır. Birisi verinin kötü olduğunu söyler, başkası idare ettiğini söyler, kimsenin sayısı yoktur.
Sayı çıkarmak uzun sürmez. Kritik alanı seçin, otuz kayıt örnekleyin, gerçekle karşılaştırın. Gerçek demek saha, fatura, fotoğraf ya da telefonla teyit demek; başka bir tablo değil.
Bir alan dogrulama plani hazirla.
Alan: [sutun adi ve ne anlama geldigi]
Kayit sayisi: [toplam]
Dogrulama yontemi: [sahada kontrol / telefon / fatura / foto]
Istedigim:
1) 30 kayitlik ornekleme plani. Rastgele secme, gruplari
dengele: [bolge/yil/tip gibi kirilimlar].
2) Her kayit icin kontrol edilecek tek bir soru, evet-hayir
cevaplanabilecek sekilde.
3) Sonucu girecegim bos bir tablo: kayit no, tablodaki deger,
gerceklesen deger, uyusuyor mu.
4) 30 kayitta kac hata cikarsa bu alan guvenilmez sayilir?
Esigi gerekcesiyle yaz.
Varsayim uretme, veriye bakmadan yorum yapma.Otuz kayıt kesin bir sayı değil, karar vermeye yetecek kadar büyük ve bir sabahta bitecek kadar küçük bir sayı. Çıkan oran mükemmel olmayacak; zaten amaç mükemmellik değil, oranı bilmek.
İlk ölçümü yaptığınızda kazandığınız şey veri değil, bir cümle: bu alan yüzde seksen doğru. O cümleyle çalışılır.
Ölçümü verinin sahibi olan ekibe yaptırın, modeli kuran ekibe değil. Alanı günlük işinde kullanan kişi hatanın nerede biriktiğini zaten biliyor; onun bilmediği tek şey oranı.
Her alana bir güven notu, her cevaba bir uyarı
Ölçtüğünüz oranı bir yere yazın. Tek tabloda birkaç satır yeter: alan adı, son ölçüm tarihi, doğruluk oranı, ölçüm yöntemi.
Asagidaki alan dogrulama sonuclarini tek sayfalik bir veri
guven notuna cevir.
Sonuclar: [alan adi, orneklem, hata sayisi, yontem, tarih]
Sablon:
ALAN: [ad]
NE ICIN KULLANILIYOR: [hangi karar ve raporlar]
DOGRULUK: [yuzde] - [orneklem buyuklugu] kayit uzerinden
OLCUM TARIHI VE YONTEMI: [tarih] / [yontem]
BU ALANLA YAPILMAMASI GEREKEN: [hangi karar bu oranla
alinamaz]
YENIDEN OLCUM: [ne zaman ya da hangi olay olunca]
Olcmedigim alan icin satir uretme, OLCULMEDI yaz.Not iki işe yarıyor. Birincisi, aynı soru altı ay sonra tekrar geldiğinde tartışma sıfırdan başlamıyor. İkincisi, hangi kararın bu veriyle alınamayacağı yazılı hale geliyor. Yüzde seksen doğruluk bir eğilim raporu için yeterli, bir yatırım kararı için değil.
Sonra bu bilgiyi modelin cevaplarına taşıyın.
Veri guven notum asagida. Bundan sonraki her cevabinda bu
notu dikkate al.
Guven notu: [notun icerigi]
Kurallar:
1) Cevabinin altina hangi alanlari kullandigini yaz.
2) Kullandigin alanlardan birinin dogrulugu [esik] altindaysa
cevabin basina tek satir uyari koy.
3) Olculmemis bir alana dayandiysan bunu OLCULMEMIS VERI
olarak isaretle.
4) Uyariyi cevabin icine gomme, ayri satirda ver.
Veri kalitesini kendin tahmin etme, sadece notta yazani kullan.Uyarının ayrı satırda durması tesadüf değil. Paragrafın içine giren uyarı okunmuyor, başlıktaki uyarı okunuyor.
Güven notunu tek bir yerde tutun ve her yeni ölçümde aynı dosyayı güncelleyin. İki farklı yerde iki farklı oran dolaşmaya başladığında not işe yaramaz hale geliyor.
Düzeltme sırasını hacim değil kullanım belirlesin
Veri düzeltme işi bir kere başlatıldığında kolayca sonu gelmez bir projeye dönüşüyor. Sebebi sıralamanın yanlış kurulması: en çok hatalı kayıt barındıran tablodan başlanıyor.
Oysa doğru sıralama kullanımdan çıkar. Bir alan kaç karara giriyorsa o kadar önceliklidir. Yüz bin satırlık bir tabloyu kimse okumuyorsa bekleyebilir.
Veri duzeltme sirasi onerisi istiyorum.
Alanlar ve durumlari: [alan adi, dogruluk orani, kayit sayisi]
Bu alanlarin girdigi kararlar: [alan - karar/rapor eslesmesi]
Duzeltme maliyeti tahminim: [alan - kisi gunu]
Siralamayi su mantikla kur:
1) Once alani etkiledigi karar sayisina ve o kararlarin
geri donusu olup olmadigina gore puanla.
2) Sonra duzeltme maliyetine bol.
3) Ilk uc alani ve sebebini yaz.
4) Simdilik duzeltilmesine gerek olmayan alanlari ayri
listele, sebebiyle.
Kayit sayisini tek basina oncelik sebebi sayma.Dördüncü madde en çok tartışma yaratan ama en çok vakit kazandıran maddedir. Düzeltilmeyecek alanların listesini açıkça yazmak, o alanlara dayanan cevapları da gönül rahatlığıyla sınırlamanızı sağlıyor.
Sınırlar
Modelin veri kalitesi hakkındaki yorumu veri değil tahmindir. Bir alanın kötü olduğunu modele sordurup oradan karar çıkarmayın; oran sahadan gelir, modelden gelmez.
Doğruluk oranı da bir alanın tamamını temsil etmez. Otuz kayıt bir ölçüdür, garanti değildir. Bölgeye ya da yıla göre dağılımı bozuk olan bir alanda ortalama oran yanıltır; o yüzden örneklemeyi kırılımlara dengeleyin.
Kişi bazlı veriyi bu çalışmanın dışında tutun. Alan doğrulaması varlık, süreç ve kayıt verisi içindir; çalışan performansına dair çıkarım üretmek için kullanılmaz.
Son olarak, tutarlılık doğruluk değildir. Kendi içinde kusursuz tutarlı bir veri seti baştan sona yanlış olabilir. Model tutarlılığı görür, doğruluğu görmez.
Bir alanın ne kadar doğru olduğunu bilmiyorsanız, o alandan çıkan cevabın ne kadar doğru olduğunu da bilmiyorsunuz.