Blog
Her işe en pahalı modeli vermeniz gerekmez
Kısaca: Çoğu kurumda her iş aynı yapay zeka modeline gidiyor; genelde en güçlü ve en pahalı olana. Oysa işlerin büyük kısmı o gücü hiç kullanmıyor, küçük bir kısmı ise ondan fazlasını istiyor. Doğru soru hangi modelin en iyi olduğu değil, hangi işin hangi kalite tabanını gerektirdiğidir. İş sınıfını, kalite tabanını ve yükseltme kuralını yazarsanız maliyet kendiliğinden düşer.
Kurumda yapay zeka faturası büyüdüğünde ilk tartışma neredeyse her zaman aynı yerden açılır: hangi model daha ucuz.
Yanlış tartışma. Fatura modelden değil, her işi aynı modele göndermekten büyüyor.
Bir fatura kaleminin kategorisini bulmak, bir sözleşmedeki cayma maddesini yorumlamakla aynı iş değil. İkisi aynı yere gidiyorsa biri için fazla ödüyorsunuz, diğeri için yeterince düşünmüyorsunuz.
Önce işi sınıflayın, sonra model seçin
Model seçimi bir satın alma kararı gibi ele alınıyor: bir kez verilir, herkese uygulanır. Oysa bu bir yönlendirme kararıdır ve iş bazında verilir.
Kurumdaki yapay zeka işleri kabaca dört sınıfa düşer.
Biçim işleri. Metni tabloya çevirmek, alan ayıklamak, özet çıkarmak, dili düzeltmek. Doğru cevap tektir ve kontrol etmesi kolaydır. Bu işler en küçük modelle yapılır.
Sınıflama işleri. Gelen talebi doğru ekibe yönlendirmek, kaydı kategorilere ayırmak, duyguyu etiketlemek. Seçenek kümesi kapalıdır. Burada güçlü modelin kattığı fark genelde ölçülemeyecek kadar küçüktür.
Akıl yürütme işleri. Çelişkili iki belgeyi karşılaştırmak, bir hesabın neden tutmadığını bulmak, çok adımlı bir analizi kurmak. Burada model gücü doğrudan sonuca yansır.
Taahhüt işleri. Çıktının müşteriye, denetçiye veya düzenleyiciye gittiği işler. Burada mesele hız veya maliyet değil, hatanın bedelidir.
Bu dört sınıf farklı fiyat ve farklı kontrol gerektirir. Hepsini tek modele vermek, dördünü de yanlış yönetmek anlamına gelir.
Asagida kurumumda yapay zekaya verdigim
islerin listesi var.
Her is icin bana bir IS SINIFI KARTI cikar:
1) Is sinifi: bicim / siniflama / akil yurutme /
taahhut.
2) Dogru cevap tek mi, yoruma acik mi.
3) Yanlis cikti fark edilmezse ne olur
(tek cumle, somut sonuc).
4) Bu is icin gereken en DUSUK model seviyesi:
kucuk / orta / en guclu. Gerekcesini yaz.
5) Emin olamadigin isler icin "siniflanamadi"
yaz ve neyi bilmen gerektigini soyle.
Her isi "en guclu" diye isaretlemen YANLIS kabul
edilecek; gerekce yoksa bir alt seviyeye indir.
Isler: [is adi - ne yapiyor - cikti kime gidiyor]Bu kart tek başına bir karar değil, tartışmanın zeminidir. Listeyi işin sahibiyle birlikte doldurun. En çok itiraz üçüncü maddede çıkar ve çıkması iyidir: "fark edilmezse ne olur" sorusuna cevap veremediğiniz iş, aslında henüz tanımlanmamış bir iştir.
Kalite tabanını modelden önce yazın
Model karşılaştırmaları genelde birkaç örnekle yapılır. Birkaç soru sorulur, cevaplar okunur, "bu daha iyi görünüyor" denir ve karar verilir.
Bu yöntemle her zaman en pahalı model kazanır, çünkü gözle bakıldığında daha akıcı yazan model daha doğru sanılır.
Ölçülecek şey akıcılık değil, kalite tabanıdır: bu iş için kabul edilebilir en düşük başarı neresi. Bunu modelden önce yazarsanız karşılaştırma bir anda somutlaşır.
Asagida bir isin tanimi ve bu isten bekledigim
cikti var.
Bana bu is icin bir KALITE TABANI TESTI hazirla:
1) 15 adet test girdisi oner; bunlarin en az
besi zor veya sinir durum olsun.
2) Her girdi icin DOGRU ciktinin ne oldugunu
nasil anlayacagimi yaz (tek satir kriter).
3) Kabul edilebilir en dusuk basari orani ne
olmali, neden.
4) Hangi hata turu kabul edilemez (tek bir
ornegi bile gecemez).
5) Bu testi ayni girdilerle iki farkli modelde
kosarsam sonucu nasil karsilastiracagim.
Testi benim verimle kurmali; uydurma ornek
girdi URETME, hangi gercek kayitlari toplamam
gerektigini soyle.
Is: [ne yapiyor, cikti kime gidiyor, hata
maliyeti nedir]Testi bir kez kurarsınız, her model değişikliğinde tekrar kullanırsınız. Bu test aynı zamanda yeni bir modelin çıktığı gün sorulacak soruyu da hazırlar: daha iyi mi değil, tabanı geçiyor mu.
Yükseltme kuralı yazılı olmalı
Küçük modelle çalışmanın asıl riski hata yapması değil, hata yaptığını kimsenin fark etmemesidir.
Çözüm küçük modeli bırakmak değil. Çözüm, ne zaman yukarıya çıkılacağını baştan yazmak.
Pratikte işe yarayan kural basittir: işi küçük modelle yapın, belirli koşullarda güçlü modele devredin. Koşulları siz yazmazsanız kullanıcı kendi kuralını uygular ve o kural genelde "her zaman en güçlüsü" olur.
Asagida bir isi hangi modelle yaptigimi ve bu
isin kabul kriterlerini yaziyorum.
Bana bir YUKSELTME KURALI tasarla:
1) Hangi somut durumda is kucuk modelden guclu
modele devredilmeli (en fazla dort kosul).
2) Her kosul calisma aninda nasil tespit edilir
(hangi isaret, hangi alan, hangi esik).
3) Devredilen is icin ek olarak hangi kontrol
yapilacak.
4) Devir sayisi beklenenin uzerine cikarsa bu
neyi gosterir.
5) Hicbir kosula uymadigi halde kullanicinin
elle yukseltme isteyebilecegi durum var mi.
Tespit edilemeyecek bir kosul ONERME; olcemedigin
yere "tespit edilemez" yaz.
Is: [is adi, su anki model, kabul kriteri,
hatanin bedeli]Bu kuralın yan faydası şudur: yükseltme sayısı tek başına bir ölçüm olur. Devir oranı sürekli artıyorsa iş tanımınız kaymış veya girdi kalitesi düşmüş demektir. İkisi de modelden önce fark edilmesi gereken şeylerdir.
Maliyeti model başına değil, görev başına okuyun
Faturaya model adıyla bakıldığında görülen şey sadece tüketimdir. Hangi işin ne kadar tuttuğu görünmez, dolayısıyla hangi işin fazla tuttuğu da görünmez.
Tek anlamlı birim görev başına maliyettir: bir faturayı sınıflamak, bir talebi yönlendirmek, bir raporu çıkarmak kaça geliyor. Bu sayı elinizde olmadan model seçimi tartışması bir tahmin yarışıdır.
Asagida yapay zeka kullanim kayitlarimin ozeti
var (is adi, cagri sayisi, model, toplam
tutar).
Bana bir GOREV BASINA MALIYET OKUMASI yap:
1) Her is icin gorev basina ortalama maliyet.
2) Maliyetin en cok biriktigi uc is; bunlarda
maliyet cagri sayisindan mi geliyor, cagri
basina agirliktan mi.
3) Hangi isler siniflarina gore FAZLA pahali
gorunuyor (basit is, pahali model).
4) Model seviyesini bir kademe dusurmenin
mantikli oldugu isler ve her birinde once
hangi testi kosmam gerektigi.
5) Veride olmayan bir sonuc CIKARMA; eksik
alanlari "veri yok" olarak isaretle.
Kayitlar: [is adi, cagri sayisi, model, tutar]Bu okumayı çeyrekte bir yapmak yeterli. Önemli olan sıklık değil, sayının kimin masasında durduğu. Görev başına maliyet bilgi teknolojileri raporunda kalırsa kimse ona göre karar vermez; işin sahibinin panosunda durursa iki çeyrek içinde kendiliğinden düşer.
Sınırlar: neyi bu kararın dışında bırakmalı
Model seviyesini düşürmenin serbest olmadığı yerler var ve bunları önceden yazmak gerekir.
Çıktının kişi hakkında bir sonuç ürettiği işlerde maliyet optimizasyonu yapılmaz. Performans, işe alım, kredi, disiplin gibi konularda model seçimi bir tasarruf kalemi değildir. Aynı şekilde çalışan davranışını izlemek için kurulan hiçbir akış bu çerçeveye girmez; orada sorun model seviyesi değil, işin kendisidir.
İkinci sınır kaynak uydurma eğilimidir. Küçük modeller bilgi gerektiren işlerde boşluğu makul görünen bir cümleyle doldurmaya daha yatkındır. Bu yüzden kurum belgesine, mevzuata veya müşteri taahhüdüne dayanan işlerde model seviyesini düşürmeden önce kaynak gösterme zorunluluğunu test edin. Kaynak veremiyorsa o iş o seviyeye uygun değildir.
Üçüncüsü, taahhüt işlerinde insan onayı bir model kalitesi sorusu değildir. En güçlü model de yanılır; fark, yanıldığında imzanın kimde olduğudur.
Üç aylık gözden geçirme
Model seviyeleri sabit kalmaz. Yeni sürümler çıkar, fiyatlar değişir, dünkü orta model bugünün küçük modeli olur.
Bu yüzden karar bir kez verilip dosyalanmaz. Elinizde tek sayfalık bir eşleştirme tablosu olmalı: hangi iş, hangi seviye, hangi kalite tabanı, hangi yükseltme kuralı. Üç ayda bir o tabloya bakılır ve tek soru sorulur: bu işin seviyesini bir kademe düşürsem testi geçer mi.
Asagida islerimin model seviyesi eslestirmesi ve
son ceyrekteki kalite sonuclari var.
Bana bir CEYREKLIK GOZDEN GECIRME NOTU hazirla:
1) Seviyesi dusurulebilecek isler ve her biri
icin kosulacak test.
2) Seviyesi YUKSELTILMESI gereken isler; hangi
isaret bunu gosteriyor.
3) Oldugu gibi kalmasi gereken isler, tek
cumle gerekceyle.
4) Bu ceyrekte kalite tabani testi hic
kosulmamis isler (bunlari ayri basliga al).
5) Notun sonuna kararlari kim onaylayacak
diye bir satir ekle.
En fazla bir sayfa. Veride dayanagi olmayan
oneri YAZMA.
Veri: [is adi, seviye, kalite sonucu, gorev
basina maliyet, devir orani]Tablonun tek sayfada kalması önemli. İki sayfaya çıktığı an kimse açmaz ve karar yine faturaya bakılan güne kalır.
Modelin gücü bir övünç kalemi değil; işin istediği kadarını alıp fazlasını ödememek asıl yöneticilik kısmı.