Blog
Yapay zeka maliyetiniz modelde değil, tekrarda birikiyor
Kısaca: Yapay zeka faturası genelde model seçimiyle açıklanır, oysa maliyetin büyük kısmı aynı işin tekrar tekrar aynı metinle çalıştırılmasından gelir. Her istekte yeniden gönderilen sabit belgeler, beğenilmeyip yeniden çalıştırılan görevler ve kontrol için ikinci kez sorulan sorular faturanın asıl kalemleridir. Aşağıda tekrarı ölçmekten aylık tek sayfalık maliyet notuna kadar beş kopyala-yapıştır prompt var. Kullanımı kısmadan maliyeti düşürmenin tek yolu, tekrarı görünür kılmaktır.
Fatura geldi ve geçen ayın iki katı. Kullanım da arttı, ama iki kat artmadı. Masada ilk söylenen cümle her yerde aynıdır: daha ucuz bir modele geçelim.
Bu cümle bir çözüm gibi görünür ama genelde yanlış kaleme bakar. Çünkü faturayı kabartan şey çoğu kurumda modelin birim fiyatı değildir. Aynı işin kaç kere, ne kadar metinle çalıştırıldığıdır.
Aradaki fark önemli. Model değiştirmek bir pazarlık işidir ve bir kere yapılır. Tekrarı azaltmak bir tasarım işidir ve her ay geri döner.
Faturayı iş sayısı değil, tekrar sayısı büyütüyor
Bir yapay zeka görevinin maliyeti üç yerden gelir. Göreve verdiğiniz metin, modelin ürettiği metin ve görevin kaç kere çalıştırıldığı. Kurumlarda en çok konuşulan kalem ikincisidir, en çok parayı götüren kalem ise birincisi ile üçüncüsünün çarpımıdır.
Sebebi şu: kurumsal kullanımda gönderilen metnin büyük kısmı her seferinde aynıdır. Aynı yönerge, aynı şablon, aynı politika metni, aynı ürün listesi. İş değişir, etrafındaki yüz satır değişmez. Ama her istekte yeniden gönderilir.
Üçüncü kalem daha da sinsidir. Bir görev nadiren bir kere çalışır. Çıktı beğenilmez, biraz değiştirilip tekrar çalıştırılır. Sonra kontrol için ikinci bir soru sorulur. Sonra başka biri aynı işi kendi sorusuyla baştan sorar. Kayıtlarda bu dört istek görünür, raporda tek iş görünür.
Bu yüzden maliyet tartışmasına model listesiyle değil, tekrar listesiyle başlamak gerekir. Hangi iş kaç istekle bitiyor sorusunun cevabı, hangi model daha ucuz sorusunun cevabından daha çok para kazandırır.
Birinci adım: hangi işin ne kadar metinle çalıştığını ölçün
Ölçmeden önce tahmin yürütmek zaman kaybıdır. Önce en çok kullanılan üç işi seçin ve her birinin tek bir çalıştırmada ne kadar metinle çalıştığını çıkarın.
Kurumda yapay zekayla yapilan bir isi inceleyecegiz.
Is: [isin tek cumlelik tanimi]
Kullanilan prompt ve ekler: [yapistir]
Yap:
1) Bu istekte gonderilen metni uc gruba ayir:
her seferinde ayni olan sabit kisim,
is bazinda degisen kisim,
gereksiz veya tekrarlayan kisim.
2) Her grubun yaklasik uzunlugunu kelime olarak yaz.
3) Gereksiz saydigin her satir icin neden gereksiz
oldugunu tek cumleyle gerekcelendir.
4) Sabit kismin ne kadarinin gercekten her istekte
gerekli oldugunu ayri degerlendir.
Tahmini sayi uretme; sadece benim verdigim metne bak.Bu prompt bir maliyet hesabı yapmaz, bir ayrıştırma yapar. İşe yarar kısmı üçüncü ve dördüncü maddedir: çoğu kurumsal promptta sabit bölümün yarısı, bir zamanlar bir sorunu çözmek için eklenmiş ve bir daha okunmamış satırlardan oluşur. Bu satırlar her istekte parayla gönderilir.
İkinci adım: sabit bağlamı işten ayırın
Sabit bölümü kısaltmak bir kazanç. Ama daha büyük kazanç, onu her istekte yeniden göndermeyi bırakmaktır. Bunun yolu bağlamı tek bir yerde tutmak ve işe sadece değişen kısmı vermektir.
Asagida bir ise her istekte eklenen sabit bir
baglam metni var.
Yap:
1) Bu metni, tekrar kullanilabilir tek bir
referans belgeye donustur: basliklandir,
tekrarlari birlestir, celisen ifadeleri isaretle.
2) Belgenin dismda kalmasi gereken, sadece o ise
ait bilgileri ayri listele.
3) Isin kendisi icin, bu belgeye atifta bulunan
kisa bir prompt kalibi yaz ([degisken] alanlari
koseli parantezle).
4) Belgeden cikardigin ama cikarmanin risk
olusturabilecegi maddeleri ayri uyari olarak yaz.
Baglam: [yapistir]Buradaki dördüncü madde önemli. Bağlam kısaltma işi, bir süre sonra çıktı kalitesini sessizce düşürebilir; hangi satırın kaldırıldığını bilmiyorsanız kaliteyi geri getiremezsiniz. Çıkarılan maddeleri yazılı tutun, kalite düşerse önce o listeye bakın.
Üçüncü adım: yeniden çalıştırmaları sayın
En büyük kalem genelde burada. Tek bir iş için kaç istek harcandığını kimse tutmaz, çünkü her yeniden çalıştırma kullanıcıya bedava gelir. Bir hafta boyunca sayılması yeterlidir.
Bir hafta boyunca bir isin kac kere calistirildigini
olcmek istiyorum.
Is: [isin tanimi]
Yap:
1) Bir isin "bitti" sayilmasi icin gereken olcutu
tek cumleyle yaz.
2) Yeniden calistirma sebeplerini en fazla bes
kategoriye ayir (ornek: eksik bilgi verdim,
cikti bicimi yanlis, icerik yanlis, fikrim
degisti, kontrol icin tekrar sordum).
3) Her is icin doldurulacak tek satirlik kayit
formu tasarla: tarih, is no, kacinci deneme,
sebep kategorisi.
4) Hangi sebep kategorisinin promptla, hangisinin
egitimle, hangisinin is tanimiyla cozulecegini
ayri yaz.
Kategorileri benim verdigim ise gore kur.Bu kaydın bir hafta tutulması, çoğu kurumda şu tabloyu çıkarır: yeniden çalıştırmaların büyükçe bir kısmı "eksik bilgi verdim" kategorisindedir. Bu, model sorunu değil prompt kalıbı sorunudur ve en ucuz çözülen kalemdir.
Dördüncü adım: her işe en pahalı modeli vermeyin
Kurumlar genelde tek bir model seçer ve her işe onu verir. Seçim de en zor işe göre yapılır. Sonuçta en basit iş, en zor işin fiyatıyla çalışır.
Asagida yapay zekayla yapilan islerin listesi var.
Her is icin: adi, aylik tekrar sayisi, ciktinin
kime gittigi, hata maliyeti.
Yap:
1) Isleri uc gruba ayir: hata maliyeti yuksek ve
yargi gerektiren, kalipli ve hacimli,
deneme-yoklama niteliginde.
2) Her grup icin hangi model sinifinin yeterli
oldugunu gerekceyle yaz (en guclu, orta, hizli).
3) Yanlis grupta oldugunu dusundugun isleri ayri
isaretle ve neden oyle dusundugunu yaz.
4) Model degisikligi yapilacak her is icin
degisiklikten once calistirilacak kabul
testini tek cumleyle tanimla.
Liste: [yapistir]Dördüncü madde olmadan bu çalışma tehlikelidir. Daha hızlı bir modele geçmek maliyeti düşürür ama kaliteyi de düşürebilir ve bu düşüş faturada görünmez, doğrulama emeğinde görünür. Model değişikliğinin ucuzlatıp ucuzlatmadığını ancak kabul testi söyler.
Beşinci adım: aylık tek sayfalık maliyet notu
Bu çalışmanın kalıcı olması için ayda bir okunan tek bir sayfaya dönüşmesi gerekir. Ham kullanım raporu bu işi görmez; kimse okumaz, okuyan da karar çıkarmaz.
Asagida gecen aya ait yapay zeka kullanim ve
maliyet verisi var.
Yap:
1) Tek tablo kur: is, aylik tekrar sayisi,
tahmini pay, gecen aya gore fark.
2) Artisin kaynagini her satir icin tek kelimeyle
isaretle: daha fazla is, daha uzun baglam,
daha fazla yeniden calistirma, model degisikligi.
3) Pay siralamasinda ilk uc isi al ve her biri
icin tek bir somut azaltma onerisi yaz.
4) Veriden cikarilamayan sorulari ayri listele.
Veride olmayan hicbir sayiyi uretmeyeceksin.
Veri: [yapistir]İkinci maddedeki tek kelimelik işaret, bu notun en işe yarar kısmıdır. Aynı artış miktarı farklı sebeplerden gelebilir ve her sebebin cevabı farklıdır. Daha fazla iş yapıldığı için artan maliyet iyi haberdir; daha uzun bağlam yüzünden artan maliyet israftır.
Nerede durmalı
Bu ölçüm kolayca kişi ölçümüne dönüşür. Yeniden çalıştırma sayısı, bir işin nasıl tanımlandığının göstergesidir ama kimin kaç kere denediğinin de göstergesi gibi okunabilir. Kayıtları iş numarasıyla tutun, kişi adıyla tutmayın. Ekibe ölçümün amacını baştan söyleyin. Kişi bazlı izleme şüphesi doğduğu anda kimse gerçek sebebi yazmaz ve elinizde kullanılamaz bir tablo kalır.
İkinci sınır modelin kendisinde. Maliyet sorularına model son derece ikna edici sayılar üretir: birim fiyatlar, kelime başına maliyetler, yüzdelik tasarruf tahminleri. Bu sayılar sizin faturanızdan değil, genel kalıplardan gelir ve çoğu güncel değildir. Modeli metni ayrıştırmak ve kategorilere ayırmak için kullanın; rakamları kendi kullanım raporunuzdan alın.
Üçüncü sınır tasarruf hevesinde. Bağlamı fazla kısmak, çıktı kalitesini düşürüp doğrulama emeğini artırır ve toplam maliyeti yükseltir. Her kısaltmadan sonra bir hafta kalite kaydı tutun.
Yapay zekada pahalı olan düşünmek değil, aynı şeyi iki kere düşündürmektir.