Blog
Modele bağladığınız klasörü kim görebiliyor
Kısaca: Bir klasörü yapay zeka asistanına bağladığınızda o klasörün erişim kuralları da sizinle gelmez. Model, kullanıcının görmeye yetkili olduğu şeyi değil, kaynakta bulduğu şeyi anlatır. Sızıntı genelde belgenin kendisinden değil, belgeden üretilen özetten gelir. Bağlamadan önce tek sayfalık bir erişim haritası çıkarmak, bu işin en ucuz adımıdır.
Yapay zeka asistanı kurmanın en hızlı yolu belli: kurumsal bir klasörü ya da portalı bağlayıp sorulara açmak.
Bu adım teknik bir iş gibi görünür. Değildir. O anda kurumda yıllar içinde kurulmuş tüm erişim yetkilerini tek bir soru kutusuna indirmiş olursunuz.
Çoğu kurumda sorun bağlandıktan haftalar sonra fark edilir. Birisi masum bir soru sorar, cevapta görmemesi gereken bir rakam çıkar.
Model sizin yetkinizle değil, kaynağın tamamıyla cevap verir
Klasörlerde yetki belge seviyesindedir. Bir kişi bir dosyayı açabilir ya da açamaz. Bu kural klasörü açan uygulamada çalışır.
Asistan ise araya girer. Soruyu alır, kaynakta arar, bulduğunu birleştirip cevap yazar. Bu aramayı çoğunlukla asistanın kendi hesabıyla yapar, kullanıcının hesabıyla değil.
Sonuç basit: asistanın yetkisi kurumdaki en geniş yetkidir. Kullanıcı o yetkiyi soru sorarak ödünç alır.
Bunu test etmek için büyük bir kuruluma gerek yok. Kaynağa bağladıktan sonra asistana en kısıtlı rolün bilmemesi gereken bir şeyi sorun. Cevap gelirse mesele teknik değil, yapısaldır.
Sızıntı belgeden değil, özetten gelir
Belge erişimini kapatmak çoğu zaman yeterli sanılır. Değildir, çünkü üç farklı sızma biçimi var.
Birincisi doğrudan belge: model dosyayı gösterir ya da içinden alıntı yapar. Bu en görünür olanıdır, en kolay engellenir.
İkincisi parça: belge kapalı ama ondan üretilmiş bir metin parçası arama dizinine girmiştir. Model belgeyi açmadan parçadan cevap verir.
Üçüncüsü özet: hiçbir belge adı geçmez, hiçbir alıntı yapılmaz, ama cevap yine o bilgiyi taşır. "Ortalama kaç" sorusuna verilen cevap, tek tek maaşları görmeden maaş bilgisini aktarır.
Üçüncüsü en sinsisidir, çünkü denetim kayıtlarında belge erişimi olarak hiç görünmez.
Bağlamadan önce tek sayfa: kim neyi görebilir
Bağlama kararını teknik ekibe bırakmayın. Kaynağı bağlamadan önce tek sayfalık bir erişim haritası çıkarın. Bu sayfa, kaynakta ne olduğunu, bugün kimin eriştiğini ve asistanı kimin kullanacağını yan yana gösterir.
Haritanın işe yarayan kısmı uyuşmazlıklardır: asistanı kullanacak ama bugün o belgeyi göremeyen gruplar. Her uyuşmazlık için tek satır karar gerekir.
Bir yapay zeka asistanina baglamayi planladigim belge kaynagi var.
Kaynak: [klasor / portal / paylasim adi]
Icindekiler: [belge turleri, ornek: sozlesmeler, fiyat listeleri, bordro ekleri]
Bu kaynakta bugun erisim hakki olan gruplar: [grup/rol listesi]
Asistani kullanacak gruplar: [grup/rol listesi]
Bana tek sayfalik bir erisim haritasi cikar:
1. Hangi belge turu hangi gruba acik, hangisine kapali
2. Asistani kullanacak gruplardan hangisi bugun o belgeye erisemiyor
3. Her uyusmazlik icin tek satir karar onerisi:
kaynaktan cikar / grubu kisitla / alani maskele
Tahmin yurutme; verdigim bilgi yetmiyorsa eksik alani sor.Bu prompt kaynağın envanterini değil, kararın gerekçesini çıkarır. Çıktı tek sayfa olduğu için yönetime de gösterilebilir. Son satır önemli: model eksik bilgiyi kendi doldurursa harita işe yaramaz hale gelir.
Üç personayla sınayın
Erişim kuralını yazmak bir şey, çalıştığını görmek başka şey. Sınama için üç persona yeter: en kısıtlı rol, orta seviye rol, tam yetkili rol.
Sorular doğrudan olmasın. Doğrudan soru zaten engellenir. Dolaylı yolları deneyin: özet isteyin, karşılaştırma isteyin, aralık sorun, "yaklaşık" deyin.
Asagidaki belge kaynagini kullanan bir asistani sinamak istiyorum.
Kaynak ozeti: [kaynakta ne var]
Erisim kurali: [kim neyi gorebilir]
Uc kullanici personasi icin 7 soruluk sinama listesi yaz:
Persona A: [en kisitli rol]
Persona B: [orta seviye rol]
Persona C: [tam yetkili rol]
Sorular, personanin gormemesi gereken bilgiyi dolayli yoldan
cekmeye calissin (ozet isteyerek, karsilastirma isteyerek,
aralik sorarak, yaklasik deger isteyerek).
Her soru icin beklenen DOGRU davranisi tek cumleyle yaz.Bu liste bir kez yazılır, her değişiklikte tekrar koşulur. Kaynağa yeni belge eklendiğinde, erişim grubu değiştiğinde ya da model yükseltildiğinde aynı yirmi bir soruyu sormak yarım saat sürer. Sınama listesi olmayan kurumlarda bu kontrol hiç yapılmaz.
Cevap kaynağını göstermiyorsa denetleyemezsiniz
Asistanın cevabı tek paragraf olarak geliyorsa neyi kullandığını bilemezsiniz. Yanlış bir bilgi çıktığında da hangi belgeden geldiğini bulamazsınız.
Çözüm cevabın biçimiyle ilgili. Her cevabın sonunda kullandığı belge adı ve bölümü yazılı olsun. Kaynak gösteremediği bilgiyi cevaba hiç koymasın.
Asistanin sistem talimatina eklenecek bir kural yaz.
Kural: her cevabin sonunda hangi belgeden yararlandigini
belge adi ve bolum/sayfa olarak listelesin; kaynak
gosteremedigi bilgiyi cevaba koymasin, yerine
"kaynak bulunamadi" yazsin.
Talimat metnini dogrudan kopyalanabilir sekilde ver,
en fazla 8 satir.
Sonra bu kuralin YAKALAYAMAYACAGI iki durumu ayri ayri yaz.Son satırı atlamayın. Kaynak zorunluluğu uydurmayı azaltır, bitirmez. Model var olan bir belgeyi gösterip o belgede olmayan bir cümleyi yazabilir. Kaynak listesi bu durumda size yanlış bir güven verir.
Her şey ya içeride ya dışarıda değil
Erişim tartışması genelde iki uçta sıkışır: ya kaynağı bağlarsınız ya bağlamazsınız. Araya üç seçenek daha sığar.
Belgenin hassas alanları silinmiş bir kopyasını bağlayabilirsiniz. Belgeyi değil, onaylanmış özetini bağlayabilirsiniz. Ya da belgeyi tamamen dışarıda tutup sadece ondan çıkan sonucu bir tabloya yazabilirsiniz.
Üçünün de bir bakım maliyeti var. Karar vermeden önce bunu görmek gerekir.
Bir belgeyi yapay zeka kaynagindan tamamen cikarmak istemiyorum
ama icindeki bazi alanlar gorulmemeli.
Belge: [belge adi ve amaci]
Gorulmemesi gereken alanlar: [alan listesi]
Asistanin bu belgeden vermesi gereken fayda: [ne sormak istiyorlar]
Uc secenegi karsilastir:
1. Alanlari silerek kopya cikarmak
2. Belgeyi ozetleyip sadece ozeti baglamak
3. Belgeyi disarida tutup sonucu bir tabloya yazmak
Her secenek icin uc satir: ne kaybederim, kim bakim yapar,
hangi durumda kirilir.Bu karşılaştırma genelde beklenmedik bir yere çıkar: en güvenli seçenek aynı zamanda en çok bakım isteyen seçenektir. Kopyayı güncelleyen kimse yoksa üç ay sonra asistan eski fiyatı söyler. Güvenliği kazanırken doğruluğu kaybedersiniz.
Kaynağın bir sahibi ve bir tarihi olmalı
Bağlanan kaynaklar zamanla birikir. Altı ay sonra kimse hangi klasörlerin bağlı olduğunu, kimin karar verdiğini ve o klasörlerin içinde ne değiştiğini bilmez.
Her kaynağın bir sahibi ve bir son kontrol tarihi olsun. Sahip teknik ekipten değil, o belgenin içeriğinden sorumlu birim olmalı.
Yapay zeka asistanina bagli belge kaynaklarini ceyrekte bir
gozden gecirecegim. Kaynak listesi: [kaynak adlari ve sahipleri]
Gozden gecirme notu icin sablon hazirla.
Her kaynak icin su satirlar olsun:
- sahibi kim
- son kontrol tarihi
- iceriginde degisiklik oldu mu
- erisim grubu degisti mi
- cikarilmasi gereken belge var mi
- bir sonraki kontrol tarihi
Sonuna, uzerinde KARAR verilmesi gereken maddeleri
ayri bir liste olarak koy.Çeyreklik gözden geçirme kulağa bürokratik geliyor, ama tek alternatifi kazara öğrenmek. Bir kaynağın erişim grubu genişlediğinde kimse asistanı haber etmez. Tarih koymak, haberi siz almaya zorlar.
Sınır: bu çalışma kişi izlemek için değil
Sınama kayıtları kimin ne sorduğunu gösterir. Bu kayıtlar kuralın çalışıp çalışmadığını görmek içindir, çalışanın hangi konuyu merak ettiğini izlemek için değil. Amacını yazılı olarak sınırlamazsanız bu veri zamanla başka bir şeye dönüşür.
İkinci sınır modelin kendisinde. Erişim kuralı doğru kurulmuş olsa bile model, gördüğü iki belgeden olmayan bir üçüncü sonucu türetebilir. Kaynak gösteren bir cevap doğru cevap demek değildir. Karar imzaya gidiyorsa belgeyi insan açıp okur.
Bir klasörü modele bağlamak erişim vermek değil, erişim kurallarınızı yeniden yazmaktır; yazmazsanız model onları sizin yerinize yorumlar.