Güven skorunu yalnız ayarlıysa göster

Muhasebe ekibi taranmış faturaları bir AI aracına okutuyor. Araç toplam tutarı, vergi numarasını ve vade tarihini dolduruyor, her alanın yanına da bir güven yüzdesi koyuyor. Yüzdelerin hepsi yüksek ve birbirine yakın. Ekip yüksek yüzdeli alanları kontrol etmeden onaylıyor, zaten aracı bunun için aldılar.

Vade tarihi yanlış. Belgede iki tarih var ve araç teslim tarihini okumuş. Yanındaki yüzde ötekiler kadar yüksek. Bu sayıyı ya model kendisi yazdı ya da bir olasılık puanından geldi. Kimse bu güvendeki alanların geçmişte ne sıklıkla doğru çıktığına bakmadı.

Bir yüzde okura bir sıklık vaat eder: bu güvendeki her yüz alanın kaçının doğru çıkacağını. Sayı bu sıklığa karşı hiç ölçülmediyse vaat boştur, ama ekrandaki en kesin görünen şey odur. Ölçülmemiş bir yüzde yanlış alana doğru alanla aynı kesinliği verir ve kontrolü tam gerektiği yerde kapatır.

Sayı eklemek kolay ve ciddi görünür. Bir dil modelinden cevabının yanına güvenini yüzde olarak yazmasını istemek tek satırlık bir prompt değişikliği. Çıkan sayı da inandırıcıdır, çünkü insanların konuştuğu gibi konuşur. Xiong ve arkadaşlarının ölçümünde modellerin sözle verdiği güven çoğunlukla %80 ile %100 arasına ve 5'in katlarına düştü¹ ve modeller belirgin biçimde aşırı emin çıktı.

Modelin iç olasılıkları da kendiliğinden ayarlı gelmiyor. Guo ve arkadaşları modern sinir ağlarının on yıl öncekilerden farklı olarak kötü kalibre² olduğunu buldu. OpenAI, GPT-4'ün teknik raporunda ön eğitimli modelin iyi kalibre olduğunu, sonradan eğitimin kalibrasyonu belirgin biçimde bozduğunu³ yazıyor. Kullanıcının konuştuğu model çoğu zaman bu sonradan eğitilmiş model.

Üçüncü neden ölçümde. Kalibrasyon doğruluktan ayrı bir ölçüm. Doğruluk panosu modelin ne sıklıkla haklı olduğunu söyler, verdiği sayının o sıklığı tutturup tutturmadığını söylemez. Model, prompt ya da gelen belge türü değişince sayı sessizce kayar. Microsoft'un belge okuma servisinin belgesi de incelenen belgeler eğitimdekilerden farklıysa raporlanan doğruluğun tutarsız olabileceğini⁴ yazıyor.

Ekrandaki bir güven sayısı ölçülmüş bir sıklığın kısaltmasıdır. Ölçülmemişse ekranda durmaz.

1. Göstermeden önce ölç. Kendi verinde ve kendi görev türünde güveni aralıklara böl, her aralığın gerçek doğruluğunu say. Yüksek güven denen alanlar o sıklıkta doğru çıkmıyorsa sayıyı ya düzelt ya kaldır. Zhang ve arkadaşları güveni kullanıcıya göstermeden önce modelin olasılıklarının gerçek sonuçlarla örtüştüğünü kontrol etti⁵.
2. Modelin kendi yazdığı yüzdeyi gösterme. Sözle istenen güven, modelin o anda yazdığı bir cümle. OpenAI'ın Model Spec'i de asistanın, kullanıcı ya da geliştirici istemedikçe belirsizliğini yüzdeyle söylememesini⁶ istiyor.
3. Sıklık diliyle yaz. Sıklık, yüzde işaretinden kolay okunur. Zhang ve arkadaşları güveni benzer kişilerde “on seferin kaçında doğru”⁵ biçiminde gösterdi. Microsoft'un belgesi de 0,95'lik bir güveni büyük olasılıkla 20 seferden 19'unda doğru⁴ diye açıklıyor.
4. Sayıyı bir eyleme bağla. Güvenin işi kullanıcıya neyi kontrol edeceğini söylemek. Eşiğin altındaki sonuç otomatik kabul edilmez, insana gider. Microsoft'un belge servisi güveni tam bu iş için, otomatik kabul ile insan incelemesi arasında seçmek⁴ için öneriyor.
5. Hassasiyeti ölçtüğün kadar tut. Ondalıklı bir yüzde ölçümün taşımadığı bir kesinlik vaat eder. Ölçüm ne kadarını destekliyorsa o kadar ince göster: birkaç aralık ya da yüksek, orta, düşük. Microsoft'un HAX araç setinde bu kuralın bir adı da var, arayüzdeki hassasiyeti sistemin performansıyla eşlemek⁷.
6. Ölçülmeyen yerde sayıyı kaldır. Ölçmediğin belge türünde, yeni bir modelde ya da kaymış veride sayı gösterilmez. Yerine “güven ölçülmedi” yazar ve sonuç incelemeye gider. Model ya da prompt değişince ölçüm yenilenir.

Sayıyı model üretebilir. Ekranda kalıp kalmayacağına ölçüm karar verir.

Aynı fatura, aynı alanlar. Soldaki araç her alana modelin verdiği yüksek bir yüzde koyuyor ve yanlış okunan vade tarihi de ötekiler kadar emin görünüyor. Sağdaki güveni bu tedarikçinin geçmiş faturalarıyla ölçmüş, sıklık diliyle yazıyor, ölçülmemiş alanı sayısız bırakıp kullanıcıya soruyor.

Microsoft'un Azure Document Intelligence belgesi güveni tanımlayarak başlıyor: alanın güveni, tahminin doğru olma olasılığının bir tahmini. Belge 0,95'i 20 seferden 19'u⁴ diye açıklıyor ve güvenin ne için kullanılacağını da söylüyor: sonucun otomatik kabul edilmesi ya da insan incelemesine işaretlenmesi. Sayı bir karara bağlı duruyor.

Google'ın konuşmayı yazıya çeviren servisi en olası sonuca 0 ile 1 arasında bir güven değeri veriyor ve aynı satırda bu alanın doğruluğunun garanti edilmediğini⁸ yazıyor. Bu dürüst bir uyarı. Servisin üstüne ürün kuran ekip sayıyı ham hâliyle kullanıcıya taşırsa, servisin kendisinin garanti etmediği bir şeyi garanti ediyormuş gibi gösterir.

OpenAI'ın Model Spec'i sohbet tarafında varsayılanı koyuyor. Asistan belirsizliği konuşma diliyle söylüyor, yüzde vermiyor⁶. Yüzde ancak kullanıcı ya da geliştirici isterse geliyor.

Zhang, Liao ve Bellamy 2020'de katılımcıların bir gelir tahmini görevinde modelle birlikte karar verdiği deneyler yaptı. İnsan ve model tek başına benzer düzeyde başarılıydı. Modelin olasılıkları gerçek sonuçlarla örtüşüyordu ve güven, benzer kişilerde on seferin kaçında doğru olduğu biçiminde gösterildi. Güveni gören katılımcılar modelin yüksek güvenli tahminlerine daha çok uydu. Güveni görmeyen grupta uyma oranı güven düzeyine göre değişmedi. Ortak kararın doğruluğu ise artmadı. Yazarlara göre güvenin doğru yere yönelmesi tek başına yetmiyor⁵, çünkü modelin zorlandığı vakalar insanın da zorlandığı vakalardı.

Amazon Rekognition, Temmuz 2018. ACLU, Rekognition ile 25.000 sabıka fotoğrafından bir veritabanı kurdu ve bütün Kongre üyelerinin fotoğraflarını Amazon'un varsayılan eşleşme ayarıyla aradı. Sistem 28 Kongre üyesini başka kişilerle eşleştirdi⁹. Amazon ertesi gün varsayılan güven eşiğinin %80 olduğunu, bunun ünlü tanıma gibi genel işler için uygun, kamu güvenliği için yanlış ayar olduğunu¹⁰ yazdı. Kendi testinde eşiği %99'a çekince yanlış eşleşmenin sıfıra indiğini¹⁰ söyledi. Amazon'a göre ACLU verisini ve yöntemini ayrıntılı yayımlamamıştı, Amazon'un itirazı da kendi testine dayanıyor. İki tarafın anlattığı aynı şeyi gösteriyor. Aynı güven sayısı ünlü fotoğrafı ararken yeterli, bir insanı suçlu adayı diye gösterirken yanıltıcı.

Ham olasılık kullanıcının işine de yaramayabilir. Vasconcelos ve arkadaşları 30 programcıyla yaptıkları çalışmada, kod tamamlamada üretilme olasılığı en düşük parçaları vurgulamanın vurgusuz koda göre hiçbir fayda sağlamadığını¹¹ buldu. Programcının düzeltme olasılığı en yüksek parçaları vurgulamak ise işi hızlandırdı. Gösterilen sayı kullanıcının karar verdiği şeyi ölçmeli: bu alan doğru mu, bu satır düzeltilecek mi.

Bu çalışmalar doğru cevabı belli görevlerden geliyor: gelir tahmini, yüz eşleşmesi, kod tamamlama. Uzun serbest metinde neyin doğru olduğunu tanımlamak, dolayısıyla sayıyı ölçmek daha zor.

• 26 Temmuz 2018Rekognition varsayılan eşikle 28 Kongre üyesini sabıka fotoğraflarıyla eşleştirdi

Ekranda sayı olması bu desenin işe yaradığını göstermez. Bakılacak yer, sayının söylediği sıklıkla gerçekleşen sıklık arasındaki fark.

• Aralık başına doğruluk. Güveni aralıklara böl, her aralıkta gerçek doğruluğu say ve ekrandaki sayıyla karşılaştır. Fark her aralıkta ayrı ayrı küçük olmalı.
• Eşiğin yakaladığı hatalar. İncelemeye giden sonuçlarda ve otomatik kabul edilenlerde hata oranını ayrı say. Hataların büyük kısmı eşiğin altında kalmalı.
• Yüksek güvenli hatalar. Yüksek güvenle kabul edilip sonradan düzeltilen sonuçları ayrıca topla. Sayının en pahalı yanılgıları bunlar.
• Kayma. Model, prompt ya da veri değişince aralık tablosunu yeniden çıkar. Son ölçümün tarihi günlükte ve ekranda görünmeli.
• Kullanıcının sayıyla ne yaptığı. Düşük güvenli sonuçlarda kontrol oranı yüksek, yüksek güvenlilerde düşük olmalı. Kullanıcı her sonucu aynı biçimde kontrol ediyorsa sayı okunmuyor.

Üç metin var. Denetim promptu arayüzde gösterilen her güven sayısının nereden geldiğini ve gerçek doğrulukla karşılaştırılıp karşılaştırılmadığını tarar, yalnız rapor yazar. Uygulama promptu kalibrasyon ölçümünü, sıklık dilini ve eşiğin altındaki sonuçların insana gitmesini kurar. Önce planı gösterir, onayınla uygular ve ölçülmemiş bir sayının ekrana çıkmadığını kanıtlayan bir test ekler. Kural kodlama ajanının kendi çalışması için. Senin ajanın da ölçmediği bir yüzdeyi yazmasın.

Bu depoda kullanıcıya bir güven göstergesi (yüzde, puan, çubuk, renkli rozet, "yüksek güven" etiketi) gösteren bir AI özelliği var. Görevin, bu göstergelerin gerçek doğrulukla karşılaştırılıp karşılaştırılmadığını denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Arayüzde güven gösteren bütün yerleri bul: yüzdeler, puanlar, güven çubukları, renkli rozetler, "emin" ya da "yüksek güven" etiketleri. Bileşenleri ve metinleri listele.
2. Her göstergenin kaynağını izle: modelden yüzde mi isteniyor (promptta "güvenini 0-100 arası yaz" gibi), token olasılığı mı okunuyor, bir sınıflandırıcının puanı mı, bir API'nin confidence alanı mı aktarılıyor?
3. Göstergenin gerçek doğrulukla karşılaştırıldığı bir ölçüm var mı: kalibrasyon betiği, güvenilirlik tablosu, beklenen kalibrasyon hatası (ECE), etiketli değerlendirme seti? Varsa hangi veriyle ve ne zaman yapılmış?
4. Gösterge bir eyleme bağlı mı? Eşiğin altındaki sonuçlar otomatik kabul ediliyor mu, insana mı gidiyor? Eşik nerede tanımlı ve neye göre seçilmiş?
5. Sayı nasıl yazılıyor: ondalıklı yüzde mi, aralık mı, sıklık dili mi? Gösterilen hassasiyet ölçümün desteklediği hassasiyetle uyumlu mu?
6. Model, prompt ya da veri değiştiğinde kalibrasyon yeniden ölçülüyor mu? Ölçülmemiş görev türlerinde ya da yeni veride gösterge yine çıkıyor mu?

Rapor biçimi: her bulgu için dosya ve satır, gösterilen sayı ya da etiket, kaynağı, ölçülüp ölçülmediği, olası sonuç (örnek: modelin yazdığı yüksek bir yüzde yanlış bir alanın kontrol edilmeden onaylanmasına yol açar) ve önerdiğin düzeltme. Kullanıcının göstergeye dayanarak otomatik kabul ettiği yerlerden başla.

Bu depodaki AI özelliğine "güven skorunu yalnız ayarlıysa göster" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Etiketli bir değerlendirme seti kur ya da var olanı kullan. Gösterilen güveni aralıklara böl ve her aralıkta gerçek doğruluğu hesaplayan bir kalibrasyon betiği yaz (güvenilirlik tablosu ve beklenen kalibrasyon hatası).
2. Sayı gerçek doğrulukla örtüşmüyorsa önce düzelt (sıcaklık ölçekleme ya da aralık başına eşleme gibi) ya da arayüzden kaldır.
3. Modelin metin olarak yazdığı güven yüzdelerini kullanıcıya gösterme.
4. Gösterilen sayıyı sıklık diliyle yaz ("bu güven aralığındaki 20 sonuçtan 19'u doğru çıktı"), ölçümün tarihini ve hangi veriyle yapıldığını yanına koy. Ölçümün desteklemediği ondalıkları gösterme.
5. Bir eşik tanımla. Eşiğin altındaki sonuçlar otomatik kabul edilmesin, kullanıcı incelemesine gitsin.
6. Ölçülmemiş görev türünde, yeni bir modelde ya da kalibrasyonu eskimiş veride sayı yerine "güven ölçülmedi" göster ve sonucu incelemeye gönder.

Uygularken:
- Kalibrasyon tablosunu ve eşikleri kodda tek bir yerde, sürümüyle tut. Model ya da prompt değişince betiği yeniden çalıştırmayı dağıtım adımlarına ekle.
- Tabloyu ürünün ana kullanım grupları (belge türü, dil, müşteri) için ayrı çıkar, yalnız ortalamaya bakma.
- Bir test ekle: kalibrasyonu ölçülmemiş bir görev türünde arayüzün sayı göstermediğini ve sonucu incelemeye gönderdiğini, ölçülmüş türde gösterilen sayının tablodaki değerle aynı olduğunu doğrula.

## Güven sayısını yalnız ölçtüysen yaz
- Bir sonucun yanına yüzde, olasılık ya da güven puanı yazma, o sayıyı gerçek sonuçlarla karşılaştırmadıysan.
- Emin olup olmadığını söyleyeceksen kelimeyle söyle ve nedenini yaz: testi çalıştırdım, dosyayı okumadım, belge bunu söylemiyor.
- Kullanıcıya güven sayısı gösteren bir kodu değiştiriyorsan kalibrasyon betiğini çalıştır ve sonucunu raporla.
- Modelin metin olarak ürettiği güven yüzdelerini ölçüm gibi kullanma, kaydetme ya da arayüze taşıma.
- Ölçülmemiş bir durumda sayı göstermek yerine sonucu insan incelemesine gönder.

Kararın sayıya bağlı olmadığı yerde (yaratıcı metin, öneri listesi) güven sayısı gerekmez. Sayı göstermeyen bir arayüz, ayarsız sayı gösteren arayüzden daha dürüsttür.

Ayarlı sayı da yanlış okunabilir. Zhang ve arkadaşları sayısal bir puanın, özellikle karmaşık işlerde, herkes için anlamlı olmayabileceğini⁵ yazıyor. Sıklık dili ve eşik bu riski azaltır, kaldırmaz.

Ortalamada ayarlı olmak her grupta ayarlı olmak anlamına gelmez. Bir belge türünde iyi kalibre olan sayı başka bir türde aşırı emin olabilir. Tabloyu ürünün ana kullanım grupları için ayrı çıkar.

Kalibrasyon modeli daha doğru yapmaz. Zhang'ın deneyinde güven sayısı kullanıcının güvenini doğru yöne çekti ama ortak kararın doğruluğunu artırmadı. Sayı kullanıcıya nereye bakacağını söyler, baktığı yerde ne bulacağını söylemez.