AI haklıyken ve yanılırken kabulü ayrı ölç

Bir destek ekibi gelen talepleri AI'ın önerdiği kategoriye göre yönlendiriyor. Ekip öneriyle birlikte kısa bir gerekçe göstermeye başlıyor. Ay sonunda rapor iyi görünüyor. Temsilciler AI önerisini eskisinden sık kabul ediyor, yönlendirme süresi kısalmış. Aynı ay faturalama ekibinin kuyruğunda yanlış yere gelmiş iade talepleri birikiyor.

Kabul oranı iki farklı kararı tek sayıda topluyor. AI haklıyken kabul etmek doğru karar. AI yanılırken kabul etmek, temsilcinin hatayı görmediği an. Gerekçe paneli birincisini artırdıysa ürün iyileşti. İkincisini artırdıysa ekip AI'ın hatasını müşteriye daha hızlı taşıyan bir düzen kurdu. Toplam oran ikisini aynı yükseliş diye gösterir.

Kullanıcı yanlış çıktıyı doğrusu kadar kolay kabul ediyorsa güveni AI'ın ne zaman haklı olduğuna bakmıyor. Bunu yalnız iki vakayı ayrı sayan ölçüm görür.

Ürün ekibi çoğu zaman AI'ın hangi çıktısının doğru olduğunu bilmez. Kabul olayı günlüğe kendiliğinden düşer. Doğruluk ise bir insanın vakaya bakıp karar vermesini ya da gerçeğin sonradan ortaya çıkmasını bekler. Etiketli örneklem kurulmadığı için bölme yapılamaz ve ekip elindeki tek sayıya, toplam kabul oranına bakar. O sayı kullanıcının AI'a ne kadar uyduğunu söyler. Ne zaman uyması gerektiğini bilip bilmediği o sayıda yok.

İkinci neden, ortalamanın iyi haberi büyütmesi. AI çoğu vakada haklıysa kullanıcının ona daha çok uyması ortalama doğruluğu da yükseltir. Ekip hem kabulün hem doğruluğun arttığını görür. Yanlış öneriye uymanın da arttığını göremez, çünkü yanlış öneriler azınlıkta ve etkisi ortalamada eriyor.

Üçüncü neden, hatanın görünüşü. Microsoft'un Copilot için yazdığı uygulama kartı aşırı güveni kullanıcının yanlış ya da eksik çıktıyı kabul etmesi diye tanımlıyor ve bunun başlıca nedeninin AI çıktısındaki hataları fark etmenin zor olabilmesi¹ olduğunu yazıyor. Yanlış öneri çoğu zaman doğrusuyla aynı biçimde, aynı tonda gelir. Ayırt edecek bir ipucu yoksa kullanıcının ikisini aynı oranda kabul etmesi beklenen sonuç.

Güvenin sağlığı tek bir oranda görünmez. Kabulü AI'ın haklı olduğu ve yanıldığı vakalar için ayrı ölç. İlki yüksek, ikincisi düşük olmalı.

1. Doğruluğu bilinen bir örneklem kur. Gerçek kullanımdan düzenli aralıklarla vaka seç ve bir uzmana AI'ın haklı olup olmadığını etiketlet. Bazı işlerde doğruluk sonradan kendiliğinden belli olur: talebin hangi ekipte kapandığı, testin geçip geçmediği, siparişin iade edilip edilmediği. Etiketi oradan al.
2. İki oranı ayrı raporla. AI haklıyken kabul ve AI yanılırken kabul yan yana durur. Microsoft'un ürün ekiplerine yazdığı çerçeve hedefi böyle koyuyor: kullanıcının doğru AI çıktısını kabul edip yanlışını reddetmesine yardım etmek². İki oranın ortalamasını tek sayı diye gösterme.
3. Kullanıcının ilk kararını kaydet. Kullanıcı AI'ı görmeden önce bir karar verdiyse onu sakla. AI'ın kullanıcıyla aynı şeyi söylediği vakada kimin kime uyduğu anlaşılmaz. Asıl bilgi, ikisinin ayrıştığı vakalarda kullanıcının hangi tarafa geçtiğinde saklı. Önce kendi tahminini yazdıran tasarım bu ölçümü mümkün kılar.
4. Her değişikliği iki oranla değerlendir. Açıklama, güven skoru, yeni arayüz ya da yeni model. İyi bir değişiklik AI haklıyken kabulü artırır, AI yanılırken kabulü artırmaz. İki oran birlikte yükseliyorsa kullanıcı yalnız daha çok uyuyor.
5. Kullanıcı grubuna göre böl. Yeni ve deneyimli kullanıcının, farklı ekiplerin ve vaka türlerinin oranları ayrı durur. Yanlış kabul çoğu zaman bir grupta yoğunlaşır ve ortalamada kaybolur.
6. Yanlış kabulleri oku. Sayının yanında yanlış kabul edilen vakalardan örnekler dursun. Hangi hatanın kabul edildiğini gören ekip düzeltmeyi oraya yapar.

İki oranın tam isabete ulaşması beklenmez. Bakılacak şey, her değişiklikten sonra ikisinin doğru yöne gidip gitmediği.

Aynı ay, aynı gerekçe paneli. Soldaki rapor bütün kabulleri tek sayıda topluyor ve artışı başarı sayıyor. Sağdaki denetlenen örneklemde AI'ın haklı olduğu ve yanıldığı vakaları ayırıyor, gerekçenin yanlış öneriye uymayı da artırdığını ve bunun yeni temsilcilerde yoğunlaştığını gösteriyor.

Microsoft'un aşırı güven çerçevesi bu ayrımı ürün ekiplerinin işine çeviriyor. Hedefi uygun güven diye koyuyor. Önlemlerin etkisini kullanılabilirlik testinde görev doğruluğu ve süresiyle sınamayı öneriyor. Aynı sayfa önlemlerin ters tepebileceğini de yazıyor: açıklamalar yanlış olduklarında bile kullanıcının güvenini artırabiliyor². Bu uyarı ancak yanlış vakalardaki kabul ayrı ölçülünce sınanabilir.

Google'ın PAIR rehberi aynı hedefi tasarım diliyle koyuyor. Kullanıcı sisteme her durumda güvenmemeli, güvenini doğru ayarlamalı³ ve sistemin tahminine ne zaman güvenip ne zaman kendi yargısını kullanacağını bilmeli.

GitHub'ın Copilot metrikleri ise kabulü tek sayı olarak veriyor. Belge yüksek kabul oranını önerilerin ilgili ve işe yarar olduğunun işareti⁴ diye okuyor. Oran geliştiricinin önerileri ne sıklıkla kabul ettiğini ölçüyor, önerinin doğru olup olmadığını ayırmıyor.

Schemmer ve arkadaşları bu ölçümü iki boyutlu bir ölçüt olarak kurdu. Katılımcı önce kendi kararını veriyor, sonra AI'ın önerisini görüp kararını değiştirebiliyor. Birinci boyut, kullanıcı yanılırken ve AI haklıyken kullanıcının AI'a geçtiği vakaların payı. İkincisi, kullanıcı haklıyken ve AI yanılırken kullanıcının kendi kararında kaldığı vakaların payı. 200 kişilik deneyde⁵ katılımcılar otel yorumlarının sahte olup olmadığına karar verdi. Kontrol grubunda birinci boyut %29,59 iken açıklama gösterilen grupta %38,87 oldu, ikincisi anlamlı biçimde değişmedi (%71,87 ve %69,45)⁵. Yazarlar kullanıcı AI'a yalnız daha çok uysaydı ikinci boyutun da düşeceğini vurguluyor. Toplam kabul oranı bu iki hareketi birbirinden ayıramazdı.

Dratsch ve arkadaşlarının mamografi deneyi bölünmüş ölçümün neyi açığa çıkardığını gösteriyor. 27 radyolog 50 mamografi okudu ve AI diye sunulan sistem bunların 12'sinde bilerek yanlış kategori önerdi⁶. AI doğru kategoriyi önerdiğinde deneyimsiz radyologlar mamografilerin %79,7'sini doğru değerlendirdi, AI yanıldığında %19,8'ini⁶. Çok deneyimli radyologlarda iki oran %82,3 ve %45,5⁶ oldu. Önerilerin çoğu doğru olduğu için toplam uyum yüksek görünürdü. Zarar yalnız AI'ın yanıldığı vakalarda ve en çok deneyimsiz okuyucuda ortaya çıkıyordu.

Bansal ve arkadaşlarının deneyi aynı dersi açıklamalar için verdi. Açıklamalar insanların AI önerisini doğru olsun yanlış olsun kabul etme olasılığını artırdı⁷, ekibin doğruluğunu AI haklıyken yükseltti, AI yanılırken düşürdü. Net kazanç küçük kaldı. Buçinca ve arkadaşları da aşırı güveni bu bölmeyle tanımladı: AI'ın yanlış tahmin yaptığı vakalarda kullanıcının AI'a katılma payı⁸.

Bu deneyler doğruluğu önceden bilinen vakalarla, çoğu kitle kaynaklı katılımcılarla yapıldı. Gerçek üründe doğruluk etiketi pahalı ve gecikmeli gelir. İki vakayı ayırmadan güvenin sağlıklı olup olmadığını söyleyememek ise her üründe geçerli.

• AI haklıyken kabul. Doğruluğu etiketli vakalarda AI haklıyken kullanıcının öneriyi kabul ettiği pay. Düşükse kullanıcı AI'ın doğru önerisini boşa harcıyor.
• AI yanılırken kabul. AI yanılırken kullanıcının öneriyi kabul ettiği pay. Bu desenin ana sinyali. Düşük olmalı ve hiçbir değişiklikten sonra artmamalı.
• Fikir değiştirmenin yönü. Kullanıcının ilk kararı kaydediliyorsa yanlıştan doğruya ve doğrudan yanlışa geçtiği vakaların sayısı. İkincisi AI'ın kullanıcıyı yanılttığı anlar.
• Gruba göre fark. Yeni ve deneyimli kullanıcı arasında AI yanılırken kabul farkı. Fark büyükse eğitim ya da arayüz o grup için ayrıca ele alınır.
• Örneklemin yaşı ve büyüklüğü. Etiketli örneklemin ne kadar yeni ve kaç vakadan oluştuğu. Eski ya da küçük örneklem iki oranı da yanlış gösterir.

Üç metin var. Denetim promptu ürünündeki kabul ölçümünü tarar. AI çıktısının doğruluğunun bir yerde etiketlenip etiketlenmediğine, kabulün AI'ın haklı ve yanıldığı vakalar için ayrı hesaplanıp hesaplanmadığına ve kullanıcının ilk kararının kaydedilip kaydedilmediğine bakar, yalnız rapor yazar ve hiçbir dosyayı değiştirmez. Uygulama promptu etiketli bir örneklem kurar, iki oranı ayrı raporlar ve değişiklikleri iki oranla değerlendiren bir kontrol ekler. Önce planı gösterir, onayınla uygular ve yanlış öneriye uymayı artıran bir değişikliğin raporda başarı sayılmadığını sınayan bir test yazar. Kural kodlama ajanının kendi çalışması için. Senin ajanın da bir AI özelliğinin güvenilirliğini raporlarken ortalamayla yetinmesin.

Bu depoda kullanıcıya öneri, karar ya da cevap sunan ve kullanıcının bunu kabul edip etmediğini kaydeden bir AI özelliği var. Görevin, kullanıcının AI'a güveninin ölçülüp ölçülmediğini, özellikle kabulün AI'ın haklı olduğu ve yanıldığı vakalar için ayrı hesaplanıp hesaplanmadığını denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Kabul ve ret olaylarının kaydedildiği yerleri bul: analitik çağrıları, onay ve düzeltme düğmeleri, kullanıcının AI önerisini değiştirdiği akışlar.
2. AI çıktısının doğruluğu herhangi bir yerde biliniyor ya da etiketleniyor mu? İnsan etiketlemesi, altın set, sonradan belli olan gerçek (talebin kapandığı ekip, testin sonucu, iade, itiraz) kaydediliyor ve kabul olayına bağlanıyor mu?
3. Kabul oranı nasıl hesaplanıyor? AI haklıyken ve AI yanılırken kabul ayrı oranlar olarak hesaplanıyor mu, yoksa tek bir toplam mı raporlanıyor?
4. Kullanıcının AI'ı görmeden önceki kararı (ilk tahmin, ilk seçim, kendi taslağı) kaydediliyor mu? Kaydediliyorsa kullanıcının yanlıştan doğruya ve doğrudan yanlışa geçtiği vakalar ayrı sayılıyor mu?
5. Açıklama, güven skoru, kaynak gösterme ya da yeni model gibi değişiklikler hangi metrikle değerlendiriliyor? AI'ın yanıldığı vakalardaki kabul oranına bakan bir değerlendirme ya da yayın kontrolü var mı?
6. Oranlar kullanıcı grubuna (yeni ve deneyimli, ekip, rol) ve vaka türüne göre bölünüyor mu?
7. Yanlış kabul edilen vakalardan örnek okunabiliyor mu? Bu örnekler kişisel veri korunarak saklanıyor mu?

Rapor biçimi: her bulgu için dosya ve satır, ne ölçüldüğü, neyin ölçülmediği ve bunun nasıl yanlış okunabileceği (örnek: açıklama eklenince toplam kabul oranı yükseliyor ve artışın yanlış önerilere uymaktan geldiği görünmüyor). Kabul oranının yayın kararlarını beslediği yerlerden başla.

Bu depodaki AI özelliğine "AI haklıyken ve yanılırken kabulü ayrı ölç" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Doğruluğu bilinen bir örneklem kur. Gerçek kullanımdan düzenli aralıklarla rastgele vaka seçip etiketleme kuyruğuna gönder. Doğruluğun sonradan kendiliğinden belli olduğu işlerde (talebin kapandığı ekip, testin sonucu, iade) etiketi oradan al ve kabul olayına bağla.
2. Kabulü iki oran olarak hesapla: AI haklıyken kabul ve AI yanılırken kabul. Panoda ve raporda ikisini yan yana göster, ortalamalarını tek sayı olarak gösterme. Her oranın yanında örneklem büyüklüğünü yaz.
3. Kullanıcı AI'ı görmeden önce bir karar veriyorsa bu kararı kaydet. Kullanıcının yanlıştan doğruya ve doğrudan yanlışa geçtiği vakaları ayrı say.
4. Açıklama, güven skoru, arayüz ya da model değişikliğinin değerlendirme raporuna iki oranın önceki sürüme göre değişimini ekle. AI yanılırken kabul eşiği aşarsa değişiklik insan incelemesine gitsin.
5. Oranları kullanıcı grubuna (yeni ve deneyimli) ve vaka türüne göre böl.
6. Yanlış kabul edilen vakalardan örnekleri, kişisel veriyi maskeleyerek, raporun yanında okunabilir tut.

Uygularken:
- Etiketlemeyi kabul olayından bağımsız yap. Etiketleyen kişi kullanıcının ne yaptığını görmesin.
- Canlı kullanıcıya bilerek yanlış öneri gösterme. Ölçümü AI'ın kendi hatalarıyla yap.
- Örneklem küçükse oranların yanına güven aralığını yaz, küçük farkları değişim diye raporlama.
- Bir test ekle: AI haklıyken kabulü aynı kalan ama AI yanılırken kabulü artan sahte bir değerlendirme verisi ver ve raporun değişikliği "başarılı" diye işaretlemediğini, yanılırken kabuldeki artışı ayrı gösterdiğini doğrula.

## Kabulü AI'ın haklı ve yanıldığı vakalar için ayrı ölç
- Bir AI özelliğinin güvenilirliğini toplam kabul oranıyla raporlama. AI haklıyken ve yanılırken kabulü ayrı hesapla.
- Doğruluk etiketi olmadan güven ölçülemez. Etiketli örneklem kur ya da sonradan belli olan gerçeği kabul olayına bağla.
- Açıklama, güven skoru ya da model değişikliğini iki oranla değerlendir. Yanılırken kabul artıyorsa değişikliği başarı sayma.
- Oranları kullanıcı grubuna göre böl. Yanlış kabul çoğu zaman bir grupta yoğunlaşır.
- Ölçüm için gerçek kullanıcıya bilerek yanlış çıktı gösterme.

Doğruluk etiketi pahalı. Her vakayı etiketlemek gerekmez. Küçük ama düzenli bir örneklem iki oranın yönünü görmeye yeter. Doğruluğun sonradan kendiliğinden belli olduğu işlerde etiketi oradan al.

Gerçek kullanıcıya bilerek yanlış öneri gösterme. Dratsch'ın deneyindeki gibi yanlış öneri yerleştirmek ancak katılımcıların onay verdiği bir testte yapılır. Canlı üründe AI'ın kendi hatalarını say.

AI yanılırken kabulün sıfıra inmesi beklenmez. Kullanıcı da yanılır ve bazı hataları yalnız bir uzman görür. Hedef, oranın değişikliklerle aşağı gitmesi ve hangi hataların kabul edildiğinin bilinmesi.

Bu desen ölçer, düzeltmez. Yanlış kabulü azaltan şey kullanıcının önce kendi tahminini yazması ya da açıklamanın körü körüne güven üretmemesi gibi tasarımlar. Bu ölçüm onların işe yarayıp yaramadığını gösterir.