Kanıt zayıfsa daha az kesin konuş

Altı haftadır açık bir kafenin sahibi, satış panelindeki asistana gelecek ayın kahve siparişini soruyor. Panel 84,6 kg diyor. Elde altı haftalık satış var, içinde bir bayram haftası, geçen yılın aynı ayı yok. Bunların hiçbiri sayının yanında görünmüyor. Kullanıcı ondalıklı sayıyı ölçüm gibi okuyor ve siparişi tam ona göre veriyor.

Biçim de bilgi taşır. Tek sayı “değer bu” der, ondalık hane “bunu yakından ölçtük” der. Tek etiket “sınıf bu” der, sıralama “birinci ikinciden iyi” der. Arayüz bu biçimleri verinin gücünden bağımsız seçiyor. Altı haftalık veriden çıkan tahmin de altı yıllık veriden çıkan tahmin de aynı kutuda, aynı hane sayısıyla duruyor. Kullanıcının elinde ikisini ayıracak bir işaret yok.

Zarar kararın üstünde büyüyor. Sipariş, stok ve bütçe tek sayının ya da tek etiketin etrafında kuruluyor. Gerçek değer saptığında kullanıcı sayının geniş bir aralığın ortası olduğunu ilk kez o zaman öğreniyor. Aradaki fark gürültü kadar olan iki aday da çoktan “birinci” ve “ikinci” diye ayrılmış oluyor.

Biçimin taşıdığı kesinliği veri taşımıyorsa, cevap verinin söylemediği bir şeyi söylüyor.

Tek sayı ekranda temiz durur. Aralık, aday listesi ve “veri yetersiz” durumu tasarımda yer ister, ürün ekibi bunları karmaşa sayar. Kullanıcı görüşmelerinde de aynı istek çıkar: “bana bir sayı ver.” Panel bu isteği her durumda aynı biçimde karşılayınca güçlü ve zayıf tahmin aynı görünür.

Model tarafında bilgi çoğu zaman hazırdır ve arayüze gelmeden atılır. Sınıflandırıcı her sınıf için bir puan üretir, kod en yükseğini alır. Tahmin modeli bir dağılım üretir, ekrana orta noktası gelir. Google'ın PAIR rehberi bunu açıkça yazıyor: modellerin çoğu en olası birkaç sınıfı ve güven puanlarını¹ zaten çıkarabiliyor. Dil modelinde ise sayı bir cümlenin içine yazılır. Prompt dayanağı vermezse model sayının arkasında kaç veri noktası olduğunu bilmez ve cümleye de yazmaz.

Üçüncü neden ölçümde. Ekipler doğruluğu çoğu zaman tek bir ortalamayla raporlar ve ortalama, verinin zayıf olduğu kalemleri güçlü olanların içinde eritir. Zillow ev değeri tahmini için 2025'te iki ayrı sayı yayımlıyordu: satıştaki evlerde medyan hata %1,83, satışta olmayan evlerde %7,01². Zillow doğruluğun evin bulunduğu bölgedeki veri miktarına bağlı olduğunu da yazıyor. Tek bir ortalamaya bakan ekip, aynı modelin bu iki durumda ne kadar farklı güçte tahmin verdiğini görmez.

Cevabın biçimi de bir iddia. Biçimi verinin gücü seçer: güçlü kanıtta tek değer, zayıf kanıtta aralık, birden çok aday ya da “veri yetersiz”.

1. Biçimi kanıtla eşle. Kaç veri noktası, kaç uyuşan kaynak, kaç benzer geçmiş vaka var? Bu sorunun cevabı tek değer, aralık, aday listesi ve “veri yetersiz” arasında seçim yapar. Eşikleri ekip koyar ve tek bir yerde yazar.
2. Hassasiyeti kanıta göre ayarla. Microsoft'un HAX rehberi sistemin yanılabileceği yerde aralık ya da yuvarlanmış sayı³ kullanmayı öneriyor. Zayıf tahminde ondalık hane yok, 84,6 yerine 70 ile 100 arası.
3. Tek etiket yerine adayları göster. İlk iki sınıfın puanı birbirine yakınsa ikisi de ekrana gelir. PAIR rehberine göre birden çok seçenek göstermek, güvenin düşük olduğu durumlarda kullanıcıyı kendi yargısına başvurmaya¹ yöneltiyor.
4. Sıralamada beraberliği göster. Adaylar arasındaki fark ölçüm gürültüsü kadarsa adaylar aynı basamakta durur. Liste “birinci” ve “ikinci” yerine “ilk grup” der.
5. “Veri yetersiz” de bir cevap. Eşiğin altında AI bir değer üretmez. Neyin eksik olduğunu ve ne kadar veriyle cevap verebileceğini söyler.
6. Dayanağı yanına yaz. Aralığın, adayların ya da “veri yetersiz” durumunun yanında dayandığı veri durur: altı hafta, iki benzer şube, dört makale.

Kullanıcı zayıf kanıtta da bir karar verecek. Aralığın yanına bir öneri koy, 85 kg sipariş ve ayın ortasında bir stok kontrolü gibi.

Aynı sipariş sorusu, iki ayrı panelle. Soldaki altı haftalık veriden ondalıklı tek bir sayı ve kesin bir “en çok satan” çıkarıyor. Sağdaki tahmini aralık olarak veriyor, dayanağını yazıyor, iki içeceği ayıramadığı yerde berabere gösteriyor ve yine de bir sipariş öneriyor.

Consensus, evet ya da hayır diye sorulan bilimsel sorularda araştırmaların hangi yöne eğildiğini bir göstergeyle veriyor. Gösterge en az beş ilgili makale⁴ istiyor, daha azı varsa hiç görünmüyor. Göründüğünde köşesinde kaç makaleye dayandığı yazıyor. Evet, hayır ve muhtemelen sonuçlarının yanında “Mixed” (karışık) diye ayrı bir sonuç da var. Kanıt eşiğin altındayken ürün bir yön göstermiyor, eşiği geçince dayanağın büyüklüğünü sonucun yanına koyuyor.

Google Translate Aralık 2018'de web sitesinde, Türkçeden İngilizceye cümle çevirilerinde iki cevap göstermeye başladı. Google'ın açıklamasına göre çevirmen o güne kadar kadın ya da erkek hâli olabilen çeviriler için de tek cevap veriyordu ve webdeki önyargıyı tekrarlıyordu: “strong” ve “doctor” erkeğe, “nurse” ve “beautiful” kadına kayıyordu. Artık “o bir doktor” yazana “she is a doctor” ve “he is a doctor”⁵ çevirilerinin ikisi birden geliyor. Türkçe cümle cinsiyeti taşımıyor, çeviri de bir cinsiyet seçmiyor.

Bu desenin dayanağı uygulama rehberleri ve bir deney dizisi.

Cambridge Üniversitesi Winton Merkezi'nden van der Bles ve arkadaşları, belirsizliği söylemenin güveni nasıl etkilediğini beş deneyle ölçtü. Biri BBC News sitesinde gerçek okurlarla yapılan bir saha deneyiydi, toplam katılımcı 5.780⁶. Okurlar belirsizliği görünce sayıyı daha belirsiz algıladı, sayıya ve kaynağa güvenleri ise yalnız biraz azaldı⁶, azalma daha çok sözel ifadede görüldü. Bu desen için ayrı bir bulgu daha var: tek sayının yanına “tahmini” kelimesini eklemek güveni düşürmedi, ama okura belirsizliği de iletmedi⁶. Belirsizliği okura aralık iletti. Kelime iletemedi.

Rehberler aynı yöne bakıyor. HAX rehberinin bu desene en yakın kalıbı, arayüzdeki sayıların hassasiyetini sistemin başarımına eşlemeyi istiyor ve yaygın tuzak olarak fazla hassas sayının kullanıcıda abartılı beklenti kurmasını³ sayıyor. NIST'in üretken AI profili yüksek bütünlüklü bilgiyi tarif ederken belirsizliklerini kabul etmesini⁷ istiyor.

Deneylerde okurlar haber metinlerindeki resmi istatistikleri okudu, ortada bir AI arayüzü yoktu. Aralığın AI'a duyulan güveni ve kullanıcının kararını nasıl etkilediğini kendi ürününde ölçmen gerekir.

• Biçim ile hata uyumu. Tahminleri dayandıkları veri miktarına göre grupla, her grubun gerçek hatasını hesapla. Hatası büyük gruplar ekranda aralıkla, küçük gruplar tek değerle görünmeli. Tersi varsa eşikler yanlış.
• Aralık isabeti. Gösterilen aralıkların ne kadarının gerçek değeri içine aldığını say. Sonuç, aralığı hesaplarken seçtiğin düzeye yakın olmalı. Çok altındaysa aralıklar dar, çok üstündeyse gereksiz geniş.
• “Veri yetersiz” payı. Çok yüksekse eşik fazla temkinli ve özellik işe yaramıyor. Hiç görünmüyorsa eşik çalışmıyor.
• Tek sayı isteği. Kullanıcıların aralığı görünce “tek sayı ver” diye yeniden sorduğu durumları say. Sıksa aralığın yanında önerilen değer ya da eylem eksik.

Üç metin var. Denetim promptu ürünündeki AI'ın sayı, etiket ve sıralama ürettiği yerleri bulur, modelin ürettiği adayların ve dayanağın arayüze kadar gelip gelmediğini tarar, yalnız rapor yazar. Uygulama promptu deseni koda geçirir. Önce planı gösterir, onayınla kanıtın gücünü hesaplayan ve biçimi buna göre seçen katmanı ekler, az ve çok veriyle sınayan testler yazar. Kural kodlama ajanının kendi raporları için: ajanın iki çalıştırmalık bir ölçümden kesin bir hızlanma oranı çıkarmasın.

Bu depoda tahmin, puan, etiket ya da sıralama üreten bir AI özelliği var. Görevin, bu çıktıların biçiminin dayandıkları kanıtın gücüyle uyumlu olup olmadığını denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. AI'ın sayı (tahmin, puan, süre, tutar), etiket (sınıf, kategori, duygu) ya da sıralama ürettiği yerleri bul: model çağrıları, sınıflandırıcılar, tahmin işleri, sistem promptunda sayı ya da etiket isteyen talimatlar.
2. Her biri için bak: kod yalnız en olası değeri mi alıyor, yoksa model olasılık dağılımı, aday listesi ya da aralık da üretiyor mu? Üretiyorsa bu bilgi nerede atılıyor?
3. Çıktının dayandığı veri miktarı (satır, gün, benzer vaka, kaynak sayısı) hesaplanıyor mu? Arayüze ya da cevaba taşınıyor mu?
4. Az veriyle ve çok veriyle aynı biçimde (aynı ondalık hane, tek etiket, kesin sıra) mı cevap veriliyor? Bir "veri yetersiz" durumu ve eşiği var mı?
5. Arayüz bileşenlerini bul: sayı biçimlendirme (ondalık hane), etiket rozetleri, sıralı listeler. Aralık, aday listesi ya da beraberlik gösterebiliyorlar mı?
6. Sistem promptunda modeli tek değere zorlayan talimatlar ("yalnız bir sayı döndür", "tek bir kategori seç") var mı? Bu zorlama zayıf kanıtta da geçerli mi?

Rapor biçimi: her bulgu için dosya ve satır, hangi çıktının ne kadar veriyle üretildiği, kullanıcının nasıl yanılabileceği (örnek: altı haftalık satıştan ondalıklı tek bir tüketim tahmini gösterilir) ve önerdiğin biçim (aralık, aday listesi, beraberlik ya da "veri yetersiz"). Bulguları kullanıcının para ya da iş kararı aldığı çıktılardan başlayarak sırala.

Bu depodaki AI özelliğine "kanıt zayıfsa daha az kesin konuş" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Sayı, etiket ve sıralama üreten her çıktı için kanıtın gücünü hesapla: veri noktası sayısı, ilk iki aday arasındaki fark, kaynakların uyuşması. Bu değeri çıktıyla birlikte taşı.
2. Kanıtın gücüne göre biçim seç: güçlüyse tek değer, ortaysa aralık ya da yuvarlanmış sayı, zayıfsa aday listesi, eşiğin altındaysa "veri yetersiz". Eşikleri tek bir yapılandırmada tut.
3. Sayıyı kanıta göre yuvarla, zayıf tahminde ondalık gösterme. Aralığı veriden hesapla (tahmin aralığı, bootstrap ya da modelin kendi dağılımı), her tahmine sabit bir yüzde ekleme.
4. Etiketlerde ilk iki adayın puanı birbirine yakınsa ikisini de göster. Sıralamada fark gürültü düzeyindeyse adayları aynı basamakta göster.
5. "Veri yetersiz" durumunda neyin eksik olduğunu ve ne kadar veriyle cevap verilebileceğini yaz.
6. Her çıktının yanında dayanağı göster: kaç gün, kaç kayıt, kaç kaynak.
7. Kullanıcı bir karar vermek zorundaysa aralığın yanına önerilen değeri ve gerekçesini koy.

Uygularken:
- Modelin ürettiği olasılıkları, aday listesini ya da aralığı atma, arayüze kadar taşı.
- Dil modeli sayı yazıyorsa dayanak sayısını ve izin verilen biçimi prompta koy, çıktının biçimini kodla denetle.
- Testler ekle: (a) aynı tahmini az ve çok veriyle çalıştır, az veride aralık, çok veride tek değer geldiğini doğrula. (b) iki sınıfın puanı birbirine yakınken iki adayın birden gösterildiğini doğrula. (c) eşiğin altındaki veride "veri yetersiz" durumunun çıktığını ve uydurma bir değer gösterilmediğini doğrula.

## Kanıt zayıfsa daha az kesin konuş
- Bir ölçüm, kıyas ya da tahmin raporlarken kaç örneğe dayandığını yaz (ör. "3 çalıştırma", "tek ortam").
- Az örnekten ondalıklı sayı ya da kesin yüzde çıkarma. Aralık ver ya da yuvarla.
- İki seçenek arasındaki fark ölçüm gürültüsü kadarsa birini kazanan ilan etme, berabere olduklarını söyle.
- Yeterli veri yoksa "veri yetersiz" de ve karar için hangi ölçümün gerektiğini yaz.
- Kanıt güçlüyse tek değer ver, gereksiz aralık ekleme.

Kanıt güçlüyse tek değer doğru biçim. Milyonlarca kayıttan çıkan bir ortalamaya aralık eklemek okuru boşuna yorar ve aralıkları gürültüye çevirir. Desen biçimi kanıta göre seçer, her çıktıyı yumuşatmaz.

Aralık veriden hesaplanır. Her tahmine aynı genişlikte bir aralık eklemek tek sayı kadar yanıltır, üstelik dürüst görünür.

Bazı yerlerde tek değer zorunlu. Sipariş formuna bir sayı yazılır, ödeme bir tutarla yapılır. Orada aralığı ve önerilen değeri birlikte göster, önerilen sayının gerekçesini tek cümleyle söyle.

Desen zayıf kanıtı görünür kılar, zayıf veriden iyi tahmin çıkarmaz. Daha iyi tahmin için daha çok veri, daha dar bir soru ya da işi bilen birinin bilgisi gerekir.