Belirsizliği sözle söyle

Kullanıcı asistana yüklediği tedarik sözleşmesiyle ilgili iki şey soruyor: ödeme vadesi ne, erken fesih için kaç gün önceden haber vermek gerekiyor. Birinci sorunun cevabı sözleşmenin 6. maddesinde açıkça yazıyor. İkincisinin cevabı dosyaya eklenmemiş bir ekte duruyor. Asistan iki soruyu aynı akıcılıkla, aynı kesinlikle cevaplıyor. Birini okudu, ötekini tahmin etti.

Kullanıcı bu farkı göremez. Elinde cevabın metninden başka bir şey yok ve metin iki cevapta da aynı sesle konuşuyor. Farkı bilen tek taraf model: birinci cevabın dayanağı sağlam, ikincisinin zayıf. Bu bilgi yazıya geçmediği için kullanıcı iki cevaba aynı ağırlığı veriyor ve tahmin edilen süreyi tedarikçiye gidecek bildirime koyuyor.

Zarar tek yanlış cevapla sınırlı kalmıyor. Her şeyi aynı tonda söyleyen asistan kullanıcıya hangi cevabı kontrol etmesi gerektiğini öğretemiyor. Kullanıcı ya her cevabı kontrol ediyor ve asistan ona zaman kazandırmıyor, ya hiçbirini kontrol etmiyor ve zayıf cevaplar sessizce işe giriyor. Zayıf cevap kendini ele vermezse onu yakalamak kullanıcının şansına kalır.

Kendinden emin cevap demoda iyi görünür. “Emin değilim” diye başlayan bir cevap, ürünü deneyen yöneticiye ürün zayıf diye okunur. Kim ve arkadaşlarının deneyinde birinci tekil şahısla söylenen çekince yanlış cevaplara uymayı azalttı, ama kullanıcıların sisteme güvenini de düşürdü. Ekip güvenin düştüğünü anket panosunda görür. Azalan yanlış kabulü göremez, çünkü onu ölçmüyordur.

Model de kendiliğinden tersini yapar. Eğitim ve değerlendirme, bilmediğini söylemek yerine tahmin etmeyi ödüllendiriyor. Kalai ve arkadaşlarına göre bugünkü değerlendirmelerin çoğu modelleri iyi sınav çözen olmaya ve emin olmadığında tahmin etmeye¹ itiyor, çünkü tahmin puanı yükseltiyor. NIST'in üretken AI profili bu sonucun adını koyuyor: kendinden emin bir dille söylenen yanlış içerik². Steyvers ve arkadaşları bir adım daha gösterdi. Modelin kendi güveni doğru cevabı yanlıştan ayırabiliyor, ama modelin yazdığı açıklama bu bilgiyi taşımıyor ve okuyan kullanıcı doğruluğu olduğundan yüksek sanıyor³.

Üçüncü neden ölçümde. Doğru cevapları sayan bir pano, çekincenin doğru yere konup konmadığını görmez. Çekinceli cevapların gerçekten daha sık yanlış çıkıp çıkmadığına bakan olmazsa çekince ya hiç eklenmez ya da her cevaba yapıştırılır. İkisi de kullanıcıya aynı şeyi söyler.

Asistan bildiğiyle tahmin ettiğini aynı sesle söylemez. Dayanağı zayıf cevabın başında bunu kendi ağzından söyler ve nedenini ekler.

1. Çekinceyi bir ölçüme bağla. Çekinceyi modelin üslubuna bırakma. Cevabın dayanağını ölçen bir sinyal seç: cevabın kaynakta karşılığı var mı, kaynaklar çelişiyor mu, aynı soruya üretilen birkaç cevap tutarlı mı, modelin kendi güven puanı ne. Çekince bu sinyal düşükken gelir.
2. İlk cümlede söyle. Kim ve arkadaşları çekinceyi cevabın başındaki “Evet” ya da “Hayır”ın yerine koydu. Son paragrafa ya da dipnota itilen uyarıyı kullanıcı okumadan geçer.
3. Birinci tekil şahısla söyle. “Emin değilim, ama…” genel ifadeden daha güçlü çalışıyor. Aynı deneyde “Belirsiz, ama…” biçimindeki çekincenin etkisi daha zayıf kaldı ve istatistiksel olarak anlamlı çıkmadı.
4. Nedenini söyle. Cevabın hangi kısmından emin olmadığını ve neden emin olmadığını yaz: kaynağı bulamadım, kaynaklar çelişiyor, belge eksik, bilgim eski olabilir. Neden, kullanıcıya neyi kontrol edeceğini söyler.
5. Az ve sabit kademe kullan. Üç düzey yeter: eminim, sanırım, bilmiyorum. Aynı kelime her yerde aynı anlama gelsin. Steyvers'ın deneyinde de üç düzey vardı (“emin değilim”, “biraz eminim”, “eminim”) ve her biri kullanıcının güvenini ayrı bir düzeye taşıdı.
6. Sağlam cevaba çekince ekleme. Her cevabın sonuna eklenen “yanılıyor olabilirim” sinyali öldürür. Çekince yalnız gerektiği yerde durursa bir şey anlatır.

Çekincenin metnini model yazabilir. Ne zaman yazılacağına dayanağı ölçen kod karar verir.

Aynı sözleşme, aynı iki soru. Soldaki asistan sözleşmede yazanla tahmin ettiğini aynı tonda söylüyor. Sağdaki yazanı maddesiyle veriyor, eksik ekten gelen tahmini “emin değilim” diye açıyor ve eksik belgeyi istiyor.

OpenAI'ın Model Spec'i asistandan, belirsizliği kullanıcının davranışını değiştirecekse bunu söylemesini istiyor. Varsayılan yol konuşma diliyle söylemek ve kullanıcı ya da geliştirici istemedikçe yüzde vermemek⁴. Belgedeki sıralama da açık. Emin ve doğru cevap en iyisi, emin ve yanlış cevap en kötüsü, çekinceli yanlış cevap ikisinin arasında.

Anthropic, Claude'un anayasasında modelden kanıta dayanan, kalibre edilmiş bir belirsizlik⁵ bekliyor. Model gerektiğinde bilmediğini kabul etmeli, inancını taşıdığından fazla ya da az güvenle aktarmamalı. Claude'un geliştirici belgesi ise işin bir kısmını uygulamaya bırakıyor. Halüsinasyonu azaltmak için ilk öneri, prompta Claude'a “bilmiyorum” deme izni koymak⁶. Davranışın bir kısmı ürünü kuranın yazdığı prompta bağlı.

Microsoft'un HAX araç setinde desenin bir örneği var. Kim ve arkadaşlarının çalışmasına dayanan örnek, AI'ın önerisinin yanlış olabileceğini “Emin değilim, ama…” gibi birinci tekil şahıslı çekincelerle⁷ söylüyor.

Kim ve arkadaşları 2024'te 404 kişiyle önceden kayıtlı bir deney yaptı. Katılımcılar zor, evet ya da hayır cevaplı tıbbi sorular cevapladı. Katılımcıların bir kısmına kurgusal bir AI arama motorunun cevapları gösterildi. Cevaplar Temmuz 2023'te Bing'deki Copilot'tan alınmıştı ve yarısı yanlıştı. Çekince, cevabın doğruluğundan bağımsız olarak soruların yarısına eklendi. AI'a katılma oranı çekincesiz grupta %80,9, birinci tekil şahıslı çekince gören grupta %74,8⁸ oldu. Doğru cevap oranı aynı iki grupta %63,9 ve %72,8⁸. Yazarların keşif analizine göre farkın kaynağı yanlış cevaplara daha az uyulmasıydı. Yine de çekince aşırı güveni bitirmedi. AI cevabı hiç görmeyen grubun doğru cevap oranı %74,2⁸ idi.

Steyvers ve arkadaşları bunun ikinci yarısını gösterdi. Üç modelin cevaplarıyla yapılan deneylerde kullanıcılar varsayılan açıklamaları okuyunca LLM cevaplarının doğruluğunu abarttı³. Ekip açıklamanın dilini modelin iç güvenine göre seçti: düşük güvende “emin değilim”, yüksek güvende “eminim”. Bu kural deneyin verisi üzerinde uygulandığında insanların güveni modelin gerçek doğruluğuna yaklaştı, doğruyla yanlışı ayırmaları da iyileşti. Çekince bir ölçüme bağlanınca işe yarıyor.

Cursor, Nisan 2025. Kullanıcılar cihaz değiştirince oturumlarının neden kapandığını destek adresine sordu. Yanıt bunun yeni giriş kuralına göre “beklenen davranış”⁹ olduğunu söyledi. Böyle bir kural yoktu. Şirketin kurucu ortağı e-posta desteğinde ilk süzgeç olarak AI destekli yanıtlar kullandıklarını¹⁰ ve kapanmaların yavaş bağlantılarda görülen bir hatadan geldiğini yazdı. Uydurulan kural, dayandığı hiçbir belge olmadan gerçek bir kural kadar kesin geldi.

Bu ölçümler laboratuvar görevlerinden geliyor: evet ya da hayır cevaplı, çoktan seçmeli ve kısa cevaplı sorular, çevrimiçi katılımcılar. Steyvers ve arkadaşları sonuçların uzun ve açık uçlu cevaplara ne ölçüde uyduğunu açık soru olarak bırakıyor.

• 14 Nisan 2025Cursor'un destek botu var olmayan bir oturum kuralı uydurdu

Çekince sayısı bu desenin işe yarayıp yaramadığını söylemez. Bakılacak yer, çekincenin yanlış cevapla ne kadar örtüştüğü.

• Çekincenin isabeti. Çekinceli ve çekincesiz cevaplardan örneklem al, ikisinin hata oranını ayrı say. Çekinceli cevapların hata oranı belirgin biçimde yüksek olmalı. İki oran birbirine yakınsa çekince rastgele dağılıyor.
• Çekince payı. Cevapların ne kadarı çekinceli? Neredeyse hiçbiri ya da neredeyse hepsiyse sinyal çalışmıyor. Pay, değerlendirme setinde ölçtüğün hata oranına yakın bir yerde durmalı.
• Çekinceden sonra ne oluyor. Çekinceli cevaptan sonra kullanıcı kaynağı açıyor mu, eksik belgeyi yüklüyor mu, soruyu daraltıyor mu? Hiçbir şey olmuyorsa çekince okunmuyor.
• Yanlışa uyma ve doğruyu reddetme. Yanlış cevaplara katılma oranı düşmeli. Doğru cevaplara katılma oranını da izle, fazla çekince doğru cevabı da sorgulatır.
• Çekincesiz yanlışlar. Çekince olmadan verilen yanlış cevapları ayrıca topla. Sinyalin kaçırdığı yerler bunlar, eşikleri onlarla düzelt.

Üç metin var. Denetim promptu asistanın cevap ürettiği yolu tarar, belirsizliğin bir ölçüme bağlanıp bağlanmadığına ve kullanıcıya nasıl söylendiğine bakar, yalnız rapor yazar. Uygulama promptu dayanağı ölçen sinyali ve üç kademeli çekince dilini kurar. Önce planı gösterir, onayınla uygular ve belgede cevabı olmayan bir soruda çekincenin geldiğini, cevabı olan soruda gelmediğini kanıtlayan bir test ekler. Kural kodlama ajanının kendi çalışması için. Senin ajanın da tahmin ettiğini bildiği gibi yazmasın.

Bu depoda kullanıcıya cevap üreten bir AI asistanı var. Görevin, asistanın dayanağı zayıf cevaplarda belirsizliğini kullanıcıya söyleyip söylemediğini ve bunun neye bağlı olduğunu denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Cevabın üretildiği yolu bul: sistem promptu, prompt şablonları, model çağrısı, geri getirme (RAG) adımı, cevabı kullanıcıya gösteren bileşen.
2. Sistem promptunda belirsizlikle ilgili bir talimat var mı ("emin değilsen söyle", "bilmiyorum diyebilirsin" gibi)? Varsa ne zaman uygulanacağı tanımlı mı, yoksa tamamen modelin takdirine mi bırakılmış?
3. Cevabın dayanağını ölçen bir sinyal var mı: geri getirilen kaynakların sayısı ve puanı, cevabın kaynakta karşılığının bulunup bulunmadığı, token olasılıkları, aynı soruya üretilen birkaç cevabın tutarlılığı? Bu sinyal kodda okunuyor mu, cevabın biçimini etkiliyor mu?
4. Belirsizlik kullanıcıya nerede ve nasıl gösteriliyor: cevabın ilk cümlesinde mi, dipnotta mı, sabit bir uyarı metninde mi? Her cevaba aynı uyarı mı ekleniyor?
5. Çekince dili tanımlı mı? Kaç kademe var, her kademe hangi kelimelerle söyleniyor, aynı kelime her yerde aynı anlama mı geliyor?
6. Değerlendirme setinde cevabı bilinmeyen ya da belgede olmayan sorular var mı? Çekinceli ve çekincesiz cevapların doğruluğu ayrı ayrı ölçülüyor mu?

Rapor biçimi: her bulgu için dosya ve satır, ne olduğu, hangi durumda zayıf bir cevabın sağlam cevapla aynı tonda gideceği (örnek: belgede olmayan bir süre kesin bir sayı olarak veriliyor) ve önerdiğin düzeltme. Bulguları kullanıcının cevaba dayanarak iş yaptığı yerlerden başlayarak sırala.

Bu depodaki AI asistanına "belirsizliği sözle söyle" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Her cevap için dayanağı ölçen bir sinyal hesapla. Elindeki duruma göre seç: cevabın geri getirilen kaynakta karşılığı var mı, kaynaklar çelişiyor mu, aynı soruya üretilen birkaç cevap tutarlı mı, modelin güven puanı ne.
2. Sinyali üç kademeye çevir: eminim, sanırım, bilmiyorum. Eşikleri bir değerlendirme setinde ayarla ve kodda tek bir yerde tut.
3. "Sanırım" ve "bilmiyorum" kademesinde cevap ilk cümlede ve birinci tekil şahısla başlasın: "Emin değilim, ama…", "Bunu bilmiyorum." Hemen ardından nedeni tek cümleyle söylesin: kaynak bulunamadı, kaynaklar çelişiyor, belge eksik, bilgi eski olabilir.
4. "Eminim" kademesinde çekince ekleme. Her cevaba sabit bir uyarı yapıştırma.
5. Belirsiz cevabın yanında kullanıcının atabileceği adımı göster: eksik belgeyi yükle, kaynağı aç, soruyu daralt.

Uygularken:
- Çekincenin ne zaman yazılacağına kod karar versin. Model metni yazsın, kademeyi koddan alsın.
- Sistem promptuna modelin bilmediğinde "bilmiyorum" diyebileceğini açıkça yaz.
- Kullanıcıya yüzde ya da güven puanı gösterme. Sayı göstermek ayrı bir iş, önce sayının gerçek doğrulukla karşılaştırılması gerekir.
- Bir test ekle: belgede cevabı olan bir soruda cevabın çekincesiz geldiğini, belgede olmayan bir ayrıntıyı soran soruda cevabın "emin değilim" ya da "bilmiyorum" ile başladığını ve nedenini söylediğini doğrula. Değerlendirme setinde çekinceli ve çekincesiz cevapların hata oranını ayrı raporla.

## Belirsizliği sözle söyle
- Emin olmadığın bir şeyi emin olduğun şeyle aynı tonda yazma. Dayanağın zayıfsa cümleye "emin değilim" ya da "sanırım" ile başla.
- Belirsizliğin nedenini tek cümleyle yaz: dosyayı okumadım, testi çalıştırmadım, belge bunu söylemiyor, sürüm farklı olabilir.
- Okuduğun, çalıştırdığın ya da gördüğün şeyi ayrı, tahmin ettiğin şeyi ayrı söyle.
- Doğruladığın şeye gereksiz çekince ekleme. Her cümleye "yanılıyor olabilirim" yazma.
- Bilmiyorsan "bilmiyorum" de ve öğrenmek için ne yapacağını söyle.

Doğruluk sorusu taşımayan işlerde (taslak, başlık önerisi, beyin fırtınası) çekince bir şey anlatmaz. Bu desen kullanıcının cevaba dayanarak iş yaptığı yerler için.

Fazla çekincenin de bedeli var. Kim'in deneyinde çekince, AI'ın doğru olduğu sorularda da katılımcıların bir kısmını yanlış cevaba yöneltti. Kullanıcının zaten AI'a az güvendiği bir üründe çekince bu güveni daha da düşürür. Her cevapta çekince gören kullanıcı ya hepsini okumadan geçer ya da asistanı bırakır.

Ölçüme bağlanmamış çekince yeni bir yanılsama kurar. Modelin üslup olarak eklediği “sanırım” doğru cevapta da yanlış cevapta da aynı sıklıkta çıkıyorsa kullanıcıya yanlış bir harita verir. Sözlü çekince de sayısal güven puanı gibi gerçek doğrulukla karşılaştırılmalı.

Bu desen modelin emin olduğu yanlışları yakalamaz. Sinyal yüksekken verilen yanlış cevap yine kesin bir dille gelir. O yanlışlar için kaynak gösterme ve doğrulamayı kolaylaştırma gerekir.