# TD-046 · Güven skorunu yalnız ayarlıysa göster Gerçek doğrulukla karşılaştırılmamış bir güven yüzdesi, yanlış cevaba doğru cevapla aynı kesinliği veriyor. Sayıyı göstermeden önce ölçen, sıklık diliyle yazan ve ölçmediği yerde kaldıran arayüz, kontrolü gereken yere yöneltir. - Adres: https://tandem.komunite.com.tr/desen/guven-skorunu-yalniz-ayarliysa-goster - Yer: Çalışırken > Kanıt - Seviye: Temel. Her AI özelliğinde olmalı. - Son inceleme: 27 Ekim 2026, Komünite editörlüğü ## 30 saniyede dene 1. Ürününde güven yüzdesi, güven çubuğu ya da “yüksek güven” etiketi gösteren bir ekran bul. Yanında yüksek bir sayı olan on sonucu not et. 2. Bu on sonucu kendin kontrol et. Kaçı doğru çıktı, ekrandaki sayı bu oranla örtüşüyor mu? 3. Sayının nereden geldiğine bak. Modelden yüzde mi isteniyor, bir olasılık mı okunuyor, bir API'nin güven alanı mı aktarılıyor? 4. Sayının en son hangi veriyle ve ne zaman gerçek doğrulukla karşılaştırıldığını bul. Bulamıyorsan sayı ayarsız. ## Sorun Muhasebe ekibi taranmış faturaları bir AI aracına okutuyor. Araç toplam tutarı, vergi numarasını ve vade tarihini dolduruyor, her alanın yanına da bir güven yüzdesi koyuyor. Yüzdelerin hepsi yüksek ve birbirine yakın. Ekip yüksek yüzdeli alanları kontrol etmeden onaylıyor, zaten aracı bunun için aldılar. Vade tarihi yanlış. Belgede iki tarih var ve araç teslim tarihini okumuş. Yanındaki yüzde ötekiler kadar yüksek. Bu sayıyı ya model kendisi yazdı ya da bir olasılık puanından geldi. Kimse bu güvendeki alanların geçmişte ne sıklıkla doğru çıktığına bakmadı. Bir yüzde okura bir sıklık vaat eder: bu güvendeki her yüz alanın kaçının doğru çıkacağını. Sayı bu sıklığa karşı hiç ölçülmediyse vaat boştur, ama ekrandaki en kesin görünen şey odur. Ölçülmemiş bir yüzde yanlış alana doğru alanla aynı kesinliği verir ve kontrolü tam gerektiği yerde kapatır. ## Neden atlanıyor Sayı eklemek kolay ve ciddi görünür. Bir dil modelinden cevabının yanına güvenini yüzde olarak yazmasını istemek tek satırlık bir prompt değişikliği. Çıkan sayı da inandırıcıdır, çünkü insanların konuştuğu gibi konuşur. Xiong ve arkadaşlarının ölçümünde modellerin sözle verdiği güven [çoğunlukla %80 ile %100 arasına ve 5'in katlarına düştü](https://arxiv.org/abs/2306.13063) ve modeller belirgin biçimde aşırı emin çıktı. Modelin iç olasılıkları da kendiliğinden ayarlı gelmiyor. Guo ve arkadaşları modern sinir ağlarının [on yıl öncekilerden farklı olarak kötü kalibre](https://arxiv.org/abs/1706.04599) olduğunu buldu. OpenAI, GPT-4'ün teknik raporunda ön eğitimli modelin iyi kalibre olduğunu, [sonradan eğitimin kalibrasyonu belirgin biçimde bozduğunu](https://arxiv.org/abs/2303.08774) yazıyor. Kullanıcının konuştuğu model çoğu zaman bu sonradan eğitilmiş model. Üçüncü neden ölçümde. Kalibrasyon doğruluktan ayrı bir ölçüm. Doğruluk panosu modelin ne sıklıkla haklı olduğunu söyler, verdiği sayının o sıklığı tutturup tutturmadığını söylemez. Model, prompt ya da gelen belge türü değişince sayı sessizce kayar. Microsoft'un belge okuma servisinin belgesi de incelenen belgeler eğitimdekilerden farklıysa [raporlanan doğruluğun tutarsız olabileceğini](https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/concept/accuracy-confidence) yazıyor. ## Desen Ekrandaki bir güven sayısı ölçülmüş bir sıklığın kısaltmasıdır. Ölçülmemişse ekranda durmaz. 1. **Göstermeden önce ölç.** Kendi verinde ve kendi görev türünde güveni aralıklara böl, her aralığın gerçek doğruluğunu say. Yüksek güven denen alanlar o sıklıkta doğru çıkmıyorsa sayıyı ya düzelt ya kaldır. Zhang ve arkadaşları güveni kullanıcıya göstermeden önce [modelin olasılıklarının gerçek sonuçlarla örtüştüğünü kontrol etti](https://arxiv.org/abs/2001.02114). 2. **Modelin kendi yazdığı yüzdeyi gösterme.** Sözle istenen güven, modelin o anda yazdığı bir cümle. OpenAI'ın Model Spec'i de asistanın, kullanıcı ya da geliştirici istemedikçe [belirsizliğini yüzdeyle söylememesini](https://model-spec.openai.com/2026-08-18.html#express_uncertainty) istiyor. 3. **Sıklık diliyle yaz.** Sıklık, yüzde işaretinden kolay okunur. Zhang ve arkadaşları güveni benzer kişilerde [“on seferin kaçında doğru”](https://arxiv.org/abs/2001.02114) biçiminde gösterdi. Microsoft'un belgesi de 0,95'lik bir güveni [büyük olasılıkla 20 seferden 19'unda doğru](https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/concept/accuracy-confidence) diye açıklıyor. 4. **Sayıyı bir eyleme bağla.** Güvenin işi kullanıcıya neyi kontrol edeceğini söylemek. Eşiğin altındaki sonuç otomatik kabul edilmez, insana gider. Microsoft'un belge servisi güveni tam bu iş için, [otomatik kabul ile insan incelemesi arasında seçmek](https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/concept/accuracy-confidence) için öneriyor. 5. **Hassasiyeti ölçtüğün kadar tut.** Ondalıklı bir yüzde ölçümün taşımadığı bir kesinlik vaat eder. Ölçüm ne kadarını destekliyorsa o kadar ince göster: birkaç aralık ya da yüksek, orta, düşük. Microsoft'un HAX araç setinde bu kuralın bir adı da var, [arayüzdeki hassasiyeti sistemin performansıyla eşlemek](https://www.microsoft.com/en-us/haxtoolkit/example/linguistic-uncertainty-expressions-2a-match-the-level-of-precision-in-ui-communication-with-the-system-performance-language/). 6. **Ölçülmeyen yerde sayıyı kaldır.** Ölçmediğin belge türünde, yeni bir modelde ya da kaymış veride sayı gösterilmez. Yerine “güven ölçülmedi” yazar ve sonuç incelemeye gider. Model ya da prompt değişince ölçüm yenilenir. Sayıyı model üretebilir. Ekranda kalıp kalmayacağına ölçüm karar verir. ## Önce ve sonra Aynı fatura, aynı alanlar. Soldaki araç her alana modelin verdiği yüksek bir yüzde koyuyor ve yanlış okunan vade tarihi de ötekiler kadar emin görünüyor. Sağdaki güveni bu tedarikçinin geçmiş faturalarıyla ölçmüş, sıklık diliyle yazıyor, ölçülmemiş alanı sayısız bırakıp kullanıcıya soruyor. Örnek ekran (kurgusal): Muhasebe ekibi taranmış bir faturayı AI ile okutuyor. Araç alanları dolduruyor ve her alanın yanına bir güven göstergesi koyuyor. ### Önce: Faturalar · alan okuma - Bilgi: Fatura 2026-0412 · ambalaj tedarikçisi · 3 alan okundu - İçerik (Toplam tutar): 48.250,00 TL · güven %97 - İçerik (Vergi numarası): 4810092217 · güven %98 - İçerik (Vade tarihi): 14.03.2026 · güven %96 - Düğmeler: Hepsini onayla 1. Üç alanın üçü de yüksek ve birbirine yakın bir yüzde taşıyor. Sayılar modelin kendi beyanından geliyor, hiçbiri geçmiş faturalardaki gerçek doğrulukla karşılaştırılmadı. 2. Vade tarihi yanlış. Belgede iki tarih var ve araç teslim tarihini okudu. Yüzdesi ötekiler kadar yüksek olduğu için ekip alanı kontrol etmeden onaylıyor. ### Sonra: Faturalar · alan okuma - Bilgi: Güven bu tedarikçinin son 400 faturasıyla ölçüldü · 20 Eki 2026 - İçerik (Toplam tutar): 48.250,00 TL. Bu güven aralığındaki 100 alandan 99'u doğru çıktı. - İçerik (Vergi numarası): 4810092217. Bu güven aralığındaki 100 alandan 98'i doğru çıktı. - Uyarı: Vade tarihi için güven ölçülmedi. Belgede iki tarih var, hangisinin vade olduğunu sen seç. - Öneriler: 14.03.2026 · teslim tarihi · 28.03.2026 · son ödeme tarihi - Düğmeler: İki alanı onayla · Belgeyi aç 1. Güven sayıları bu tedarikçinin geçmiş faturalarıyla ölçülmüş ve sıklık diliyle yazılmış. Ölçümün tarihi ekranda duruyor. 2. Ölçülmemiş alan sayı almıyor, kullanıcıya gidiyor. Onay düğmesi yalnız ölçülmüş iki alanı kapsıyor. ## Piyasada Microsoft'un Azure Document Intelligence belgesi güveni tanımlayarak başlıyor: alanın güveni, tahminin doğru olma olasılığının bir tahmini. Belge 0,95'i [20 seferden 19'u](https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/concept/accuracy-confidence) diye açıklıyor ve güvenin ne için kullanılacağını da söylüyor: sonucun otomatik kabul edilmesi ya da insan incelemesine işaretlenmesi. Sayı bir karara bağlı duruyor. Google'ın konuşmayı yazıya çeviren servisi en olası sonuca 0 ile 1 arasında bir güven değeri veriyor ve aynı satırda bu alanın [doğruluğunun garanti edilmediğini](https://docs.cloud.google.com/speech-to-text/docs/reference/rest/v1/speech/recognize) yazıyor. Bu dürüst bir uyarı. Servisin üstüne ürün kuran ekip sayıyı ham hâliyle kullanıcıya taşırsa, servisin kendisinin garanti etmediği bir şeyi garanti ediyormuş gibi gösterir. OpenAI'ın Model Spec'i sohbet tarafında varsayılanı koyuyor. Asistan belirsizliği [konuşma diliyle söylüyor, yüzde vermiyor](https://model-spec.openai.com/2026-08-18.html#express_uncertainty). Yüzde ancak kullanıcı ya da geliştirici isterse geliyor. ## Kanıt Zhang, Liao ve Bellamy 2020'de katılımcıların bir gelir tahmini görevinde modelle birlikte karar verdiği deneyler yaptı. İnsan ve model tek başına benzer düzeyde başarılıydı. Modelin olasılıkları gerçek sonuçlarla örtüşüyordu ve güven, benzer kişilerde on seferin kaçında doğru olduğu biçiminde gösterildi. Güveni gören katılımcılar modelin yüksek güvenli tahminlerine daha çok uydu. Güveni görmeyen grupta uyma oranı güven düzeyine göre değişmedi. Ortak kararın doğruluğu ise artmadı. Yazarlara göre [güvenin doğru yere yönelmesi tek başına yetmiyor](https://arxiv.org/abs/2001.02114), çünkü modelin zorlandığı vakalar insanın da zorlandığı vakalardı. **Amazon Rekognition, Temmuz 2018.** ACLU, Rekognition ile 25.000 sabıka fotoğrafından bir veritabanı kurdu ve bütün Kongre üyelerinin fotoğraflarını Amazon'un varsayılan eşleşme ayarıyla aradı. Sistem [28 Kongre üyesini başka kişilerle eşleştirdi](https://www.aclu.org/news/privacy-technology/amazons-face-recognition-falsely-matched-28). Amazon ertesi gün varsayılan güven eşiğinin [%80 olduğunu, bunun ünlü tanıma gibi genel işler için uygun, kamu güvenliği için yanlış ayar olduğunu](https://aws.amazon.com/blogs/aws/thoughts-on-machine-learning-accuracy/) yazdı. Kendi testinde eşiği [%99'a çekince yanlış eşleşmenin sıfıra indiğini](https://aws.amazon.com/blogs/aws/thoughts-on-machine-learning-accuracy/) söyledi. Amazon'a göre ACLU verisini ve yöntemini ayrıntılı yayımlamamıştı, Amazon'un itirazı da kendi testine dayanıyor. İki tarafın anlattığı aynı şeyi gösteriyor. Aynı güven sayısı ünlü fotoğrafı ararken yeterli, bir insanı suçlu adayı diye gösterirken yanıltıcı. Ham olasılık kullanıcının işine de yaramayabilir. Vasconcelos ve arkadaşları 30 programcıyla yaptıkları çalışmada, kod tamamlamada üretilme olasılığı en düşük parçaları vurgulamanın [vurgusuz koda göre hiçbir fayda sağlamadığını](https://arxiv.org/abs/2302.07248) buldu. Programcının düzeltme olasılığı en yüksek parçaları vurgulamak ise işi hızlandırdı. Gösterilen sayı kullanıcının karar verdiği şeyi ölçmeli: bu alan doğru mu, bu satır düzeltilecek mi. Bu çalışmalar doğru cevabı belli görevlerden geliyor: gelir tahmini, yüz eşleşmesi, kod tamamlama. Uzun serbest metinde neyin doğru olduğunu tanımlamak, dolayısıyla sayıyı ölçmek daha zor. ## Ölçüm Ekranda sayı olması bu desenin işe yaradığını göstermez. Bakılacak yer, sayının söylediği sıklıkla gerçekleşen sıklık arasındaki fark. - **Aralık başına doğruluk.** Güveni aralıklara böl, her aralıkta gerçek doğruluğu say ve ekrandaki sayıyla karşılaştır. Fark her aralıkta ayrı ayrı küçük olmalı. - **Eşiğin yakaladığı hatalar.** İncelemeye giden sonuçlarda ve otomatik kabul edilenlerde hata oranını ayrı say. Hataların büyük kısmı eşiğin altında kalmalı. - **Yüksek güvenli hatalar.** Yüksek güvenle kabul edilip sonradan düzeltilen sonuçları ayrıca topla. Sayının en pahalı yanılgıları bunlar. - **Kayma.** Model, prompt ya da veri değişince aralık tablosunu yeniden çıkar. Son ölçümün tarihi günlükte ve ekranda görünmeli. - **Kullanıcının sayıyla ne yaptığı.** Düşük güvenli sonuçlarda kontrol oranı yüksek, yüksek güvenlilerde düşük olmalı. Kullanıcı her sonucu aynı biçimde kontrol ediyorsa sayı okunmuyor. ## Ajanına ver Üç metin var. Denetim promptu arayüzde gösterilen her güven sayısının nereden geldiğini ve gerçek doğrulukla karşılaştırılıp karşılaştırılmadığını tarar, yalnız rapor yazar. Uygulama promptu kalibrasyon ölçümünü, sıklık dilini ve eşiğin altındaki sonuçların insana gitmesini kurar. Önce planı gösterir, onayınla uygular ve ölçülmemiş bir sayının ekrana çıkmadığını kanıtlayan bir test ekler. Kural kodlama ajanının kendi çalışması için. Senin ajanın da ölçmediği bir yüzdeyi yazmasın. ## Sınır Kararın sayıya bağlı olmadığı yerde (yaratıcı metin, öneri listesi) güven sayısı gerekmez. Sayı göstermeyen bir arayüz, ayarsız sayı gösteren arayüzden daha dürüsttür. Ayarlı sayı da yanlış okunabilir. Zhang ve arkadaşları sayısal bir puanın, özellikle karmaşık işlerde, [herkes için anlamlı olmayabileceğini](https://arxiv.org/abs/2001.02114) yazıyor. Sıklık dili ve eşik bu riski azaltır, kaldırmaz. Ortalamada ayarlı olmak her grupta ayarlı olmak anlamına gelmez. Bir belge türünde iyi kalibre olan sayı başka bir türde aşırı emin olabilir. Tabloyu ürünün ana kullanım grupları için ayrı çıkar. Kalibrasyon modeli daha doğru yapmaz. Zhang'ın deneyinde güven sayısı kullanıcının güvenini doğru yöne çekti ama ortak kararın doğruluğunu artırmadı. Sayı kullanıcıya nereye bakacağını söyler, baktığı yerde ne bulacağını söylemez. ## Promptlar ### Denetim promptu ``` Bu depoda kullanıcıya bir güven göstergesi (yüzde, puan, çubuk, renkli rozet, "yüksek güven" etiketi) gösteren bir AI özelliği var. Görevin, bu göstergelerin gerçek doğrulukla karşılaştırılıp karşılaştırılmadığını denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz. 1. Arayüzde güven gösteren bütün yerleri bul: yüzdeler, puanlar, güven çubukları, renkli rozetler, "emin" ya da "yüksek güven" etiketleri. Bileşenleri ve metinleri listele. 2. Her göstergenin kaynağını izle: modelden yüzde mi isteniyor (promptta "güvenini 0-100 arası yaz" gibi), token olasılığı mı okunuyor, bir sınıflandırıcının puanı mı, bir API'nin confidence alanı mı aktarılıyor? 3. Göstergenin gerçek doğrulukla karşılaştırıldığı bir ölçüm var mı: kalibrasyon betiği, güvenilirlik tablosu, beklenen kalibrasyon hatası (ECE), etiketli değerlendirme seti? Varsa hangi veriyle ve ne zaman yapılmış? 4. Gösterge bir eyleme bağlı mı? Eşiğin altındaki sonuçlar otomatik kabul ediliyor mu, insana mı gidiyor? Eşik nerede tanımlı ve neye göre seçilmiş? 5. Sayı nasıl yazılıyor: ondalıklı yüzde mi, aralık mı, sıklık dili mi? Gösterilen hassasiyet ölçümün desteklediği hassasiyetle uyumlu mu? 6. Model, prompt ya da veri değiştiğinde kalibrasyon yeniden ölçülüyor mu? Ölçülmemiş görev türlerinde ya da yeni veride gösterge yine çıkıyor mu? Rapor biçimi: her bulgu için dosya ve satır, gösterilen sayı ya da etiket, kaynağı, ölçülüp ölçülmediği, olası sonuç (örnek: modelin yazdığı yüksek bir yüzde yanlış bir alanın kontrol edilmeden onaylanmasına yol açar) ve önerdiğin düzeltme. Kullanıcının göstergeye dayanarak otomatik kabul ettiği yerlerden başla. ``` ### Uygulama promptu ``` Bu depodaki AI özelliğine "güven skorunu yalnız ayarlıysa göster" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir. Hedef davranış: 1. Etiketli bir değerlendirme seti kur ya da var olanı kullan. Gösterilen güveni aralıklara böl ve her aralıkta gerçek doğruluğu hesaplayan bir kalibrasyon betiği yaz (güvenilirlik tablosu ve beklenen kalibrasyon hatası). 2. Sayı gerçek doğrulukla örtüşmüyorsa önce düzelt (sıcaklık ölçekleme ya da aralık başına eşleme gibi) ya da arayüzden kaldır. 3. Modelin metin olarak yazdığı güven yüzdelerini kullanıcıya gösterme. 4. Gösterilen sayıyı sıklık diliyle yaz ("bu güven aralığındaki 20 sonuçtan 19'u doğru çıktı"), ölçümün tarihini ve hangi veriyle yapıldığını yanına koy. Ölçümün desteklemediği ondalıkları gösterme. 5. Bir eşik tanımla. Eşiğin altındaki sonuçlar otomatik kabul edilmesin, kullanıcı incelemesine gitsin. 6. Ölçülmemiş görev türünde, yeni bir modelde ya da kalibrasyonu eskimiş veride sayı yerine "güven ölçülmedi" göster ve sonucu incelemeye gönder. Uygularken: - Kalibrasyon tablosunu ve eşikleri kodda tek bir yerde, sürümüyle tut. Model ya da prompt değişince betiği yeniden çalıştırmayı dağıtım adımlarına ekle. - Tabloyu ürünün ana kullanım grupları (belge türü, dil, müşteri) için ayrı çıkar, yalnız ortalamaya bakma. - Bir test ekle: kalibrasyonu ölçülmemiş bir görev türünde arayüzün sayı göstermediğini ve sonucu incelemeye gönderdiğini, ölçülmüş türde gösterilen sayının tablodaki değerle aynı olduğunu doğrula. ``` ### AGENTS.md kuralı ``` ## Güven sayısını yalnız ölçtüysen yaz - Bir sonucun yanına yüzde, olasılık ya da güven puanı yazma, o sayıyı gerçek sonuçlarla karşılaştırmadıysan. - Emin olup olmadığını söyleyeceksen kelimeyle söyle ve nedenini yaz: testi çalıştırdım, dosyayı okumadım, belge bunu söylemiyor. - Kullanıcıya güven sayısı gösteren bir kodu değiştiriyorsan kalibrasyon betiğini çalıştır ve sonucunu raporla. - Modelin metin olarak ürettiği güven yüzdelerini ölçüm gibi kullanma, kaydetme ya da arayüze taşıma. - Ölçülmemiş bir durumda sayı göstermek yerine sonucu insan incelemesine gönder. ``` ## Kaynaklar 1. [Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs](https://arxiv.org/abs/2306.13063), Xiong vd. (ICLR 2024, arXiv), 17 Mart 2024 2. [On Calibration of Modern Neural Networks](https://arxiv.org/abs/1706.04599), Guo, Pleiss, Sun ve Weinberger (ICML 2017, arXiv), 14 Haziran 2017 3. [GPT-4 Technical Report](https://arxiv.org/abs/2303.08774), OpenAI (arXiv), 15 Mart 2023 4. [Interpret and improve model accuracy and confidence scores](https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/concept/accuracy-confidence), Microsoft Learn, 8 Nisan 2026 5. [Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making](https://arxiv.org/abs/2001.02114), Zhang, Liao ve Bellamy (FAT* 2020, arXiv), Ocak 2020 6. [Model Spec (2026/08/18): Express uncertainty](https://model-spec.openai.com/2026-08-18.html#express_uncertainty), OpenAI, 18 Ağustos 2026 7. [Linguistic uncertainty expressions | 2A: Match the level of precision in UI communication with the system performance](https://www.microsoft.com/en-us/haxtoolkit/example/linguistic-uncertainty-expressions-2a-match-the-level-of-precision-in-ui-communication-with-the-system-performance-language/), Microsoft HAX Toolkit 8. [Method: speech.recognize | Cloud Speech-to-Text](https://docs.cloud.google.com/speech-to-text/docs/reference/rest/v1/speech/recognize), Google Cloud 9. [Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots](https://www.aclu.org/news/privacy-technology/amazons-face-recognition-falsely-matched-28), Jacob Snow, ACLU of Northern California, 26 Temmuz 2018 10. [Thoughts On Machine Learning Accuracy](https://aws.amazon.com/blogs/aws/thoughts-on-machine-learning-accuracy/), Matt Wood, AWS News Blog, 27 Temmuz 2018 11. [Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions](https://arxiv.org/abs/2302.07248), Vasconcelos, Bansal, Fourney, Liao ve Wortman Vaughan (ACM TOCHI 2024, arXiv), 9 Kasım 2024 --- Kaynak: https://tandem.komunite.com.tr · Metin CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/deed.tr), promptlar ve kural MIT-0 (https://opensource.org/license/mit-0).