# TD-094 · Kaynak açma ve doğrulama davranışını ölç Ekip cevapların kaynak gösterdiğini sayıyor ve kullanıcının onları kontrol ettiğini sanıyor, kaynaklar ise hiç açılmıyor. Atıfın gösterilmesini, açılmasını ve açıldıktan sonra olanı ayrı ölçmek bu sanıyı veriye çevirir. - Adres: https://tandem.komunite.com.tr/desen/kaynak-acma-ve-dogrulama-davranisini-olc - Yer: Zamanla > Ölçüm - Seviye: Temel. Her AI özelliğinde olmalı. - Son inceleme: 28 Ekim 2026, Komünite editörlüğü ## 30 saniyede dene 1. Ürününde kaynaklı bir cevap üret ve bir atıf numarasına tıkla. Analitik aracında ya da günlükte bu tıklama bir olay olarak görünüyor mu? 2. Ekibinin kalite panosuna bak. Kaynaklı cevap payı gibi bir sayı var mı? Yanında açılan atıf payı da var mı? 3. Son haftanın kayıtlarında kaynak gösterilen cevapları ve en az bir kaynağı açılan cevapları say, ikisini oranla. 4. İkinci sayıyı hiç bulamıyorsan ya da kimse ona bakmıyorsa bu desen ürününde eksik. ## Sorun Bir şirketin iç asistanı çalışanların izin, bordro ve yan hak sorularını cevaplıyor. Ekibin haftalık panosunda bir kalite sayısı öne çıkıyor: cevapların neredeyse hepsi kaynak gösteriyor. Ekip bunu yönetime rapor ediyor. Cevaplar kaynaklı, çalışan isterse kontrol edebilir. Çalışan kontrol etmiyor. Cevabı okuyor, sonundaki küçük numarayı görüyor ve işine dönüyor. Numara bir yönetmelik maddesine gidiyor ama madde hiç açılmıyor. Panodaki sayı atıfın ekranda durduğunu söylüyor, birinin ona baktığını söylemiyor. Ekip bu iki şeyi aynı sanıyor ve başka kararları bu varsayımın üstüne kuruyor. Hassas konulardaki insan incelemesini kaldırıyor, “kaynak orada, yanlışsa çalışan görür” diyor. Bu düzende yanlış bir atıf iki kez görünmez kalır. Çalışan açmadığı için görmez, ekip açılmayı ölçmediği için görmez. Kimsenin açmadığı kaynak kullanıcının ekranında bir güven rozeti, ekibin raporunda da karşılığı olmayan bir güvencedir. ## Neden atlanıyor Atıflı cevap payını saymak kolay, açılma payını saymak zor. İlki cevabın metninden çıkar. İkincisi arayüzde bir olay kaydı, cevaba bağlanan bir kimlik ve neyin kaydedileceğine dair bir gizlilik kararı ister. Panoya kolay sayı girer ve ekip kolay sayıyı yönetir. Kullanıcının sessizliği de güven gibi okunuyor. Kimse bir atıftan şikâyet etmiyor, çünkü kimse açmıyor. Ekip şikâyet gelmemesini cevapların doğru olduğuna işaret sayıyor. Oysa şikâyet ancak kontrol edenden gelir. Model de açmayı gereksiz gösteren cevabı yazıyor. Akıcı, kendinden emin ve birkaç kaynağı birleştiren bir cevap okura kontrol ihtiyacı hissettirmiyor. Liu, Zhang ve Liang dört üretken arama motorunda en yararlı görünen cevapların çoğu zaman [yanlış atıflı olanlar olduğunu](https://arxiv.org/abs/2304.09848) buldu. Kontrolün en çok gerektiği cevap, kullanıcının en az açmak istediği cevap oluyor. ## Desen Bir atıfın üç anı var: gösterilir, açılır, kontrol edilir. Ürün üçünü ayrı sayar ve aradaki farkı konuya göre izler. 1. **Üç anı ayrı kaydet.** Atıf gösterildiğinde, önizlemesi açıldığında ve kaynak açıldığında birer olay yaz. Olay atıfın, kaynağın ve cevabın kimliğini, cevabın konusunu taşır. Cevabın ve kaynağın metnini taşımaz. 2. **Açmanın derinliğine bak.** Kaynağı açıp iki saniyede kapatmak kontrol sayılmaz. Kaynakta geçen süreyi, pasaja inilip inilmediğini ve kullanıcının sonra cevaba dönüp dönmediğini kaydet. 3. **Açmanın sonucunu bağla.** Kaynağı açan kullanıcı ardından ne yaptı? Cevabı kopyaladı mı, düzeltti mi, “kaynak bunu söylemiyor” diye bildirdi mi, soruyu yeniden mi sordu? Kontrolün bir şey bulup bulmadığı buradan görünür. 4. **Konuya ve riske göre ayır.** Ortalama açılma payı hassas konudaki boşluğu gizler. İzin, ücret, sağlık ve hukuk cevaplarının payını ayrı satırda izle. 5. **Zamanla izle.** Aynı ay başlayan kullanıcıların açılma payını haftalara göre çiz. Pay düşerken ekibin örneklem denetiminde bulduğu hata payı yerinde duruyorsa kullanıcının güveni kanıttan kopuyor. 6. **Açılmayan yeri ekip denetler.** Açılma payı düşük konularda atıfların desteğini ekip örneklemle denetler. Açılma payını yükseltmek hedef olmaz. Pay, kontrol yükünün kimde kaldığını gösterir. Ölçüm kullanıcıyı denetlemek için kurulmaz. Kullanıcının kontrol etmediği yeri bulur, o yerde kontrolü ürün üstlenir. ## Önce ve sonra Aynı iç asistanın kalite panosu, iki ayrı hâlde. Soldaki pano yalnız kaynak gösteren cevap payını sayıyor ve cevapların kontrol edilebilir olduğunu raporluyor. Sağdaki gösterilen, açılan ve açıldıktan sonra düzeltilen atıfları ayrı sayıyor, açılmanın neredeyse durduğu konuyu işaretliyor ve orada örneklem denetimi öneriyor. Örnek ekran (kurgusal): Bir şirketin iç asistanı çalışanların İK ve bordro sorularını kaynak göstererek cevaplıyor. Ekip haftalık kalite panosuna bakıyor. ### Önce: Asistan · kalite panosu - Bilgi: Hafta 43 · 18.420 cevap - Adım (tamam): Kaynak gösteren cevap payı · %96 · geçen hafta %95 - Adım (tamam): Cevap başına kaynak · ortalama 2,8 - AI: Cevapların neredeyse hepsi kaynaklı. Çalışanlar her cevabı kaynağından kontrol edebiliyor. - Düğmeler: Raporu yönetime gönder 1. Pano yalnız kaynağın ekranda durduğunu sayıyor. Kaynağın açılıp açılmadığını söyleyen bir sayı yok. 2. “Kontrol edebiliyor” cümlesi kontrolün yapıldığı gibi okunuyor. Ekip hassas konulardaki insan incelemesini bu varsayıma dayanarak kaldırabilir. ### Sonra: Asistan · kalite panosu - Bilgi: Hafta 43 · 18.420 cevap · 17.680'i kaynaklı - Adım (tamam): Önizlemesi açılan atıf · 1.240 cevapta · %7 - Adım (tamam): Kaynağı açılan atıf · 390 cevapta · kaynakta ortalama 41 sn - Adım (hata): Açtıktan sonra düzeltilen ya da bildirilen · 390 cevaptan 46'sı - Uyarı: Ücret ve izin cevaplarında kaynak açma %1'in altında. Bu konudaki atıflar kimse bakmadan geçiyor. - AI: Ücret ve izin cevaplarından bu hafta 50 atıfı örnekleyip desteğini denetleyeyim mi? - Düğmeler: Örneklem denetimini başlat · Konulara göre aç 1. Pano atıfın üç anını ayrı sayıyor. Açılan kaynakların kabaca sekizde birinde kullanıcı bir sorun bulmuş, açılmayanlarda ne olduğu bilinmiyor. 2. Açılmanın neredeyse durduğu hassas konu ayrıca işaretli. Orada kontrolü kullanıcı yapmadığı için ekip örneklem denetimini o konuya yöneltiyor. ## Piyasada OpenAI web arama aracını kullanan uygulamalardan cevaptaki atıfları [açıkça görünür ve tıklanabilir](https://developers.openai.com/api/docs/guides/tools-web-search) göstermelerini istiyor. Anthropic web aramasında atıfları [her zaman açık tutuyor](https://platform.claude.com/docs/en/agents-and-tools/tool-use/web-search-tool) ve sonucu kullanıcıya gösteren uygulamadan kaynağı da göstermesini istiyor. İki sağlayıcı da atıfın ekranda durmasını şart koşuyor. Atıfın açılıp açılmadığını ölçmek uygulamayı kuranın işi. Google, arama sonuçlarındaki yapay zekâ özetleri ve AI Mode için site sahiplerine yazdığı belgede bu özelliklerden gelen trafiğin Search Console'da [genel arama trafiğinin içinde, “Web” arama türünde](https://developers.google.com/search/docs/appearance/ai-features) raporlandığını söylüyor. Aynı belge, özet bulunan sayfalardan gelen tıklamaların [daha nitelikli olduğunu](https://developers.google.com/search/docs/appearance/ai-features) yazıyor ve niteliği kullanıcının sitede daha uzun kalmasıyla tanımlıyor. Bu, açmanın derinliğine bakan bir ölçü. Belge bunun için bir sayı vermiyor. Microsoft, Şubat 2026'da Bing Webmaster Tools'a eklediği AI Performance raporuyla yayıncılara içeriklerinin Copilot'ta ve Bing'in yapay zekâ özetlerinde [ne kadar sık kaynak gösterildiğini](https://blogs.bing.com/webmaster/2026/2/Introducing-AI-Performance-in-Bing-Webmaster-Tools-Public-Preview/) gösteriyor. Duyuruda sayılan ölçüler toplam atıf, atıf alan sayfalar, dayanak sorguları ve zaman içindeki seyir. Kaynağın kaç kez açıldığı bu listede yok. Rapor gösterilmeyi ölçüyor. ## Kanıt Pew Research Center, 900 ABD'li yetişkinin Mart 2025'teki tarama kayıtlarını inceledi. Kullanıcının bir aramadan sonra hangi adrese gittiğine bakarak tıklamayı tespit etti. Yapay zekâ özeti gören kullanıcılar ziyaretlerin [%8'inde](https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/) bir arama sonucuna tıkladı, özet görmeyenler [%15'inde](https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/). Özetin içinde kaynak olarak gösterilen bağlantılara tıklama ise özetli sayfa ziyaretlerinin yalnız [%1'inde](https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/) gerçekleşti. Özet kaynaklarını gösteriyor, kullanıcıların çok küçük bir kısmı oraya gidiyor. Deney ortamında da tablo aynı. Ding ve ekibinin deneyinde kaynak taşıyan cevapların yalnız [%9,77'si](https://arxiv.org/abs/2501.01303) açılıp kontrol edildi. Açılmayan atıfın içinde ne olduğunu ürün bilmiyor. Liu, Zhang ve Liang'ın 2023'te incelediği arama motorlarında atıfların yalnız [%74,5'i](https://arxiv.org/abs/2304.09848) bağlı olduğu cümleyi destekliyordu. Kalanı ancak biri kaynağı açarsa görünür. Açılma payını bilmeyen ekip, bu kalanın ne kadarının kullanıcıya hiç fark edilmeden ulaştığını da bilmez. Pew'in verisi ABD'de, Google aramasında ve özetin ilk üç bağlantısıyla sınırlı. Ding'in katılımcıları çevrim içi bir panelden geldi. Hiçbiri senin ürünündeki açılma payını söylemez. İkisi de aynı yönü gösteriyor: kaynak gösteriliyor, çok az açılıyor. ## Ölçüm - **Açılma hunisi.** Gösterilen atıflardan önizlenen, açılan ve kaynakta birkaç saniyeden uzun kalınanların payı, haftalık. Bu payı konuları birbiriyle karşılaştırmak için kullan. - **Hassas konuda açılma.** İzin, ücret, sağlık ve hukuk cevaplarında en az bir kaynağı açılan cevap payı. Pay düşükse o konunun örneklem denetimi sıklaşır. - **Açtıktan sonra düzeltme.** Kaynağı açan kullanıcıların ne kadarı cevabı düzeltiyor, bildiriyor ya da soruyu yeniden soruyor. Bu pay, açılan atıfların ne kadarında sorun bulunduğunu kabaca söyler. - **Açılmayan atıfta hata.** Hiç açılmayan atıflardan rastgele örneklem al ve desteğini ekip denetlesin. Bulunan hata payını açılan atıflarınkiyle karşılaştır. - **Kohortta seyir.** Aynı ay başlayan kullanıcıların açılma payı, haftadan haftaya. Hata payı sabitken düşen açılma, güvenin kanıttan koptuğunu gösterir. ## Ajanına ver Üç metin var. Denetim promptu atıfı çizen bileşenleri ve tetiklenen olayları tarar, panonun yalnız atıf varlığını mı saydığını ve olaylara kişisel veri girip girmediğini raporlar, hiçbir dosyayı değiştirmez. Uygulama promptu gösterme, önizleme, açma ve açtıktan sonraki hareket için olayları kurar, konuya göre ayrılmış bir pano ve açılmayan atıflar için örneklem denetimi ekler. Önce planı gösterir, onayınla uygular ve olayların metin taşımadığını sınayan bir test yazar. Kural kodlama ajanının kendi işi için. Senin ajanın da kaynak gösterdi diye kontrolün yapıldığını varsaymasın. ## Sınır Düşük açılma payı tek başına kötü bir işaret sayılmaz. Kullanıcı iyi bildiği konuda kaynağa bakmaz, bakması da gerekmez. Pay ancak konunun riskiyle ve örneklemde bulunan hata payıyla birlikte okununca bir şey söyler. Payı yükseltmek için kullanıcıyı zorlama. Her cevapta kaynağı açtıran ya da “okudum” kutusu koyan arayüz kontrolü bir törene çevirir ve kullanıcı [okumadan onaylamayı](/desen/onaylari-butce-gibi-harca) öğrenir. Ölçüm gözetime dönmesin. Olaylar yalnız toplu oran için toplanır, kişi bazında rapor çıkmaz. Cevabın ve kaynağın metni kayda girmez. Google'ın PAIR rehberi davranış verisini toplarken kullanıcıya [haber vermeyi ve iznini önceden almayı](https://pair.withgoogle.com/chapter/feedback-controls/) öneriyor. Ölçüm atıfı düzeltmez. Açılmayan atıfın desteğini ürün [kendisi denetlemeli](/desen/kaynagin-cumleyi-gercekten-destekledigini-denetle), kontrolü kolaylaştırmak da [ayrı bir desen](/desen/dogrulamayi-tek-bakisa-indir). ## Promptlar ### Denetim promptu ``` Bu depoda kaynak göstererek cevap veren bir AI özelliği var: belge üzerinde soru-cevap, arama cevabı ya da kaynaklı özet. Görevin, kullanıcıların bu kaynakları açıp açmadığının ve açtıktan sonra ne yaptığının ölçülüp ölçülmediğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz. 1. Atıfı çizen bileşenleri bul: numara, önizleme kutusu, kaynak bağlantısı, kaynak paneli. Her birinde bir analitik olayı ya da günlük kaydı tetikleniyor mu? Olay adlarını ve gönderildiği yeri yaz. 2. Olaylar hangi alanları taşıyor: atıf kimliği, kaynak kimliği, cevap kimliği, konu ya da kategori, zaman? Cevabın ya da kaynağın metni, kullanıcının adı ya da e-postası olaya giriyor mu? 3. Kaynak açıldıktan sonrası ölçülüyor mu: kaynakta geçen süre, pasaja inilmesi, cevaba dönüş, ardından kopyalama, düzeltme, yeniden sorma ya da "kaynak bunu söylemiyor" bildirimi? 4. Kalite panosunu ya da raporları bul. Yalnız atıf varlığı mı sayılıyor (kaynaklı cevap payı, cevap başına kaynak), açılma payı da var mı? Sayılar konuya ya da riske göre ayrılıyor mu? 5. Hiç açılmayan atıfların desteğini ekibin örneklemle denetlediği bir iş var mı? 6. Kullanıcıya bu etkileşimlerin kaydedildiği söyleniyor mu? Gizlilik metninde ya da ayarlarda geçiyor mu? Rapor biçimi: önce atıfın her anı için (gösterildi, önizlendi, açıldı, açıldıktan sonra) ölçülüyor ya da ölçülmüyor tablosu, dosya ve satırıyla. Sonra panodaki eksikler ve olaylardaki kişisel veri riski. Önerdiğin olay şemasıyla bitir. ``` ### Uygulama promptu ``` Bu depodaki kaynaklı AI cevaplarına "kaynak açma ve doğrulama davranışını ölç" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir. Hedef davranış: 1. Dört olay kaydet: atıf gösterildi, önizleme açıldı, kaynak açıldı, kaynak kapandı (kaynakta geçen süre ve pasaja inilip inilmediğiyle). Her olay atıf kimliği, kaynak kimliği, cevap kimliği ve cevabın konusunu taşısın. 2. Kaynak açıldıktan sonra aynı cevap için kullanıcının hareketini bağla: kopyaladı, düzeltti, yeniden sordu, "kaynak bunu söylemiyor" diye bildirdi. 3. Haftalık bir pano kur: gösterilen, önizlenen, açılan ve açıldıktan sonra düzeltilen atıf payları, konuya göre ayrı. Hassas konular (izin, ücret, sağlık, hukuk) ayrı satırda dursun. 4. Açılma payı eşiğin altında kalan konularda her hafta rastgele bir atıf örneklemi oluşturup ekibin destek denetimine gönderen bir iş ekle. Denetimde bulunan hata payını panoda açılan atıflarınkiyle yan yana göster. 5. Hangi etkileşimin kaydedildiğini kullanıcıya gizlilik metninde ya da ayarlarda söyle. Uygularken: - Olaylara cevabın ya da kaynağın metnini, kullanıcının adını ya da e-postasını koyma. Kimlik ve konu yeter. - Panoyu kişi düzeyinde değil toplu oranla kur. Kimin neyi açmadığını gösteren bir rapor yapma. - Açılma payını hedef metrik yapma ve kullanıcıyı kaynağı açmaya zorlayan bir adım ekleme. - Bir test ekle: kaynaklı bir cevap çiz, önizlemeyi ve kaynağı aç, olayların doğru alanlarla ve metin taşımadan kaydedildiğini doğrula. İkinci test: hiç açılmayan atıfların örneklem işine düştüğünü doğrula. ``` ### AGENTS.md kuralı ``` ## Kaynak açmayı ölç - Kaynak gösteren bir arayüz yazarken atıfın gösterilmesini, önizlenmesini ve açılmasını ayrı olaylar olarak kaydet. - Atıfın ekranda durmasını kontrol edilmiş saymak için yeterli görme. Raporda "kaynaklı" ve "açılmış" sayılarını ayrı ver. - Olaylara cevabın ya da kaynağın metnini ve kişisel veri koyma. Kimlik ve konu yeter. - Açılma payını konuya göre ayır, hassas konuları ayrı göster. - Kullanıcıyı kaynağı açmaya zorlayan bir adım ekleme. Açılmayan yerde desteği ekip örneklemle denetler. ``` ## Kaynaklar 1. [Evaluating Verifiability in Generative Search Engines](https://arxiv.org/abs/2304.09848), Liu, Zhang, Liang · Findings of EMNLP 2023, 23 Ekim 2023 2. [Web search](https://developers.openai.com/api/docs/guides/tools-web-search), OpenAI 3. [Web search tool](https://platform.claude.com/docs/en/agents-and-tools/tool-use/web-search-tool), Anthropic 4. [AI features and your website](https://developers.google.com/search/docs/appearance/ai-features), Google Search Central, 10 Aralık 2025 5. [Introducing AI Performance in Bing Webmaster Tools Public Preview](https://blogs.bing.com/webmaster/2026/2/Introducing-AI-Performance-in-Bing-Webmaster-Tools-Public-Preview/), Microsoft Bing Webmaster Blog, 10 Şubat 2026 6. [Google users are less likely to click on links when an AI summary appears in the results](https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/), Pew Research Center · Athena Chapekis, Anna Lieb, 22 Temmuz 2025 7. [Citations and Trust in LLM Generated Responses](https://arxiv.org/abs/2501.01303), Ding ve diğerleri · AAAI 2025, 2 Ocak 2025 8. [Feedback + Control (People + AI Guidebook)](https://pair.withgoogle.com/chapter/feedback-controls/), Google PAIR --- Kaynak: https://tandem.komunite.com.tr · Metin CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/deed.tr), promptlar ve kural MIT-0 (https://opensource.org/license/mit-0).