Kaynak açma ve doğrulama davranışını ölç

Bir şirketin iç asistanı çalışanların izin, bordro ve yan hak sorularını cevaplıyor. Ekibin haftalık panosunda bir kalite sayısı öne çıkıyor: cevapların neredeyse hepsi kaynak gösteriyor. Ekip bunu yönetime rapor ediyor. Cevaplar kaynaklı, çalışan isterse kontrol edebilir.

Çalışan kontrol etmiyor. Cevabı okuyor, sonundaki küçük numarayı görüyor ve işine dönüyor. Numara bir yönetmelik maddesine gidiyor ama madde hiç açılmıyor. Panodaki sayı atıfın ekranda durduğunu söylüyor, birinin ona baktığını söylemiyor. Ekip bu iki şeyi aynı sanıyor ve başka kararları bu varsayımın üstüne kuruyor. Hassas konulardaki insan incelemesini kaldırıyor, “kaynak orada, yanlışsa çalışan görür” diyor.

Bu düzende yanlış bir atıf iki kez görünmez kalır. Çalışan açmadığı için görmez, ekip açılmayı ölçmediği için görmez. Kimsenin açmadığı kaynak kullanıcının ekranında bir güven rozeti, ekibin raporunda da karşılığı olmayan bir güvencedir.

Atıflı cevap payını saymak kolay, açılma payını saymak zor. İlki cevabın metninden çıkar. İkincisi arayüzde bir olay kaydı, cevaba bağlanan bir kimlik ve neyin kaydedileceğine dair bir gizlilik kararı ister. Panoya kolay sayı girer ve ekip kolay sayıyı yönetir.

Kullanıcının sessizliği de güven gibi okunuyor. Kimse bir atıftan şikâyet etmiyor, çünkü kimse açmıyor. Ekip şikâyet gelmemesini cevapların doğru olduğuna işaret sayıyor. Oysa şikâyet ancak kontrol edenden gelir.

Model de açmayı gereksiz gösteren cevabı yazıyor. Akıcı, kendinden emin ve birkaç kaynağı birleştiren bir cevap okura kontrol ihtiyacı hissettirmiyor. Liu, Zhang ve Liang dört üretken arama motorunda en yararlı görünen cevapların çoğu zaman yanlış atıflı olanlar olduğunu¹ buldu. Kontrolün en çok gerektiği cevap, kullanıcının en az açmak istediği cevap oluyor.

Bir atıfın üç anı var: gösterilir, açılır, kontrol edilir. Ürün üçünü ayrı sayar ve aradaki farkı konuya göre izler.

1. Üç anı ayrı kaydet. Atıf gösterildiğinde, önizlemesi açıldığında ve kaynak açıldığında birer olay yaz. Olay atıfın, kaynağın ve cevabın kimliğini, cevabın konusunu taşır. Cevabın ve kaynağın metnini taşımaz.
2. Açmanın derinliğine bak. Kaynağı açıp iki saniyede kapatmak kontrol sayılmaz. Kaynakta geçen süreyi, pasaja inilip inilmediğini ve kullanıcının sonra cevaba dönüp dönmediğini kaydet.
3. Açmanın sonucunu bağla. Kaynağı açan kullanıcı ardından ne yaptı? Cevabı kopyaladı mı, düzeltti mi, “kaynak bunu söylemiyor” diye bildirdi mi, soruyu yeniden mi sordu? Kontrolün bir şey bulup bulmadığı buradan görünür.
4. Konuya ve riske göre ayır. Ortalama açılma payı hassas konudaki boşluğu gizler. İzin, ücret, sağlık ve hukuk cevaplarının payını ayrı satırda izle.
5. Zamanla izle. Aynı ay başlayan kullanıcıların açılma payını haftalara göre çiz. Pay düşerken ekibin örneklem denetiminde bulduğu hata payı yerinde duruyorsa kullanıcının güveni kanıttan kopuyor.
6. Açılmayan yeri ekip denetler. Açılma payı düşük konularda atıfların desteğini ekip örneklemle denetler. Açılma payını yükseltmek hedef olmaz. Pay, kontrol yükünün kimde kaldığını gösterir.

Ölçüm kullanıcıyı denetlemek için kurulmaz. Kullanıcının kontrol etmediği yeri bulur, o yerde kontrolü ürün üstlenir.

Aynı iç asistanın kalite panosu, iki ayrı hâlde. Soldaki pano yalnız kaynak gösteren cevap payını sayıyor ve cevapların kontrol edilebilir olduğunu raporluyor. Sağdaki gösterilen, açılan ve açıldıktan sonra düzeltilen atıfları ayrı sayıyor, açılmanın neredeyse durduğu konuyu işaretliyor ve orada örneklem denetimi öneriyor.

OpenAI web arama aracını kullanan uygulamalardan cevaptaki atıfları açıkça görünür ve tıklanabilir² göstermelerini istiyor. Anthropic web aramasında atıfları her zaman açık tutuyor³ ve sonucu kullanıcıya gösteren uygulamadan kaynağı da göstermesini istiyor. İki sağlayıcı da atıfın ekranda durmasını şart koşuyor. Atıfın açılıp açılmadığını ölçmek uygulamayı kuranın işi.

Google, arama sonuçlarındaki yapay zekâ özetleri ve AI Mode için site sahiplerine yazdığı belgede bu özelliklerden gelen trafiğin Search Console'da genel arama trafiğinin içinde, “Web” arama türünde⁴ raporlandığını söylüyor. Aynı belge, özet bulunan sayfalardan gelen tıklamaların daha nitelikli olduğunu⁴ yazıyor ve niteliği kullanıcının sitede daha uzun kalmasıyla tanımlıyor. Bu, açmanın derinliğine bakan bir ölçü. Belge bunun için bir sayı vermiyor.

Microsoft, Şubat 2026'da Bing Webmaster Tools'a eklediği AI Performance raporuyla yayıncılara içeriklerinin Copilot'ta ve Bing'in yapay zekâ özetlerinde ne kadar sık kaynak gösterildiğini⁵ gösteriyor. Duyuruda sayılan ölçüler toplam atıf, atıf alan sayfalar, dayanak sorguları ve zaman içindeki seyir. Kaynağın kaç kez açıldığı bu listede yok. Rapor gösterilmeyi ölçüyor.

Pew Research Center, 900 ABD'li yetişkinin Mart 2025'teki tarama kayıtlarını inceledi. Kullanıcının bir aramadan sonra hangi adrese gittiğine bakarak tıklamayı tespit etti. Yapay zekâ özeti gören kullanıcılar ziyaretlerin %8'inde⁶ bir arama sonucuna tıkladı, özet görmeyenler %15'inde⁶. Özetin içinde kaynak olarak gösterilen bağlantılara tıklama ise özetli sayfa ziyaretlerinin yalnız %1'inde⁶ gerçekleşti. Özet kaynaklarını gösteriyor, kullanıcıların çok küçük bir kısmı oraya gidiyor.

Deney ortamında da tablo aynı. Ding ve ekibinin deneyinde kaynak taşıyan cevapların yalnız %9,77'si⁷ açılıp kontrol edildi.

Açılmayan atıfın içinde ne olduğunu ürün bilmiyor. Liu, Zhang ve Liang'ın 2023'te incelediği arama motorlarında atıfların yalnız %74,5'i¹ bağlı olduğu cümleyi destekliyordu. Kalanı ancak biri kaynağı açarsa görünür. Açılma payını bilmeyen ekip, bu kalanın ne kadarının kullanıcıya hiç fark edilmeden ulaştığını da bilmez.

Pew'in verisi ABD'de, Google aramasında ve özetin ilk üç bağlantısıyla sınırlı. Ding'in katılımcıları çevrim içi bir panelden geldi. Hiçbiri senin ürünündeki açılma payını söylemez. İkisi de aynı yönü gösteriyor: kaynak gösteriliyor, çok az açılıyor.

• Açılma hunisi. Gösterilen atıflardan önizlenen, açılan ve kaynakta birkaç saniyeden uzun kalınanların payı, haftalık. Bu payı konuları birbiriyle karşılaştırmak için kullan.
• Hassas konuda açılma. İzin, ücret, sağlık ve hukuk cevaplarında en az bir kaynağı açılan cevap payı. Pay düşükse o konunun örneklem denetimi sıklaşır.
• Açtıktan sonra düzeltme. Kaynağı açan kullanıcıların ne kadarı cevabı düzeltiyor, bildiriyor ya da soruyu yeniden soruyor. Bu pay, açılan atıfların ne kadarında sorun bulunduğunu kabaca söyler.
• Açılmayan atıfta hata. Hiç açılmayan atıflardan rastgele örneklem al ve desteğini ekip denetlesin. Bulunan hata payını açılan atıflarınkiyle karşılaştır.
• Kohortta seyir. Aynı ay başlayan kullanıcıların açılma payı, haftadan haftaya. Hata payı sabitken düşen açılma, güvenin kanıttan koptuğunu gösterir.

Üç metin var. Denetim promptu atıfı çizen bileşenleri ve tetiklenen olayları tarar, panonun yalnız atıf varlığını mı saydığını ve olaylara kişisel veri girip girmediğini raporlar, hiçbir dosyayı değiştirmez. Uygulama promptu gösterme, önizleme, açma ve açtıktan sonraki hareket için olayları kurar, konuya göre ayrılmış bir pano ve açılmayan atıflar için örneklem denetimi ekler. Önce planı gösterir, onayınla uygular ve olayların metin taşımadığını sınayan bir test yazar. Kural kodlama ajanının kendi işi için. Senin ajanın da kaynak gösterdi diye kontrolün yapıldığını varsaymasın.

Bu depoda kaynak göstererek cevap veren bir AI özelliği var: belge üzerinde soru-cevap, arama cevabı ya da kaynaklı özet. Görevin, kullanıcıların bu kaynakları açıp açmadığının ve açtıktan sonra ne yaptığının ölçülüp ölçülmediğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Atıfı çizen bileşenleri bul: numara, önizleme kutusu, kaynak bağlantısı, kaynak paneli. Her birinde bir analitik olayı ya da günlük kaydı tetikleniyor mu? Olay adlarını ve gönderildiği yeri yaz.
2. Olaylar hangi alanları taşıyor: atıf kimliği, kaynak kimliği, cevap kimliği, konu ya da kategori, zaman? Cevabın ya da kaynağın metni, kullanıcının adı ya da e-postası olaya giriyor mu?
3. Kaynak açıldıktan sonrası ölçülüyor mu: kaynakta geçen süre, pasaja inilmesi, cevaba dönüş, ardından kopyalama, düzeltme, yeniden sorma ya da "kaynak bunu söylemiyor" bildirimi?
4. Kalite panosunu ya da raporları bul. Yalnız atıf varlığı mı sayılıyor (kaynaklı cevap payı, cevap başına kaynak), açılma payı da var mı? Sayılar konuya ya da riske göre ayrılıyor mu?
5. Hiç açılmayan atıfların desteğini ekibin örneklemle denetlediği bir iş var mı?
6. Kullanıcıya bu etkileşimlerin kaydedildiği söyleniyor mu? Gizlilik metninde ya da ayarlarda geçiyor mu?

Rapor biçimi: önce atıfın her anı için (gösterildi, önizlendi, açıldı, açıldıktan sonra) ölçülüyor ya da ölçülmüyor tablosu, dosya ve satırıyla. Sonra panodaki eksikler ve olaylardaki kişisel veri riski. Önerdiğin olay şemasıyla bitir.

Bu depodaki kaynaklı AI cevaplarına "kaynak açma ve doğrulama davranışını ölç" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Dört olay kaydet: atıf gösterildi, önizleme açıldı, kaynak açıldı, kaynak kapandı (kaynakta geçen süre ve pasaja inilip inilmediğiyle). Her olay atıf kimliği, kaynak kimliği, cevap kimliği ve cevabın konusunu taşısın.
2. Kaynak açıldıktan sonra aynı cevap için kullanıcının hareketini bağla: kopyaladı, düzeltti, yeniden sordu, "kaynak bunu söylemiyor" diye bildirdi.
3. Haftalık bir pano kur: gösterilen, önizlenen, açılan ve açıldıktan sonra düzeltilen atıf payları, konuya göre ayrı. Hassas konular (izin, ücret, sağlık, hukuk) ayrı satırda dursun.
4. Açılma payı eşiğin altında kalan konularda her hafta rastgele bir atıf örneklemi oluşturup ekibin destek denetimine gönderen bir iş ekle. Denetimde bulunan hata payını panoda açılan atıflarınkiyle yan yana göster.
5. Hangi etkileşimin kaydedildiğini kullanıcıya gizlilik metninde ya da ayarlarda söyle.

Uygularken:
- Olaylara cevabın ya da kaynağın metnini, kullanıcının adını ya da e-postasını koyma. Kimlik ve konu yeter.
- Panoyu kişi düzeyinde değil toplu oranla kur. Kimin neyi açmadığını gösteren bir rapor yapma.
- Açılma payını hedef metrik yapma ve kullanıcıyı kaynağı açmaya zorlayan bir adım ekleme.
- Bir test ekle: kaynaklı bir cevap çiz, önizlemeyi ve kaynağı aç, olayların doğru alanlarla ve metin taşımadan kaydedildiğini doğrula. İkinci test: hiç açılmayan atıfların örneklem işine düştüğünü doğrula.

## Kaynak açmayı ölç
- Kaynak gösteren bir arayüz yazarken atıfın gösterilmesini, önizlenmesini ve açılmasını ayrı olaylar olarak kaydet.
- Atıfın ekranda durmasını kontrol edilmiş saymak için yeterli görme. Raporda "kaynaklı" ve "açılmış" sayılarını ayrı ver.
- Olaylara cevabın ya da kaynağın metnini ve kişisel veri koyma. Kimlik ve konu yeter.
- Açılma payını konuya göre ayır, hassas konuları ayrı göster.
- Kullanıcıyı kaynağı açmaya zorlayan bir adım ekleme. Açılmayan yerde desteği ekip örneklemle denetler.

Düşük açılma payı tek başına kötü bir işaret sayılmaz. Kullanıcı iyi bildiği konuda kaynağa bakmaz, bakması da gerekmez. Pay ancak konunun riskiyle ve örneklemde bulunan hata payıyla birlikte okununca bir şey söyler.

Payı yükseltmek için kullanıcıyı zorlama. Her cevapta kaynağı açtıran ya da “okudum” kutusu koyan arayüz kontrolü bir törene çevirir ve kullanıcı okumadan onaylamayı öğrenir.

Ölçüm gözetime dönmesin. Olaylar yalnız toplu oran için toplanır, kişi bazında rapor çıkmaz. Cevabın ve kaynağın metni kayda girmez. Google'ın PAIR rehberi davranış verisini toplarken kullanıcıya haber vermeyi ve iznini önceden almayı⁸ öneriyor.

Ölçüm atıfı düzeltmez. Açılmayan atıfın desteğini ürün kendisi denetlemeli, kontrolü kolaylaştırmak da ayrı bir desen.