Kaynağın türünü ve ağırlığını göster

Kullanıcı bir soru soruyor, AI dört cümlelik bir cevap veriyor ve cümlelerin sonuna köşeli numaralar koyuyor. Numaraların biri üreticinin kullanım kılavuzu, biri on yıllık bir forum yanıtı, biri bir mizah sitesindeki yazı. Ekranda üçü de aynı görünüyor: aynı boyda numara, aynı gri bağlantı. Kullanıcı numarayı görünce cevabın kaynaklı olduğuna karar veriyor. Kaynağın ne tür bir metin olduğuna bakmıyor.

Numara tek bir şey söyler: bu cümlenin arkasında bir belge var. Belgenin ne olduğu ayrı bir bilgi ve arayüz onu göstermiyor. Okur boşluğu kendi dolduruyor, çoğu zaman en iyimser hâliyle. Cevabı yazan model de kaynakları ağırlıksız topluyor ve kılavuzdaki adım ile forumdaki alaycı öneri aynı cümleye karışıyor.

Zarar iki yerden büyüyor. Şaka, kaynaklı bir öneri olarak okunuyor ve uygulanıyor. Hata ortaya çıktığında kullanıcı cümlenin hangi parçasının hangi kaynaktan geldiğini çözemiyor, bu yüzden cevabın doğru kısmına da güvenmiyor.

Aynı biçimde gösterilen iki kaynak, okurun gözünde aynı ağırlıkta iki kaynaktır.

Kaynak numarası ekip için tamamlanmış bir iş gibi görünür: cevap kaynaklı, bağlantılar açılıyor. Kaynağın türünü ayrıca belirlemek arama hattında bir sınıflandırma, arayüzde yeni bir alan ve bakımı süren bir tür listesi demek. Demo sorularında da kaynaklar iyi çıkar, çünkü demo soruları iyi belgelenmiş konulardan seçilir.

Arama hattı ise kendiliğinden ters yöne çalışır. Soruya en çok benzeyen metni getirir. Kimsenin ciddiye almadığı bir soruda en çok benzeyen metin çoğu zaman bir şakadır. Google bu durumu “veri boşluğu” diye adlandırıyor. “Kaç taş yemeliyim?” sorusunu ciddiye alan neredeyse hiç sayfa yoktu, AI özeti de o soruyu ele alan birkaç siteden birine¹ bağlandı. O site bir mizah yazısını yeniden yayımlamıştı. Model metni getirdikten sonra cevabı aynı kendinden emin tonla yazar, kaynağın türü cümleye yansımaz.

Üçüncü neden ölçümde. Değerlendirmeler cevabın kaynağa bağlı olup olmadığına ve kaynağın cümleyi destekleyip desteklemediğine bakar. Kaynağın türü ölçülmez. Forum yanıtına dayanan doğru cevap da, kılavuza dayanan doğru cevap da aynı puanı alır.

Kaynak numarası okura yalnız “bir belge var” der. Okurun ne kadar güveneceğini belgenin türü belirler, bu yüzden tür numaranın yanında durur ve cevabın kuruluşunu da belirler. NIST'in üretken AI profili yüksek bütünlüklü bilgiyi tarif ederken aynı ayrımı istiyor: bilgi olguyu kurgudan, görüşten ve çıkarımdan ayırır ve ne kadar denetlendiğini açıkça söyler².

1. Her kaynağın türünü yanına yaz. Resmi belge, üretici belgesi, araştırma, haber, görüş, forum, blog, mizah. Okur türü kaynağı açmadan görür. Alan adı tek başına yetmez, okur alan adının ne yayımladığını bilmeyebilir.
2. Türü sayfaya göre belirle. Aynı site haber, köşe yazısı, okur yorumu ve mizah yayımlar. Etiket sitenin geneline göre konursa güvenilir bir yayıncının mizah programı da güvenilir görünür.
3. Cevabı ağır kaynağa dayandır. Resmi ya da birincil kaynak varken forum yanıtı ana iddiayı taşımaz. Bir kullanıcının deneyimi cevaba girerse cümle bunu söyler: “bunu bir kullanıcı kendi deneyimi olarak anlatıyor.”
4. Mizahı ve görüşü olgu gibi yazma. Mizah olarak tanınan kaynak cevaba girmez. Görüş yazısı girerse görüş diye geçer ve sahibinin adıyla anılır.
5. Dışarıda bıraktığını göster. Elenen kaynak gizlenmez. Neden kullanılmadığı tek satırda yazar, kullanıcı isterse açar.
6. Kaynak zayıfsa söyle. Soruya yalnız forumlar ve bloglar cevap veriyorsa cevap bunu ilk cümlede söyler.

Etiket kaynağı okumanın yerini tutmaz. Kullanıcıya hangi kaynağı önce açacağını söyler.

Aynı kombi sorusu, iki ayrı cevapla. Soldaki üç kaynağı aynı numarayla gösteriyor ve mizah yazısındaki “vur” önerisini kılavuzdaki adımla aynı cümleye koyuyor. Sağdaki her kaynağın türünü yazıyor, ana adımı kılavuza dayandırıyor, forum deneyimini forum deneyimi diye aktarıyor ve mizah yazısını neden kullanmadığını söylüyor.

Perplexity bazı alıntıların yanına küçük bir kalkan simgesi koyuyor ve kaynağı üç etiketten biriyle işaretliyor: Government, Academic ya da Trusted³. Kaynağın üstüne gelince etiketle birlikte sitenin ne yayımladığını anlatan tek bir cümle açılıyor. Yardım sayfası iki sınırı da açıkça yazıyor. Etiketin olmaması sitenin kötü olduğunu göstermiyor, site henüz değerlendirilmemiş olabilir. Etiket de sitenin geneline ait, içindeki makaleleri tek tek ayırmıyor.

Consensus akademik arama sonuçlarında makalenin türünü gösteriyor: meta-analiz, sistematik derleme, randomize kontrollü deney, gözlemsel çalışma, olgu sunumu, hayvan ya da tüp deneyi. Dergi için SJR çeyreğini veriyor, Q1 alanındaki en etkili dergiler, Q4 en az etkililer. Yardım sayfası aynı tanımları hem süzgeç hem rozet için veriyor ve atıf sayısına bir uyarı ekliyor: çok atıf almak bulgunun daha geçerli olduğu anlamına gelmiyor⁴, yalnız makalenin etkisini gösteriyor.

Google Mayıs 2024'te aynı soruna sistem tarafından yaklaştı. Düzeltme listesinde AI özetlerinde mizah içeriğinin kullanımını sınırlamak ve yanıltıcı öneri verebilecek cevaplarda kullanıcı içeriğini kısmak¹ var. Bu değişiklik hangi kaynağın cevaba gireceğini belirliyor. Google'ın yazısı arayüzde kaynağın türünü gösteren bir etiketten söz etmiyor.

Google AI Overviews, Mayıs 2024. Google AI özetlerini ABD'de herkese açtıktan sonraki hafta sosyal medyada tuhaf ve yanlış özetler dolaştı. Google'ın aramadan sorumlu başkan yardımcısı Elizabeth Reid'in açıklamasına göre bir kısmı veri boşluğundan çıktı: “Kaç taş yemeliyim?” sorusunda özet, bir jeoloji yazılımı şirketinin sitesinde yeniden yayımlanmış bir mizah yazısına bağlandı. Başka özetler tartışma forumlarındaki alaycı ya da trol içeriği¹ kullandı, peyniri pizzaya tutkalla yapıştırma önerisi bunlardan biriydi. Reid aynı yazıda dolaşan ekran görüntülerinin bir kısmının sahte olduğunu, örneğin köpeği arabada bırakmak gibi konulardaki tehlikeli özetlerin hiç görünmediğini de yazdı. Gerçek olan hatalarda mizah ve forum içeriği, ciddi bir sorunun cevabına başka her kaynak gibi girmişti.

EBU ve BBC araştırması, Ekim 2025. 22 kamu yayıncısı ChatGPT, Copilot, Perplexity ve Gemini'nin ücretsiz sürümlerine haber soruları sordu, cevapları kendi gazetecileri değerlendirdi. Radio France'ın sorusunda Gemini, kurumun bir mizah programını ciddi bir haber sorusuna kaynak yaptı. Değerlendiren gazeteci, sohbet botunun yanlış bilgiyi Radio France'ın adıyla bilginin mizahi bir kaynaktan geldiğini söylemeden⁵ aktardığını yazdı. Perplexity de bir Tesla sorusunda bir mizah köşe yazısına dayandı ve bunu belirtmedi. Fin yayıncı Yle'nin notu sorunu tek cümlede tarif ediyor: asistanlar bütün kaynaklara eşit güvenilirlikte davranıyor, sosyal medya, düşünce kuruluşları ve kişisel bloglar köklü haber kuruluşlarıyla güvenilirlik farkına dair hiçbir işaret olmadan⁵ yan yana duruyor.

Radio France örneği bir şey daha gösteriyor. Mizah programı güvenilir bir yayıncının sitesindeydi ve kullanıcı o yayıncının kaynaklarını istemişti. Site düzeyinde bir etiket bu hatayı yakalamazdı.

Bu kanıtlar bir olaydan ve gazetecilerin değerlendirmesinden geliyor. Kaynak türünü göstermenin kullanıcının şakayı fark etme oranını ne kadar değiştirdiğini ölçmüyorlar. Bunu kendi ürününde ölçmen gerekir.

• Mayıs 2024Google'ın AI özetleri mizah yazısını ve forum şakasını ciddi cevap gibi sundu

• Türsüz alıntı. Cevaplardaki alıntıların ne kadarının tür etiketi taşıdığını say. “Bilinmiyor” etiketinin payı da ayrıca izlenmeli, yüksekse sınıflandırma yetişmiyor.
• Zayıf kaynağa dayanan ana iddia. Cevaplardan örneklem al, ana iddiası yalnız forum, blog ya da mizah kaynağına dayananları say. Aynı soruda resmi ya da birincil kaynak varken bu sayı sıfıra yakın olmalı.
• Yanlış etiket. Etiketlerden rastgele bir örneklemi elle kontrol et. Mizah programı “haber”, köşe yazısı “araştırma” diye etiketlenmiş mi?
• Şaka ve görüş şikâyeti. “Bu bir şaka”, “bu bir görüş yazısı” diye gelen geri bildirimleri say. Desen yerindeyse bu sayı düşer.

Üç metin var. Denetim promptu ürünündeki AI'ın kaynakları nasıl getirdiğini, türlerini belirleyip belirlemediğini ve arayüzde nasıl gösterdiğini tarar, yalnız rapor yazar. Uygulama promptu deseni koda geçirir. Önce planı gösterir, onayınla her kaynağa tür alanı ekler, cevabı kaynağın ağırlığına göre kurar ve bunu sınayan testler ekler. Kural kodlama ajanının kendi çalışması için: ajanın bir forum yanıtından aldığı çözümü resmi belgeden alınmış gibi sunmasın.

Bu depoda kaynak göstererek cevap veren bir AI özelliği var (web araması, belge araması ya da RAG). Görevin, cevapta gösterilen kaynakların türünü ve ağırlığını kullanıcıya gösterip göstermediğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Kaynakları getiren kodu bul: arama çağrısı, retriever, vektör sorgusu, yeniden sıralama (reranker). Getirilen her sonuçta hangi alanlar var (adres, başlık, alan adı, yayıncı, tarih)? Kaynağın türünü (resmi belge, üretici belgesi, araştırma, haber, görüş, forum, blog, mizah) tutan bir alan var mı?
2. Tür alanı varsa nasıl belirleniyor: alan adı listesi, sayfa meta verisi, model sınıflandırması? Site düzeyinde mi, sayfa düzeyinde mi? Aynı sitenin haber, köşe yazısı, okur yorumu ve mizah bölümleri ayrılıyor mu?
3. Sıralama ve seçim: forum, kullanıcı yorumu, görüş ve mizah içeriği ayrı ağırlık alıyor mu? Aynı soruda resmi ya da birincil kaynak varken zayıf bir kaynak cevabın ana iddiasını taşıyabiliyor mu?
4. Modele giden sistem promptunu ve kaynak bloğunu oku. Model her kaynağın türünü görüyor mu? Promptta mizahı ve görüşü olgu gibi yazmama, tek bir kullanıcının deneyimini öyle olduğunu söyleyerek aktarma kuralı var mı?
5. Arayüzde alıntı bileşenini bul. Numaranın ya da çipin yanında tür, yayıncı ve tarih görünüyor mu? Bütün kaynaklar aynı biçimde mi çiziliyor?
6. Elenen kaynaklar ve zayıf kaynak durumu: cevaba girmeyen kaynaklar kullanıcıya gösteriliyor mu? Soruya yalnız forum ve bloglar cevap veriyorsa cevap bunu söylüyor mu?

Rapor biçimi: her bulgu için dosya ve satır, ne olduğu, kullanıcının nasıl yanılabileceği (örnek: mizah sitesindeki öneri üretici kılavuzundaki adımla aynı numaralı dipnotla görünür) ve önerdiğin düzeltme. Bulguları sağlık, para, hukuk ve güvenlik sorularını etkileyenlerden başlayarak sırala.

Bu depodaki AI özelliğine "kaynağın türünü ve ağırlığını göster" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Getirilen her kaynağa bir tür alanı ekle. Kısa ve sabit bir sözlük kullan: resmi, üretici, araştırma, haber, görüş, forum, blog, mizah, bilinmiyor.
2. Türü sayfa düzeyinde belirle. Alan adı listesiyle başla, sayfanın yolunu ve meta verisini de kullan (ör. yorum, forum, mizah bölümleri). Belirleyemediğinde "bilinmiyor" yaz, tahmin etme.
3. Sıralamada türü kullan. Aynı soruda resmi, üretici ya da araştırma kaynağı varsa forum, blog ve görüş ana iddiayı taşımasın. Mizah olarak işaretlenen kaynak cevaba girmesin.
4. Modele kaynakları türleriyle birlikte ver. Sistem promptuna ekle: forum ve kişisel deneyim cevaba girerse cümle bunu söylesin ("bir kullanıcı kendi deneyimi olarak anlatıyor"), görüş görüş diye geçsin, mizah olgu gibi yazılmasın.
5. Arayüzde her alıntının yanında türü, yayıncıyı ve tarihi göster. Cevaba girmeyen kaynakları "kullanılmadı" diye, tek satırlık nedeniyle ayrı göster.
6. Soruya yalnız zayıf kaynaklar cevap veriyorsa cevabın başında bunu söyle.

Uygularken:
- Tür sözlüğünü tek bir yapılandırmada tut. Arayüz, sıralama ve prompt aynı yerden okusun.
- Site düzeyindeki etiketi sayfa düzeyindeki işaretle ez: güvenilir bir sitenin mizah ya da okur yorumu bölümü kendi türünü alır.
- Testler ekle: (a) aynı soruya bir üretici belgesi ve bir mizah sayfası getir, cevabın mizah sayfasına dayanmadığını ve onu "kullanılmadı" diye gösterdiğini doğrula. (b) yalnız forum kaynağı olan bir soruda cevabın bunu söylediğini doğrula. (c) arayüzdeki her alıntının bir tür etiketi taşıdığını doğrula.

## Kaynağın türünü ve ağırlığını göster
- Bir çözümü, sürümü ya da davranışı anlatırken kaynağını ve türünü yaz: resmi belge, değişiklik günlüğü, issue, forum yanıtı, blog.
- Resmi belge ya da depodaki kod varken forum yanıtını ana dayanak yapma. Forumdan aldığın bir çözümü forumdan aldığını söyleyerek öner.
- Mizahı, görüşü ve tek bir kullanıcının deneyimini olgu gibi yazma.
- Yalnız zayıf kaynak bulduysan bunu söyle ve çözümü denemeden önce neyin doğrulanması gerektiğini yaz.
- Kaynaklar çelişiyorsa çelişkiyi ve hangisine neden daha çok güvendiğini yaz.

Kaynakların hepsi aynı türdense desen gerekmez. Yalnız şirketin kendi politika belgelerinde arama yapan bir asistanda her kaynağın yanına “resmi belge” yazmak bilgi taşımaz. Desen karışık kaynakların geldiği yerde işe yarar: açık web araması, forumları ve belgeleri birlikte tarayan destek asistanları.

Tür, doğruluğun yerine geçmez. Resmi belge eskimiş olabilir, forum yanıtı doğru olabilir, hakemli dergide yayımlanan bir çalışma sonradan geri çekilebilir. Etiket okura nereden başlayacağını söyler, kaynağı okumayı gereksiz kılmaz.

Etiket kalabalığı cevabı okunmaz kılar. Her alıntıya uzun bir açıklama ekleme. Beş altı türlük sabit bir sözlük ve tek kelimelik etiket yeter, ayrıntı kaynağın üstüne gelince açılır.

Desen zayıf kaynağı görünür kılar, iyi kaynak üretmez. Veri boşluğunda ciddi bir kaynak yoktur. Orada yapılacak en iyi şey bunu söylemek ve cevabı kısa tutmak.