Doğrulamayı tek bakışa indir

Satın alma uzmanı asistana tedarik sözleşmesini soruyor: tedarikçi gecikirse ne kadar ceza kesebiliriz? Cevap iki oran veriyor ve sonunda bir atıf numarası duruyor. Numara sözleşmenin dosyasına gidiyor. Uzman tıklıyor, belge ilk sayfada açılıyor ve önünde uzun bir sözleşme duruyor.

Cümlenin dayandığı iki satırı bulmanın iki yolu var: sayfaları kaydırmak ya da belgede arama yapmak. Uzman “gecikme” diye arıyor, sonuç onlarca yerde çıkıyor. Sözleşme cezadan “cezai şart” diye söz ediyor. Uzman bir süre sonra aramayı bırakıyor ve cevaba güveniyor. Atıf ekrandaydı, kontrol hiç yapılmadı.

Zarar burada başlıyor. Oran yanlışsa tedarikçiye giden yazışmaya, oradan bir anlaşmazlığa taşınıyor. Uzman maddeyi sonradan bulduğunda kanıtın baştan beri belgede durduğunu görüyor. Onu bulmak yalnız aramayı gerektiriyordu. Bir atıfın değeri, kullanıcının onu ne kadar çabuk kontrol edebildiğine bağlı.

Kontrolün bedelini kullanıcı ödemiyor. Ding ve ekibinin deneyinde en az bir kaynak taşıyan 1.976 cevaptan yalnız 193'ü, yani %9,77'si¹ açılıp kontrol edildi. Atıfların büyük çoğunluğu okunmadan geçti. Ürün ekibi bu sessizliği güven sanıyor.

Mühendislik tarafında konum yolda düşüyor. Getirme hattı belgeyi parçalara böler ve modele parçayı verir. Arayüze yalnız belgenin adı ve adresi taşınırsa parçanın sayfası, maddesi ve karakter aralığı kaybolur. Belge görüntüleyici de belirli bir yerde açılacak şekilde kurulmamışsa atıf ancak belgenin başına gidebilir.

Model de kontrolü pahalılaştıran yöne çekiyor. Okur akıcı, yorumlayan cevabı daha yararlı buluyor. Worledge, Hashimoto ve Guestrin'in ölçümünde cevap kaynaktan uzaklaştıkça algılanan yararlılık %200'e kadar arttı². Aynı cevaplarda kaynağı doğrulamak daha uzun sürdü. Ürün beğeniye göre ayarlandıkça cümle kaynağın kelimelerinden uzaklaşabilir ve atıf bir arama işine dönüşür.

Ölçüm de bunu göstermiyor. Ekip atıfın var olup olmadığını sayar. Kullanıcının cümlenin dayandığı satırı kaç saniyede bulduğu hiçbir panoda yer almaz.

Atıf kontrolün arama kısmını kullanıcı adına yapar. Cümlenin dayandığı metni bulur, gösterir ve belgeyi orada açar. Kullanıcıya iki metni karşılaştırmak kalır.

1. Atıf pasaja gider. Atıf belgenin adıyla birlikte cümleyi destekleyen pasajın yerini taşır: sayfa, madde, karakter aralığı. Getirme hattı bu konumu parçanın meta verisinde baştan sona taşır.
2. Alıntı cevabın yanında görünür. Numaranın üstüne gelince ya da cevabın altında pasaj birebir görünür. Kullanıcı kontrolün çoğunu belgeyi açmadan yapar.
3. Belge o yerde ve vurgulu açılır. Tıklama belgeyi pasajın olduğu sayfada, pasaj işaretli açar. Web sayfasında bunu metin parçası bağlantısı (#:~:text=) yapar, PDF'te sayfa ve konum.
4. Alıntı birebir olur. Gösterilen metin belgeden kopyalanır, model onu yeniden yazmaz. Yeniden yazılmış alıntı ikinci bir kontrol ister.
5. Yer bulunamazsa söylenir. Sistem pasajın yerini kesin bulamadığında kullanıcıyı sessizce belgenin başına göndermez. “Tam yeri bulunamadı” der ve alıntıyı yine gösterir.
6. Yüksek riskte cümle kaynağa yakın kalır. Para, sağlık ve hukuk cevaplarında cümle kaynağın kelimelerine yakın yazılır. Kontrol süresi bu yakınlıkla kısalır.

Karşılaştırmayı yine kullanıcı yapar. Desen yalnız aramayı ortadan kaldırır.

Aynı soru, aynı cevap, iki ayrı atıf. Soldaki numara sözleşmenin tamamına gidiyor ve belge ilk sayfada açılıyor. Sağdaki numaranın altında cümlenin dayandığı iki satır birebir duruyor ve düğme belgeyi o maddede, alıntı vurgulu açıyor.

Google'ın Gemini Notebook'u cevaplarda kaynaklardaki doğrudan alıntıları atıf olarak kullanıyor. Yardım sayfasına göre atıfın üstüne gelince alıntının tamamı görünüyor, atıfı seçince alıntının olduğu yere gidip onu bağlamında okuyabiliyorsun³.

Anthropic'in Citations API'si her atıfla birlikte alıntılanan metni (cited_text) ve konumunu döndürüyor: düz metinde karakter aralığı, PDF'te sayfa numarası, kendi bloklarına böldüğün içerikte blok sırası. Belge, alıntının API tarafından doğrudan çıkarıldığını ve atıfların sağlanan belgelere geçerli işaretçiler taşımasının garanti olduğunu⁴ yazıyor. Arayüzün alıntıyı göstermek ve belgeyi o konumda açmak için ihtiyaç duyduğu iki alan böylece hazır geliyor.

Google aramada öne çıkan snippet'e tıklayan kullanıcı, site ek bir işaret koymasa da sayfanın o bölümüne doğrudan iniyor⁵. Tarayıcı bunu desteklemiyorsa ya da sistem yeri kesin bulamıyorsa tıklama sayfanın başına gidiyor. Google bu sınırı belgesinde açıkça yazıyor.

Web'de bu davranışın ortak altyapısı WICG'nin metin yönergesi taslağı. Adresin sonuna eklenen bir metin parçası, tarayıcının sayfadaki o metni öne çıkarabilmesini ya da kullanıcının dikkatine getirebilmesini⁶ sağlıyor. Taslak kendini W3C standardı olarak tanımlamıyor ve standart yolunda değil.

Worledge, Hashimoto ve Guestrin aynı sorulara, kaynak parçalarını olduğu gibi veren listeden serbest yoruma uzanan beş ayrı biçimde cevap ürettiler ve eğitimli değerlendiricilere her cümleyi atıflarıyla doğrulattılar. Alıntı yapan cevaplar en hızlı doğrulandı. Soyut cevaplarda doğrulama 3 kata kadar uzadı². Alıntıyı yalnız başka kelimelerle yeniden yazmak bile doğrulama süresini %40'tan fazla artırdı². Üsluptaki küçük bir fark, kontrolde ölçülebilir bir yük getiriyor.

Kontrol işi olan kişiler için bile pahalı. Liu, Zhang ve Liang'ın ücretli değerlendiricileri kaynak gösteren bir cevabı ortalama yaklaşık dört dakikada⁷ değerlendirdi. Bu süre cevabın akıcılığını ve yararlılığını puanlamayı da içeriyor. İşi bu olan ve ücret alan biri için bile bir cevabı değerlendirmek dakikalarla ölçülüyor.

Bu ölçümler deney ortamında yapıldı. Worledge'in değerlendiricileri eğitimliydi, Ding'in katılımcıları çevrim içi bir panelden geldi. Hiçbiri senin ürünündeki kontrol süresini söylemez. Yön yine de aynı: kullanıcılar atıfların çoğunu açmıyor ve kontrol alıntıya yaklaştıkça hızlanıyor.

• Doğrulama süresi. Kullanıcı testinde bir cümle seçtir ve atıfına bakıp cümlenin desteklenip desteklenmediğine karar vermesinin kaç saniye sürdüğünü ölç. Desenden önce ve sonra karşılaştır.
• Pasajda açılma payı. Atıf tıklamalarının ne kadarı belgeyi pasajın olduğu yerde açıyor, ne kadarı başa düşüyor? Başa düşenleri belge türüne göre ayır.
• Alıntının birebirliği. Gösterilen alıntıların belgede birebir geçip geçmediğini otomatik ölç. Hedef, istisnasız hepsi.
• Önizleme ve açma oranı. Kullanıcılar atıfların ne kadarında alıntıyı açıyor ya da belgeye gidiyor? Bu sayı tek başına başarı sayılmaz, ama sıfıra yakınsa kontrol hâlâ pahalı.
• Kontrolden sonra düzeltme. Alıntıyı gören kullanıcının cevabı düzelttiği, yeniden sorduğu ya da bildirdiği durumları say. Yanlış atıflar en çok buradan görünür.

Üç metin var. Denetim promptu getirme hattında konum bilgisinin nerede düştüğünü, atıfın alıntı taşıyıp taşımadığını ve tıklamanın belgeyi nerede açtığını tarar, yalnız rapor yazar ve hiçbir dosyayı değiştirmez. Uygulama promptu konumu atıfa kadar taşır, alıntıyı birebir gösterir ve belgeyi pasajda açar. Önce planı gösterir, onayınla uygular ve çok sayfalı bir PDF'le çalışan bir test ekler. Kural kodlama ajanının kendi işi için. Senin ajanın da atıf üretirken konumu ve alıntıyı birlikte versin.

Bu depoda kaynak göstererek cevap veren bir AI özelliği var: belge üzerinde soru-cevap, arama cevabı ya da kaynaklı rapor. Görevin, kullanıcının bir atıfı ne kadar zahmetle kontrol edebildiğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Getirme (retrieval) hattını bul: belge nasıl parçalanıyor, her parça hangi meta veriyi taşıyor (belge kimliği, sayfa, madde, karakter aralığı)? Bu konum bilgisi modelin cevabına ve arayüze kadar ulaşıyor mu, yoksa bir katmanda düşüyor mu?
2. Atıf veri yapısını incele: atıf yalnız belge adı ve adresi mi, yoksa alıntılanan metni ve konumunu da taşıyor mu? Model yerleşik bir atıf özelliği mi kullanıyor, yoksa atıf serbest metinden mi ayrıştırılıyor?
3. Arayüzde alıntı görünüyor mu (üstüne gelince ya da cevabın altında)? Gösterilen metin belgeden birebir mi, yoksa modelin yeniden yazdığı bir özet mi?
4. Atıfa tıklanınca ne oluyor: belge ilk sayfada mı açılıyor, pasajın olduğu yerde mi? Pasaj vurgulanıyor mu? Web kaynaklarında metin parçası bağlantısı (#:~:text=) ya da benzeri, PDF'lerde sayfa ve konum kullanılıyor mu?
5. Konum bulunamadığında ne oluyor? Kullanıcıya söyleniyor mu, yoksa sessizce belgenin başına mı gidiliyor?
6. Alıntı gösterilmeden önce kullanıcının o belgeye erişim yetkisi denetleniyor mu?

Rapor biçimi: her bulgu için dosya ve satır, ne olduğu, kullanıcının bir atıfı kontrol etmek için ne yapmak zorunda kaldığı (örnek: atıf PDF'i ilk sayfada açıyor, kullanıcı maddeyi elle arıyor) ve önerdiğin düzeltme. Konum bilgisinin düştüğü katmandan başla.

Bu depodaki kaynaklı AI cevaplarına "doğrulamayı tek bakışa indir" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Getirme hattı her parçanın belgedeki konumunu taşısın: belge kimliği, sayfa, varsa madde ya da başlık, karakter aralığı. Bu bilgi atıfa kadar ulaşsın.
2. Her atıf alıntılanan metni birebir taşısın. Alıntıyı belgeden kopyala ya da modelin yerleşik atıf özelliğinin döndürdüğü alıntıyı kullan. Modelin yeniden yazdığı metni alıntı diye gösterme.
3. Arayüzde atıfın üstüne gelince ya da cevabın altında alıntı ve konumu (belge, sayfa, madde) görünsün.
4. Atıfa tıklanınca belge pasajın olduğu yerde, pasaj vurgulu açılsın. Web sayfalarında metin parçası bağlantısı (#:~:text=) kullan, PDF'lerde ilgili sayfaya git ve konumu işaretle.
5. Konum bulunamazsa kullanıcıya "tam yeri bulunamadı" de ve alıntıyı yine göster.
6. Alıntıyı göstermeden önce kullanıcının belgeye erişim yetkisini denetle.

Uygularken:
- Önce konum bilgisinin hangi katmanda düştüğünü bul ve orada düzelt. Arayüzde konumu sonradan tahmin etmeye çalışma.
- Alıntının belgede birebir geçtiğini kodla doğrula (metin karşılaştırması). Geçmiyorsa alıntıyı gösterme ve bunu günlüğe yaz.
- Bir test ekle: çok sayfalı bir PDF'ten gelen bir atıfın doğru sayfayı ve doğru metni döndürdüğünü, alıntının belgede birebir geçtiğini doğrula. İkinci test: konumu bilinmeyen bir atıfta arayüzün "tam yeri bulunamadı" dediğini doğrula.

## Doğrulamayı tek bakışa indir
- Atıf üretirken belgenin adıyla birlikte pasajın konumunu (sayfa, madde, karakter aralığı) taşı.
- Atıfın yanında cümleyi destekleyen metni birebir göster. Alıntıyı yeniden yazma.
- Atıfa tıklanınca belgeyi pasajın olduğu yerde, pasaj vurgulu aç.
- Konumu bulamazsan bunu söyle. Kullanıcıyı sessizce belgenin başına gönderme.
- Kullanıcının erişemediği belgeden alıntı gösterme.

Kısa bir kaynaktan gelen kısa cevapta, bir paragrafta ya da bir tablo satırında, belgenin kendisi zaten tek bakışta okunur. Ayrı bir alıntı katmanı gerekmez.

Alıntı pasajı ekrana taşır. Kullanıcının erişim yetkisi olmayan bir belgeden alıntı göstermek veri sızdırır. Alıntıyı göstermeden önce erişimi denetle ve alıntıyı cümleyi destekleyen kadarla sınırla.

Metni olmayan belgede alıntı da olmaz. Anthropic'in belgesi metni çıkarılamayan taranmış PDF'lerin atıf alamadığını⁴ yazıyor. Bu belgelerde önce metin tanıma gerekir.

Hızlı kontrol yanlış atıfı kendiliğinden düzeltmez. Alıntı yalnız kullanıcının cümleyle kaynağı karşılaştırmasını kolaylaştırır. Alıntının cümleyi gerçekten desteklediğini ürün ayrıca denetlemeli. Her cevabı alıntıya çevirmek de cevabı kurutur, kaynağa yakın yazmayı riskin yüksek olduğu alanlara sakla.