AI'ın gördüğü bağlamı göster ve düzenlet

Kullanıcı tedarikçi sözleşmesindeki fesih süresini belge panelindeki asistana soruyor. Çalışma alanında sözleşmenin şablonu da imzalı son hâli de açık. Asistan 30 gün diyor ve madde numarasını veriyor. Kullanıcı imzalı metinde 60 gün yazdığını hatırlıyor. Hangisine baktığını sorduğunda asistan aynı cevabı tekrar ediyor.

Cevabın arkasında bir seçim var ama kullanıcı onu göremiyor. Asistan açık sekmeyi kendiliğinden okumuş ve o sekme şablonmuş. İki belgede de aynı madde numarası olduğu için cevap inandırıcı görünüyor. Kullanıcının elinde yanlışın kaynağını arayacağı tek ipucu yok: hangi dosya, hangi sayfa, bağlama nasıl girdi. Kullanıcı yeni bir sohbet açıyor, soruyu baştan yazıyor, imzalı dosyayı sürükleyip bırakıyor ve bu kez doğru belgeye bakılıp bakılmadığını yine bilmiyor.

AI'ın ne gördüğü görünmüyorsa kullanıcı yanlış cevabı modelin hatası sanır ve düzeltebileceği tek yeri, bağlamı, hiç denemez.

Bağlamı kendiliğinden toplamak ürün ekiplerinin en çok gösterdiği özelliklerden biri. Asistanın açık sekmeyi, seçimi ve son belgeleri kullanıcı bir şey eklemeden bilmesi demoda büyü gibi görünür. Aynı otomatiklik, neyin okunduğunu kullanıcının gözünden saklar.

Bağlamın kuralları tek bir ürünün içinde bile değişiyor. Visual Studio Code'da varsayılan ayarlarla soru modu açık dosyayı bağlama katıyor, ajan modu yalnız ek olarak öneriyor, ajanlar penceresinde ise bu davranış kapalı başlıyor. Belge kullanıcıyı açıkça uyarıyor: önerilen ek açıkça eklenmiş dosyayla aynı şey değil¹ ve önemli bir kaynağı açık editörün sağladığını varsaymadan isteğe eklemek gerekiyor. Kullanıcı ekranda gördüğü dosyanın AI'a da gittiğini varsayıyor. Satıcı bunu biliyor ve uyarıyı belgeye koyuyor. Uyarı, kullanıcının cevabı okuduğu yerde durmuyor.

Model de neyi görmediğini kendiliğinden söylemez. Bağlamda olmayan bir belge hakkında soru gelince elindeki en yakın metinden cevap kurar. Şablonla imzalı metin aynı madde numarasını taşıyorsa model farkı bilemez, çünkü ikincisini hiç görmemiştir. Ölçüm de bu hatayı ayırmaz. Yanlış cevap geldiğinde ekip önce prompta ve modele bakar. Hangi isteğe hangi kaynağın gittiği kaydedilmiyorsa bağlam hatası panoda ayrı bir satır olarak hiç görünmez.

Bağlam AI'ın girdisi ve kullanıcı bu girdiyi görebilmeli, değiştirebilmeli. Arayüz neyin okunacağını istekten önce, neyin okunduğunu cevapla birlikte gösterir.

1. Gönderilmeden önce göster. Modele gidecek her kaynak giriş kutusunun yanında bir çip ya da satır olarak durur. Kendiliğinden eklenen kaynaklar (açık sekme, seçili metin, talimat dosyası) kullanıcının eklediklerinden ayırt edilir.
2. Nasıl girdiğini yaz. Her kaynağın yanında eklenme yolu durur: kullanıcı ekledi, açık sekmeden geldi, aramayla bulundu. Kullanıcı eklemediği bir kaynağı ilk bakışta tanır.
3. Tek adımda ekle ve çıkar. Kullanıcı bir kaynağı çipinden çıkarır, @ ile ya da sürükleyerek yenisini ekler. Çıkarılan kaynak istekten de düşer.
4. Cevapla birlikte sakla. Her cevabın yanında o cevap için okunan kaynaklar ve mümkünse bölüm, sayfa ya da satır aralığı durur. Kullanıcı sonradan baktığında cevabın neye dayandığını görür.
5. Düşeni söyle. Bağlam sığmadığı için kırpılan, özete çevrilen ya da dışarıda kalan kaynakları arayüz söyler. Uzun sohbette baştaki dosyanın hâlâ okunduğunu varsayan kullanıcı uyarılır.

Kullanıcı bağlamı düzelttiğinde yanlış cevabı kaynağında düzeltmiş olur ve aynı soruyu farklı kelimelerle yeniden sormak zorunda kalmaz.

Aynı sözleşme sorusu, iki ayrı panelde. Soldaki asistan açık sekmedeki şablonu sessizce okuyor ve kullanıcı sorduğunda da kaynağını söylemiyor. Sağdaki okuduğu belgeyi ve belgenin nasıl eklendiğini cevabın üstüne yazıyor. Kullanıcı imzalı metni ekleyip şablonu çıkarıyor ve cevap yeni bağlamla geliyor.

Visual Studio Code bağlamı kaynaklarına ayırıyor: açık editör, # ile bahsedilen dosyalar, araç çıktıları, sohbet geçmişi. Belgesine göre isteğe girmeyen bilgi modele ulaşmıyor ve kullanıcı # yazarak ya da artı simgesiyle dosya, klasör ve sembol ekliyor¹.

Visual Studio'daki GitHub Copilot Chat kullanıcının sohbette görmediği bağlamı da listeye koyuyor. Depodaki özel talimat dosyasının içeriği sohbette görünmüyor ama Copilot onu kullandığında dosya cevabın References listesinde² yer alıyor. Kurum düzeyindeki talimatlar da aynı listede çıkıyor ve kullanıcı listedeki öğeyi seçerek talimatın tamamını açabiliyor.

Google'ın NotebookLM olarak tanınan, yardım merkezinde artık Gemini Notebook adıyla geçen aracı sohbet cevaplarını yalnız kullanıcının eklediği kaynaklardan kuruyor. Kullanıcı modelin hangi kaynakları kullanacağını seçiyor³. Cevaptaki bir atıfın üstüne gelince alıntının tamamı görünüyor, atıfı seçince kaynaktaki yer açılıyor.

Claude Code'da kullanıcı @ ile dosya ya da klasörü doğrudan bağlama ekliyor⁴. Belge kapsamı da söylüyor: klasöre bahsetmek içeriği değil, dosya listesini ekliyor. /context komutu bağlam penceresini neyin doldurduğunu gösteriyor⁵. İkisi de kullanıcının istemesine bağlı, kendiliğinden ekranda durmuyor.

Bu desen için kamuya mal olmuş bir olay ya da bağlamı göstermenin kullanıcı davranışına etkisini ölçen bir deney bu sayfanın kaynakları arasında yok. Desen satıcıların kendi belgelerine dayanıyor. Belgelerin kendisi de bir kanıt: VS Code'un belgesi kullanıcıyı açık editörün tam dosyayı sağladığını varsaymamaya çağırıyor. Satıcı kullanıcının bu varsayımı yaptığını gördüğü için uyarıyı yazmış.

Bağlamdaki her bilgi cevapta kullanılmıyor. Liu ve arkadaşları modellerin uzun bağlamdaki bilgiyi her konumda aynı güvenle kullanmadığını⁶ ölçtü. İlgili bilgi bağlamın başında ya da sonundayken başarı en yüksek, ortasındayken belirgin biçimde düşük. Bağlam listesinde bir dosyanın görünmesi modelin o dosyayı cevapta kullandığını göstermez. Cevabın dayandığı bölümü gösteren atıf bu yüzden listeden daha çok şey söyler.

Bu ölçüm çok belgeli soru cevaplama ve anahtar değer bulma görevlerinde yapıldı, bir belge panelindeki asistanın davranışını birebir söylemez. Yön yine de açık. Kullanıcı neyin gönderildiğini de, neyin kullanıldığını da görmeli.

Cevap doğruluğu tek başına bu desenin işe yarayıp yaramadığını söylemez. Bakılacak yer, kullanıcının yanlış cevabın kaynağını ne kadar çabuk bulup düzelttiği.

• Bağlam düzeltme payı. Kullanıcının cevaptan sonra bağlama kaynak eklediği ya da çıkardığı oturumların payı. Hiç yoksa bağlam görünmüyor ya da değiştirmek zor. Çok yüksekse kendiliğinden toplanan bağlam çoğu zaman yanlış kaynağı seçiyor.
• Aynı soruyu yeni sohbette sorma. Kullanıcının bir cevaptan hemen sonra yeni sohbet açıp aynı soruyu sorduğu durumlar. Bağlam düzenlenebiliyorsa bu sayı düşer.
• Görünmeyen kaynak payı. Modele giden kaynaklardan arayüzde gösterilmeyenlerin payı. İstek kaydını arayüzdeki listeyle karşılaştır. Hedef sıfır.
• Kaynak soruları. “Hangisine baktın”, “bu nereden geldi” gibi mesajlar. Bağlam cevabın yanında duruyorsa bu sorular azalır.
• Düşen kaynak bildirimi. Sığmadığı için kırpılan ya da düşen kaynakların kaçının kullanıcıya söylendiği. Hedef hepsi.

Üç metin var. Denetim promptu modele giden isteği kuran kodu tarar, hangi kaynağın kullanıcı görmeden bağlama girdiğini ya da düştüğünü bulur. Yalnız rapor yazar ve hiçbir dosyayı değiştirmez. Uygulama promptu bağlamı tek bir veri yapısında toplar, arayüzü ve isteği aynı yapıdan üretir ve cevabın yanına okunan kaynakları koyar. Önce planı gösterir, onayınla uygular. Kural kodlama ajanının kendi çalışması için. Senin ajanın da cevap verirken hangi dosyayı okuduğunu söylesin.

Bu depoda bir AI özelliği kullanıcının dosyalarını, seçimlerini, açık sayfalarını ya da arama sonuçlarını bağlam olarak modele gönderiyor. Görevin, kullanıcının AI'ın gördüğü bağlamı görüp düzenleyebildiğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Modele giden isteği kuran kodu bul. Hangi kaynaklar bağlama giriyor: açık dosya ya da sekme, seçili metin, ekler, arama ve RAG sonuçları, sohbet geçmişi, özel talimat dosyaları, bellek?
2. Bu kaynaklardan hangileri kullanıcı bir şey yapmadan, otomatik ekleniyor? Her otomatik kaynak arayüzde görünüyor mu (çip, etiket, liste)?
3. Kullanıcı bir kaynağı istekten önce çıkarabiliyor ya da ekleyebiliyor mu? Çıkarılan kaynak gerçekten istekten düşüyor mu, yoksa yalnız arayüzden mi kalkıyor?
4. Cevapla birlikte, o cevap için hangi kaynakların gönderildiği kaydediliyor ve gösteriliyor mu? Kaynak adının yanında bölüm, sayfa ya da satır aralığı var mı?
5. Bağlam penceresi dolduğunda ne oluyor: eski mesajlar ya da dosyalar sessizce mi kırpılıyor, özete mi çevriliyor? Kullanıcıya hangi kaynağın düştüğü söyleniyor mu?
6. Bir dosya sığmadığı için kısmen gönderildiyse (ilk N satır, ilk N sayfa, yalnız klasör listesi) bu kullanıcıya gösteriliyor mu?

Rapor biçimi: her bulgu için dosya ve satır, hangi kaynağın görünmeden bağlama girdiği ya da düştüğü, kullanıcının bunu nasıl yanlış cevap olarak yaşayacağı (örnek: açık sekmedeki eski sürüm okunur, cevap imzalı metinle çelişir) ve önerdiğin düzeltme. Bulguları kullanıcıya en az görünen kaynaktan başlayarak sırala.

Bu depodaki AI özelliğine "AI'ın gördüğü bağlamı göster ve düzenlet" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Modele gidecek her kaynak, istek gönderilmeden önce giriş kutusunun yanında görünür: ad, tür ve nasıl eklendiği (kullanıcı ekledi, açık sekmeden geldi, aramayla bulundu, talimat dosyası).
2. Kullanıcı her kaynağı tek tıkla çıkarır ve yeni kaynak ekler (@ ile bahsetme, sürükle bırak ya da seçici). Çıkarılan kaynak istekten de düşer.
3. Her cevapla birlikte o cevap için gönderilen kaynakların listesi saklanır ve cevabın yanında gösterilir. Mümkünse bölüm, sayfa ya da satır aralığı da yazılır.
4. Bağlam sığmadığı için kırpılan, özete çevrilen ya da düşen kaynaklar kullanıcıya söylenir.
5. Kullanıcı cevabın yanından bağlamı değiştirip aynı soruyu yeniden çalıştırabilir.

Uygularken:
- Bağlam listesini tek bir veri yapısında tut (örnek: [{kaynak, tur, eklenme_yolu, kapsam}]). Hem arayüzü hem modele giden isteği bu yapıdan üret, ikisi ayrışmasın.
- Otomatik eklenen kaynakları ayrıca işaretle. Kullanıcı en çok onları gözden kaçırır.
- Özel talimat dosyalarını ve belleği de listede göster, içerikleri katlanmış dursa bile.
- Bir test ekle: bir kaynağı arayüzden çıkar ve modele giden isteğin o kaynağı içermediğini doğrula. Cevabın yanında gösterilen kaynak listesinin istekteki listeyle aynı olduğunu da doğrula.

## AI'ın gördüğü bağlamı göster ve düzenlet
- Bir cevap verirken hangi dosyayı, seçimi ya da sayfayı okuduğunu cevabın başında söyle.
- Bir kaynağın bağlama nasıl girdiğini belirt: kullanıcı mı ekledi, açık sekmeden mi geldi, aramayla mı bulundu.
- Kullanıcının eklediğini sandığı ama sende olmayan bir kaynak varsa bunu söyle, varmış gibi cevap verme.
- Bir dosyanın yalnız bir kısmını okuduysan hangi kısmı okuduğunu yaz.
- Kullanıcı bağlamı değiştirdiyse cevabı yeni bağlamla baştan kur.

Tek kaynaklı yüzeylerde ayrı bir bağlam listesi gerekmez. Kullanıcı tek bir belgenin içinde satır içi bir düzeltme istiyorsa bağlam zaten o belge. Desen birden çok kaynağın aynı anda açık olabildiği yerler için: çalışma alanı, kod deposu, bağlı hesaplar.

Her şeyi göstermek de bağlamı gizler. Yirmi çipten oluşan bir liste okunmaz. Kullanıcının eklediklerini ve kendiliğinden eklenen kaynakları öne al, uzun listeyi katla.

Bağlam listesi erişim izninin yerini tutmaz. AI'ın neye dokunabildiği ayrı bir soru ve ayrı bir ekranda cevaplanmalı.

Listede görünen kaynak cevapta kullanılmamış olabilir. Liste neyin gönderildiğini gösterir, atıf cevabın hangi bölüme dayandığını.