Neyi yapıp neyi yapamadığını ilk ekranda söyle

Kullanıcı şirketin yeni sözleşme asistanını ilk kez açıyor. Karşılama tek cümle: size nasıl yardımcı olabilirim? Altında soluk bir satır var, AI hata yapabilir. İlk sorusu bu yıl sona eren sözleşmelerin toplam bedeli. Asistan net bir sayı veriyor ve sayı yönetime giden rapora giriyor. İki hafta sonra finans ekibi farkı buluyor. Dokuz sözleşme taranmış PDF'ti ve asistan onları hiç okumamıştı.

Kullanıcı bu noktada iki yoldan birine sapıyor. Ya asistanın her cevabından şüphe ediyor ve onu bir daha açmıyor, ya da hatayı hiç fark etmiyor ve aynı sayıyı başka raporlara da taşıyor. İki yolun kaynağı aynı. Kullanıcı asistanın sınırını ürünün ilk ekranından öğrenmedi, ilk hatasından öğrendi.

Asistanın taranmış PDF okuyamadığı ilk günden belliydi. Ekip biliyordu, kullanıcı bilmiyordu. Bedeli bilmeyen taraf ödedi.

İlk ekran bir vitrin gibi tasarlanıyor. Ekip yeteneği gösteriyor, sınırı saklıyor, çünkü yazılı bir sınır demoda ürünü zayıf gösteriyor.

Genel uyarı ekibe işin yapıldığı hissini veriyor. “AI hata yapabilir” satırı her üründe aynı ve kullanıcıya hangi işte dikkat edeceğini söylemiyor. Bu yüzden davranışını da değiştirmiyor. Kullanıcı satırı ilk gün görüyor, ikinci gün görmüyor.

Model de boşluğu kendiliğinden doldurmuyor. Dosya işleyicisi taranmış PDF'i atladığında modelin önüne yalnız okunan metin geliyor. Model atlanan dosyadan habersiz, elindekiyle tam görünen bir cevap kuruyor. Sınırın bilgisi ürünün kodunda duruyor. Kod onu arayüze taşımazsa kullanıcıya kimse söylemiyor.

Son neden ölçümde. Ekipler ilk haftanın kullanım sayısına bakıyor. İlk hatasından sonra dönmeyen kullanıcı panoda yalnızca kayıp olarak görünüyor, neden kaybedildiği görünmüyor.

Kullanıcı AI'ın sınırını ilk hatasından önce öğrenir. Sınır bu ürünün kendi işinin diliyle yazılır: hangi dosya, hangi hesap, hangi dönem.

1. Yaptığı işi fiille söyle. “Sözleşmelerde madde bulur, özet çıkarır, karşılaştırır.” Akıllı, güçlü gibi sıfatlar beklentiyi şişirir. Fiil kapsamı çizer.
2. Zayıf olduğu işi adıyla yaz. Ekibin bildiği en sık üç hatayı seç: okuyamadığı dosya türü, yanıldığı hesap, bilmediği dönem. “Hata yapabilir” yerine “birçok belgedeki tutarları toplarken yanılabilir” yaz.
3. Hiç yapmadığı işi ayrı söyle. Hukuki görüş vermemek ile toplamda yanılabilmek farklı şeyler. İlki kullanıcıyı başka bir yola yollar, ikincisi kontrol etmeye çağırır. Aynı satırda durmazlar.
4. Her sınırın yanına ne yapılacağını koy. “Toplamı tablodan kontrol et.” “Taranmış belgeyi metin olarak yükle.” Kullanıcı sınırı okuyunca ne yapacağını da öğrenir.
5. Sınırı cevapta tekrar et. İlk ekran bir kez okunur. Sınıra dokunan cevap o sınırı kendi içinde söyler. Kaç dosyanın okunamadığı sayının hemen yanında durur.
6. Listeyi kanıttan güncelle. Sınırlar değerlendirme sonuçlarından ve hata kayıtlarından gelir. Model değişince liste de değişir.

Liste kısa kalır. Üç yetenek, üç sınır. Uzun listeyi kimse okumaz ve okunmayan sınır yazılmamış sayılır.

Aynı sözleşme asistanı, iki ilk ekranla. Soldaki karşılama genel bir uyarıyla yetiniyor ve ilk soruya eksik veriyle tam görünen bir sayı veriyor. Sağdaki ilk ekran neyi okuyup neyi okuyamadığını söylüyor ve aynı sınırı cevabın içinde tekrar ediyor.

Apple'ın üretken AI tasarım kılavuzu yeteneği ve sınırı açıkça söylemeyi bir kural olarak koyuyor. Özelliğin bilinen bir sınırı varsa bunu kullanıcıya baştan söylemeyi, iyi sonucun yolunu göstermeyi ve zayıf sonucun nedenini açıklamayı¹ istiyor.

Microsoft'un insan ve AI etkileşimi kılavuzu bu işi iki ayrı kurala bölüyor. Birincisi kullanıcıya sistemin neyi yapabildiğini² anlatmak, ikincisi bunu ne sıklıkla yanlış yapabileceğini anlatmak. İkinci kuralın gerekçesi bu desenin iki ucunu birlikte söylüyor. İnsanlar AI'ın hata sayısını ya fazla ya az tahmin ediyor³ ve iki yanılgı da zarar doğuruyor. Kılavuzun önerdiği yollar arasında arayüzdeki dilin kesinliğini sistemin gerçek başarısına uydurmak ve başarı düştüğünde uyarı göstermek var.

GitHub, Copilot Chat'in sınırlarını somut yazıyor. Az yaygın dillerde daha düşük kaliteli sonuç⁴, İngilizce dışındaki promptlarda farklı başarı, geçerli görünen ama yanlış kod ve kodlama dışı sorularda anlamsız cevap. Bu liste bir belge sayfasında duruyor. Bu desen aynı listenin en sık karşılaşılan iki üç satırını kullanıcının ilk gördüğü ekrana taşır.

Microsoft Research'te Kocielnik, Amershi ve Bennett, e-postadaki toplantı isteklerini yakalayan bir zamanlama asistanıyla çalıştı. İki sürümün isabeti aynıydı, %50⁵. Sürümler yalnız hangi tür hatadan kaçındıklarıyla ayrılıyordu ve kullanıcıların algıladığı isabet ile kabul çok farklı çıktı. Araştırmacılar kullanıcıyı kusura önceden hazırlayan beklenti ayarları tasarladı ve bu ayarlar kabulü anlamlı biçimde artırdı⁵.

Dietvorst, Simmons ve Massey ilk hatanın neden bu kadar pahalı olduğunu gösteriyor. İnsanlar aynı hatayı gördükten sonra algoritmaya insandan daha hızlı güvenini kaybediyor⁶. Beş deneyde algoritmanın insandan iyi tahmin ettiğini gören katılımcılar bile onu seçmekten kaçındı. Beklenmeyen hata güveni tek seferde götürüyor.

Sorunun öteki ucu aşırı güven. Microsoft'un literatür taraması bunu kullanıcının yanlış AI çıktısını kabul etmeye başlaması⁷ diye tanımlıyor ve bu yolun da sonunda güven kaybına çıktığını yazıyor. Büyük dil modelleri üzerine çalışan Subramonyam ve arkadaşları, kullanıcının aşması gereken ilk boşluğu modelin işi yapıp yapamayacağını bilmek⁸ diye koyuyor.

Bu çalışmaların ikisi sohbet arayüzünden önceki sistemlerle yapıldı, biri tahmin algoritmalarıyla. Etkinin senin ürünündeki büyüklüğünü söylemezler, yönünü söylerler.

• İlk hatadan sonra dönüş. Kullanıcının ilk düzelttiği ya da beğenmediği cevaptan sonraki yedi günde geri gelip gelmediğine bak. Sınır ekrandaysa bu oran hiç hata görmemiş kullanıcılarınkine yaklaşır.
• Zayıf işe ilk istek. İlk oturumdaki isteklerin ne kadarı ilk ekranda yazan zayıf işlere düşüyor? Ekran işini yapıyorsa bu pay düşer.
• Kontrol davranışı. Sınırı yazılı işlerde, toplamda ya da tarihte, kullanıcı tabloya ya da kaynağa tıklıyor mu? Hiç tıklamıyorsa uyarı okunmuyor.
• Sınırla ilgili destek talebi. “Neden bu dosyayı okumadı” türünden talepleri say. Sınır yazılıysa azalır.
• Kullanıcının tahmini. Yeni kullanıcıya ilk oturumdan sonra AI'ın yapamadığı bir işi sor. Doğru cevaplayanların payı ilk ekranın işini yapıp yapmadığını söyler.

Üç metin var. Denetim promptu ürünündeki AI özelliğinin ilk ekranını, karşılama metnini ve uyarı satırlarını tarar, koddaki gerçek sınırlarla karşılaştırır, yalnız rapor yazar ve hiçbir dosyayı değiştirmez. Uygulama promptu sınırları tek bir yapılandırmada toplar, ilk ekrana ve sınıra dokunan cevaplara bağlar. Önce planı gösterir, onayınla uygular ve bir sınırı tetikleyen bir test ekler. Kural kodlama ajanının kendi çalışması için. O da sana neyi yapamadığını işe başlamadan söylesin.

Bu depoda kullanıcıya açılan bir AI özelliği var (sohbet, asistan paneli ya da AI düğmesi). Görevin, kullanıcının bu özelliğin neyi yapıp neyi yapamadığını ilk ekranda öğrenip öğrenmediğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. AI özelliğinin ilk açıldığı yerleri bul: boş sohbet ekranı, karşılama mesajı, ilk kullanım (onboarding) adımları, yer tutucu metinler, yardım balonları. Bu metinlerin tanımlandığı bileşenleri ve çeviri dosyalarını listele.
2. Bu metinlerde AI'ın yaptığı işler fiille ve bu ürünün işiyle mi yazılmış, yoksa "her konuda yardımcı olurum" gibi genel bir cümle mi var?
3. Zayıf olduğu ya da hiç yapmadığı işler yazılmış mı? "AI hata yapabilir" gibi genel uyarıları ayrı say, hangi işte yanıldığını söyleyen somut satırları ayrı say.
4. Sistem promptunu, araç tanımlarını ve dosya işleme kodunu oku. Gerçek sınırları çıkar: okunamayan dosya türleri, boyut ve sayfa sınırları, bağlam penceresinde kesilen içerik, erişilemeyen veri kaynakları, bilginin kaldığı tarih, desteklenmeyen diller. Bu listeyi ilk ekrandaki metinlerle karşılaştır.
5. Bir sınıra takılan isteğin cevabında (okunamayan dosya, kesilen bağlam, desteklenmeyen dil) bu durum kullanıcıya söyleniyor mu, yoksa cevap eksik veriyle tammış gibi mi kuruluyor? Bunu yapan kodu bul.
6. Sınır metinleri tek bir yerde mi tanımlı, yoksa birden çok bileşene dağılmış mı? Model ya da yapılandırma değişince bu metinleri güncelleyen bir yol var mı?

Rapor biçimi: önce koddan çıkardığın gerçek sınırların listesi. Sonra her sınır için ilk ekranda yazıyor mu (evet, yalnız genel uyarı, hayır), sınıra takılan cevapta söyleniyor mu, ilgili dosya ve satır, önerdiğin kısa metin. Kullanıcıya en çok zarar verebilecek sessiz sınırdan başla.

Bu depodaki AI özelliğine "neyi yapıp neyi yapamadığını ilk ekranda söyle" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Sınırlar tek bir yapılandırmada tanımlı olsun: yaptığı işler (en çok üç, fiille), zayıf olduğu işler (en çok üç, her birinin yanında kullanıcının ne yapacağı) ve hiç yapmadığı işler. Her madde koddaki gerçek bir sınıra ya da değerlendirme sonucuna dayansın.
2. AI özelliğinin ilk ekranı (boş durum, karşılama, ilk kullanım) bu yapılandırmadan beslensin. Genel "hata yapabilir" uyarısı kalabilir ama somut satırların yerini tutmasın.
3. Bir isteğin cevabı bir sınıra dokunduğunda (okunamayan dosya, kesilen bağlam, desteklenmeyen dil, çok belgeli hesap) cevap bunu kendi içinde söylesin: neyi kapsadığını, neyi kapsamadığını ve kullanıcının neyi kontrol etmesi gerektiğini.
4. Okunamayan ya da atlanan girdiler sayılsın ve kullanıcıya gösterilsin (örnek: "212 dosyadan 9'u okunamadı").
5. İlk ekrandaki liste kısa kalsın. Ayrıntılı liste bir bağlantının arkasında dursun.

Uygularken:
- Sınırları tahminle yazma. Kodda, yapılandırmada ya da değerlendirme kayıtlarında karşılığı olmayan bir sınırı listeye koyma, emin olmadıklarını bana sor.
- Metinleri mevcut çeviri ya da içerik sistemine koy, bileşene gömme.
- Bir test ekle: desteklenmeyen bir dosya türüyle istek gönder ve cevabın atlanan dosyayı adıyla ya da sayısıyla söylediğini doğrula. İlk ekranın sınır yapılandırmasından beslendiğini doğrulayan bir bileşen testi de yaz.

## Neyi yapamadığını baştan söyle
- İşe başlamadan önce bu işin hangi kısmını yapamayacağını ya da doğrulayamayacağını söyle: erişemediğin dosya, çalıştıramadığın komut, bilmediğin sürüm.
- Okuyamadığın ya da atladığın girdiyi sessizce dışarıda bırakma. Sayısını ve adını cevaba yaz.
- Ürüne kullanıcıya görünen bir uyarı eklerken "AI hata yapabilir" ile yetinme. Hangi işte yanılabileceğini somut yaz.
- Sınır metnini koddan, yapılandırmadan ya da değerlendirme sonucundan çıkar, tahmin etme.
- Bir cevap bilinen bir sınıra dokunuyorsa sınırı o cevabın içinde tekrar et.

Tek işi olan dar bir araçta ayrı bir sınır ekranı gerekmez. Yalnız çeviri yapan bir düğmenin adı kapsamı zaten söyler. Orada tek satır yeter, düğmenin hemen yanında.

Uzun liste okunmaz. Sınır listesi on maddeye çıkınca kullanıcı hiçbirini okumaz. En sık üç hatayı ilk ekrana yaz, gerisini bir bağlantının arkasına koy.

Sınır listesi eskir. Model değişince zayıf olduğu iş de değişir. Liste değerlendirme sonuçlarından güncellenmezse kullanıcı artık geçerli olmayan bir uyarıya göre davranır, ya gereksiz kontrol yapar ya yeni zayıflığı görmez.

Bu desen ilk ekranı düzeltir, cevabın doğruluğunu düzeltmez. Asistan taranmış PDF'leri okumaya başlamadıkça toplam eksik kalır. Desen yalnız kullanıcının bunu bilerek okumasını sağlar.