Kullanıcının önce kendi tahminini yazmasına yer aç

Kredi analisti sabahın ilk dosyasını açıyor. Ekranın en üstünde AI'ın önerisi duruyor: onay, risk sınıfı B, nakit akışı düzenli. Bilançoya, banka dökümüne ve sözleşmelere ondan sonra bakıyor. Okuduğu her satır artık tek bir soruya cevap veriyor: AI haklı mı? Düzenli nakit akışını görünce rahatlıyor. Cironun büyük kısmının tek bir müşteriden geldiğini ve o müşterinin sözleşmesinin yakında bittiğini gösteren ek dosyanın sonunda duruyor. Analist oraya gelmeden onaylıyor.

Önce görülen cevap bir çapa olur. Kişi kendi cevabını kurmak yerine hazır cevabı doğrulamaya geçer ve doğrulama, cevabı destekleyen kanıtı aramakla sınırlı kalır. AI haklıyken bu akış hızlı ve doğru çalışır. AI yanıldığında hatayı yakalayabilecek tek kişi analisttir, ama elindeki tek görüş AI'ınkidir.

Zarar zamanla büyür. Analist her dosyada aynı sırayı izler. AI'ın yanıldığı dosyalar da haklı olduğu dosyalar kadar hızlı geçer. Kontrol, AI'ın cevabını ikinci kez okumaktan ibaret kalır. AI'ın cevabını önce gören kişi birinci görüşü onaylar ve ekip bunu ikinci görüş sanır.

Önce kişinin kendi cevabını istemek ürünü yavaşlatır görünür ve kullanıcılar bundan hoşlanmaz. Buçinca ve arkadaşlarının deneyinde aşırı güveni en çok azaltan tasarımlar, katılımcıların en az beğendiği tasarımlar oldu¹. Fogliato ve arkadaşlarının çalışmasında önce kendi kararını kaydeden radyologlar AI'ın önerisini daha az faydalı buldu². Memnuniyet anketine ve “AI işinize yarıyor mu” sorusuna bakan ekip bu akışı ilk sürümde kaldırır.

Arayüzün varsayılanı da ters yönde. Sohbet arayüzü cevabı sorunun hemen altına basar. Karar destek ekranında AI'ın önerisi ürünün vitrini sayılır ve en üste konur. Akışta kişinin kendi cevabını yazacağı bir yer olmayınca AI o cevabı hiç öğrenemez, kişinin gerekçesine karşılık da veremez.

Üçüncü neden ölçümde. Ekipler son kararın doğruluğunu bütün vakalar üzerinden ölçer. Buçinca'nın verisinde bütün vakalara bakınca bilişsel zorlama tasarımlarıyla basit açıklamalı tasarımlar arasında anlamlı fark çıkmadı. Fark yalnız AI'ın yanıldığı vakalarda göründü. Kişinin AI'ı görmeden verdiği cevap hiçbir yerde kaydedilmiyorsa çapalama da görünmez. Ekip analistin AI'la aynı fikirde mi olduğunu, yoksa AI'ı mı izlediğini ayırt edemez.

Riskli bir kararda kişi önce kendi cevabını kaydeder. AI'ın cevabı ondan sonra açılır ve iki cevap yan yana durur.

1. Önce kişinin cevabını al. AI'ın önerisi kişi kendi kararını kaydedene kadar kapalı kalır. Kayıt kısa tutulur: karar ve tek cümlelik gerekçe. Uzun bir form kapıyı atlanacak bir engele çevirir.
2. Kapıyı riskli karara koy. Geri dönüşü zor, AI'ın yanılabildiği ve kişinin kendi cevabını kurabileceği kararları seç. Rutin ve kolay geri alınan işte kapı yalnız yük olur.
3. Farkı göster. AI'ın cevabı açılınca iki karar yan yana durur ve ayrıştıkları yer işaretlenir. AI kişinin gerekçesine cevap verir: bu bilgiyi tarttım ya da tartmadım.
4. Ayrışmada ikinci göz çağır. Fogliato'nun çalışmasında önce kendi kararını kaydeden radyologlar AI'la ayrıştıklarında bir meslektaşın görüşünü daha az istedi. Ayrışma anında kıdemliye ya da ikinci okuyucuya giden yol tek tık uzakta durur.
5. Fikir değiştirmeyi kolay yap. Kişi ilk cevabına bağlanabilir. Kararı değiştirmek ilk cevabı silmez, ikisi de kayda geçer ve ekran değişikliği bir hata gibi sunmaz.
6. İlk cevabı sakla. Kaydedilen ilk cevap kişinin AI'sız yargısının tek izidir. Onu AI'ın önerisiyle ve son kararla birlikte sakla. Ölçüm buradan çıkar.

Sırayı ekran belirler. Kişi önce kendi cevabını kurarsa AI'ın cevabı bir kontrole dönüşür. Önce AI'ınkini görürse kendi cevabı çoğu zaman hiç kurulmaz.

Aynı kredi dosyası, iki ayrı akış. Soldaki ekran AI'ın önerisini en üste koyuyor ve birincil düğme onu onaylamak. Sağdaki analistten önce kendi kararını ve gerekçesini alıyor, AI'ın önerisini ondan sonra açıyor ve iki kararın ayrıştığı yeri gösteriyor.

Tıbbi görüntülemede bu sıra ürünün tanımına yazılır. ABD Gıda ve İlaç Dairesi (FDA), bilgisayar destekli tespit cihazlarının klinik değerlendirmesine dair kılavuzunda iki okuma biçimini ayırıyor. İkinci okuyucu olarak tanımlanan cihazda işaretler, okuyucu kendi okumasını bitirdikten hemen sonra görünüyor³. Eş zamanlı okumada işaretler okuma boyunca her an açık. Kılavuza göre klinik değerlendirmedeki okuma düzeni cihazın beyan edilen kullanım amacıyla uyumlu olmalı. Sıra ürünün tanımının parçası.

iCAD'in mamografi yazılımı SecondLook'un kullanım kılavuzu sırayı kural olarak koyuyor. Radyolog önce mamogramı eksiksiz, geleneksel yolla okumalı⁴, CAD işaretlerini ancak bundan sonra açabilir.

Microsoft'un ürün ekipleri için yazdığı aşırı güven çerçevesi, bilişsel zorlama işlevlerini AI hatasını fark etmeyi kolaylaştıran önlemler arasında sayıyor: sürtünme, kullanıcıya düşünmesi için zaman tanımak, onay pencereleri. Çerçeve aynı yerde önlemlerin ters tepebileceğini⁵ yazıyor ve her önlemin gerçek kullanıcılarla sınanmasını istiyor.

Buçinca, Malaya ve Gajos katılımcılara yemek fotoğraflarında karbonhidratı en yüksek malzemeyi bulup yerine geçecek malzemeyi seçme görevi verdi. Benzetilmiş bir AI öneri yaptı, önerilerin bir kısmı bilerek yanlıştı. Denenen üç bilişsel zorlama tasarımından biri bu desenin kendisiydi: katılımcı önce AI'sız karar veriyor, sonra AI'ın önerisini görüp kararını güncelleyebiliyordu. Bilişsel zorlama tasarımları basit açıklamalı tasarımlara göre aşırı güveni anlamlı biçimde azalttı¹. Üç zorlama tasarımı kendi aralarında anlamlı biçimde ayrışmadı. AI yanıldığında bu tasarımlarla çalışanlar bile hiç AI görmeyen gruptan daha kötü karar verdi.

Fogliato ve arkadaşları aynı soruyu klinikte sordu. 19 veteriner radyolog² röntgenlerdeki bulguları bir AI aracının yardımıyla işaretledi. Bir grup AI'ın çıktısını en baştan gördü, öteki grup önce geçici kararını kaydetti. Önce karar veren radyologlar, AI haklı olsun yanlış olsun, AI'la daha az uyuştu. Ayrıştıklarında bir meslektaşa daha az danıştılar. Önce karar vermek okuma süresini uzatmadı. Yazarlara göre bu radyologlar AI'la ayrıştıklarında geçici kararlarını nadiren değiştirdi.

Rastogi ve arkadaşları çapalamayı zamanla çözmeyi denedi. AI'ın güveni düşükken kişiye daha fazla süre ayıran ve açıklama gösteren bir dağıtım, AI düşük güvenle yanıldığında kişiyi çapadan kurtardı ve ortak başarıyı artırdı⁶.

Gajos ve Mamykina sıranın neyi değiştirmediğini gösterdi. Önce kendi seçimini yapıp sonra AI'ın önerisini ve açıklamasını gören katılımcılar daha iyi karar verdi, ama konuyu öğrenmedi⁷. Desen tek kararı korur, kişinin bilgisini zamanla büyütmez.

Bu deneyler kısa görevlerde, çevrimiçi katılımcılarla ya da küçük bir uzman grubuyla yapıldı. Senin ürünündeki etkiyi söylemezler, ama nereye bakacağını gösterirler: AI'ın yanıldığı vakalar.

Onay oranı bu desenin işe yarayıp yaramadığını söylemez. Bakılacak yer, kişinin ilk cevabı ile son kararı arasındaki yol.

• İlk cevaptan AI'a geçiş. Kişinin ilk cevabını AI'ınkiyle değiştirdiği vakaları say, AI'ın haklı ve yanlış olduğu vakalarda ayrı ayrı. AI haklıyken geçiş yüksek, yanlışken düşük olmalı.
• AI yanıldığında son karar. AI'ın yanlış olduğu etiketli vakalarda kapılı ve kapısız akışın doğruluğunu karşılaştır. Desen yerindeyse fark burada çıkar.
• Ayrışmada ikinci görüş. İki cevabın ayrıştığı vakaların kaçında kişi ikinci bir göz çağırdı? Pay düşükse ayrışmalar sessizce bir taraf seçilerek kapanıyor.
• İlk cevabın kalitesi. Kaydedilen ilk cevapların doğruluğu zamanla düşüyorsa kişi kapıyı geçmek için rastgele bir cevap yazıyor.
• Süre ve atlama. Karar başına süreyi ve gerekçesi boş ya da tek kelime geçilen kayıtların payını izle. Fogliato'nun çalışmasında süre uzamadı, senin ürününde ayrıca ölç.

Üç metin var. Denetim promptu AI önerisinin karar ekranına hangi sırayla geldiğini, kişinin AI'sız cevabının bir yerde kaydedilip kaydedilmediğini ve ayrışmaların ölçülüp ölçülmediğini tarar, yalnız rapor yazar. Uygulama promptu riskli kararlar için önce kişinin cevabını alan, sonra iki cevabı yan yana gösteren akışı kurar. Önce planı gösterir, onayınla uygular ve önerinin kişi cevabını kaydetmeden istemciye ulaşmadığını kanıtlayan bir test ekler. Kural kodlama ajanının kendi çalışması için. Senden geri dönüşü zor bir karar istediğinde önce senin tercihini sorsun.

Bu depoda bir kişinin AI önerisi yardımıyla karar verdiği bir ekran ya da akış var (onay, red, sınıflandırma, puanlama, teşhis, hasar ya da risk değerlendirmesi). Görevin, AI'ın önerisinin kişinin kendi yargısından önce mi sonra mı gösterildiğini ve kişinin AI'sız cevabının bir yerde kaydedilip kaydedilmediğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. AI önerisinin üretildiği ve gösterildiği yerleri bul: model çağrısı, öneriyi taşıyan API cevabı, karar ekranının bileşenleri, öneriyi gösteren kart ya da rozet.
2. Öneri kişiye ne zaman ulaşıyor: ekran açılır açılmaz mı, kişi bir şey yaptıktan sonra mı? Öneri istemciye erken gönderilip yalnız görsel olarak mı gizleniyor?
3. Kişinin AI'ı görmeden kendi kararını ve gerekçesini girebileceği bir alan var mı? Varsa zorunlu mu, atlanabiliyor mu?
4. Ekranın birincil düğmesi ne yapıyor? AI'ın önerisini onaylamak tek tıkla mı, kişinin kendi kararını kaydetmek daha mı zahmetli?
5. Veri modelinde kişinin ilk cevabı, AI'ın önerisi ve son karar ayrı alanlarda mı saklanıyor, yoksa yalnız son karar mı?
6. Kişinin cevabı ile AI'ın önerisi ayrıştığında ne oluyor: ayrışma gösteriliyor mu, ikinci bir kişiye danışma yolu var mı?
7. Hangi karar türlerinde bu akış gerekli? Karar türüne ya da riske göre ayar var mı, yoksa her kararda aynı akış mı çalışıyor?
8. Ölçüm: AI'ın yanıldığı etiketli vakalarda son kararın doğruluğu ayrı raporlanıyor mu? Kişinin AI'ın önerisine geçiş oranı AI haklıyken ve yanlışken ayrı sayılıyor mu?

Rapor biçimi: her bulgu için dosya ve satır, ne olduğu, kişinin hangi noktada AI'ın cevabını kendi yargısından önce gördüğü (örnek: öneri sayfa yüklenince kartta çiziliyor ve onay düğmesi birincil) ve önerdiğin düzeltme. Geri dönüşü en zor kararlardan başla.

Bu depodaki karar ekranına "kullanıcının önce kendi tahminini yazmasına yer aç" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Riskli karar türleri için "önce kişi" akışı kur. Hangi karar türlerinde çalışacağı tek bir yapılandırmada dursun, rutin kararlar eski akışta kalsın.
2. Bu akışta AI'ın önerisi sunucuda üretilip saklansın, ama kişi kendi kararını kaydedene kadar istemciye gönderilmesin.
3. Kişi kararını ve tek cümlelik gerekçesini kaydetsin. Alan kısa olsun: karar seçimi ve bir satır metin.
4. Kayıttan sonra kişinin kararı ve AI'ın önerisi yan yana açılsın. Ayrıştıkları alanlar işaretlensin. Gerekçe varsa AI ona cevap versin: bu bilgiyi tarttım mı, tartmadım mı.
5. Ayrışmada ikinci bir kişiye danışma düğmesi görünsün.
6. Kişi kararını değiştirebilsin. İlk cevap, AI'ın önerisi ve son karar ayrı alanlarda, zaman damgasıyla saklansın. İlk cevap sonradan düzenlenemesin.

Uygularken:
- Öneriyi istemcide CSS ya da durum bayrağıyla gizleme. Ağ sekmesinden okunabilen öneri kişiyi yine çapalar.
- Kişinin AI'ın önerisini görüp görmediğini ve ne zaman gördüğünü olay olarak kaydet.
- Kapının atlanma yolunu (boş gerekçe, tek karakter) ayrıca say ve raporla.
- Bir test ekle: "önce kişi" akışındaki bir karar türünde, kişinin cevabı kaydedilmeden öneri uç noktasının öneriyi döndürmediğini ve kayıttan sonra döndürdüğünü doğrula. İlk cevabın sonradan değiştirilemediğini doğrulayan bir test de yaz.

## Önce kullanıcının görüşünü al
- Kullanıcıdan geri dönüşü zor bir karar istediğinde (şema değişikliği, silme, mimari seçim, sürüm) önce seçenekleri tarafsız listele ve kullanıcının tercihini sor. Kendi önerini ondan sonra yaz.
- Kullanıcı bir tercih yazdıysa ve senin önerin farklıysa farkın nedenini tek cümleyle söyle: hangi bilgiyi farklı tarttın.
- Kullanıcının gerekçesinde senin bilmediğin bir bilgi varsa bunu açıkça kabul et ve önerini ona göre yeniden değerlendir.
- Rutin ve kolay geri alınan işlerde bunu yapma, doğrudan ilerle.
- Kararı değiştiren kullanıcıyı ilk tercihine bağlı tutma. Son kararı ve ilk tercihi birlikte not et.

Rutin ve düşük riskli işte kapı yalnız yüktür ve kullanıcı onu atlamanın yolunu bulur. Kişinin kendi cevabını kuracak bilgisi yoksa kapı tahmin üretir. Buçinca'nın deneyinde zihinsel çabadan hoşlanan katılımcılar bu tasarımlardan daha çok fayda gördü. Bilgisi az kullanıcıya önce öğretmek gerekir.

İlk cevaba bağlanmanın bir bedeli var. Fogliato'nun radyologları AI haklıyken de onunla daha az uyuştu ve kararlarını nadiren değiştirdi. AI kişiden daha isabetliyse kapı ortak doğruluğu düşürebilir. Fark ekranı ve kolay değişiklik bu bedeli azaltır, ortadan kaldırmaz.

Kullanıcılar bu tasarımı sevmez ve memnuniyet puanı düşer. Puanı, AI yanıldığında yakalanan hatanın sayısıyla birlikte raporla.

Bu desen tek bir kararın sırasını düzeltir. Kişinin AI'sız becerisinin aylar içinde aşınmasını ve öğrenmeyi çözmez. Bunlar ayrı önlemler.