# TD-095 · Gerçek kullanımdan değerlendirme seti kur Ekibin yazdığı düzgün sorularda geçen sistem, kullanıcının dağınık ve iki işli mesajında bozuluyor. Değerlendirme setini gerçek kullanım kayıtlarından örneklemek ve her hatayı sete eklemek bu farkı yayından önce gösterir. - Adres: https://tandem.komunite.com.tr/desen/gercek-kullanimdan-degerlendirme-seti-kur - Yer: Zamanla > Ölçüm - Seviye: Temel. Her AI özelliğinde olmalı. - Son inceleme: 28 Ekim 2026, Komünite editörlüğü ## 30 saniyede dene 1. Ekibinin değerlendirme setinden rastgele on örnek aç ve her birini kimin yazdığını bul. Ekip mi, bir model mi, gerçek bir kullanıcı mı? 2. Son haftanın kayıtlarından rastgele on kullanıcı mesajı çek ve setteki sorularla yan yana koy. Uzunluğa, yazıma ve tek mesajdaki istek sayısına bak. 3. Bu on mesajı ürününün şu anki sürümüne sor, kaçının doğru cevaplandığını say ve sonucu setteki başarı oranıyla karşılaştır. 4. Son ay destek kayıtlarına düşen bir AI hatasını sette ara. Bulamıyorsan bu desen ürününde eksik. ## Sorun Bir e-ticaret şirketinin destek asistanı siparişleri, iadeleri ve faturaları cevaplıyor. Ekip her yeni sürümü yayına almadan önce bir soru setiyle deniyor. Soruları ekip yazmış: “Siparişimin durumunu nasıl öğrenebilirim?”, “İade süresi kaç gün?” Yeni sürüm setin neredeyse tamamını doğru cevaplıyor ve yayına çıkıyor. Kullanıcı başka türlü yazıyor. “kargom nerde, iade de edicem” diye tek satır atıyor. Bir mesajda iki iş istiyor, faturayı şirket adına kesin, adresi de değiştirin. Önceki konuşmanın devamını soruyor, uzun bir e-postayı olduğu gibi yapıştırıyor, ürünün yapmadığı bir işi istiyor. Setteki soruların hiçbiri böyle yazılmamış. Yeni sürüm bu mesajlarda eskisinden kötü ve bunu ekibe ilk destek kayıtları söylüyor. Ekip şikâyet gelen soruyu düzeltiyor ve düzeltmeyi yine aynı setle deniyor. Bir hata kapanırken başka biri açılıyor, set ikisini de görmüyor. Ekibin yazdığı sorularla ölçülen sistem yalnız ekibin sorduğu sorularda iyi olduğunu kanıtlar. ## Neden atlanıyor Set ürün çıkmadan yazılır ve öyle kalır. İlk gün gerçek kullanım yoktur, ekip aklındaki soruları yazar. Ürün yayına çıkar, kayıtlar birikir, set yerinde durur. Anthropic, ekiplerin değerlendirmeyi yüzlerce görev gerektiğini düşünerek ertelediğini, oysa [gerçek hatalardan alınmış 20-50 basit görevin](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents) iyi bir başlangıç olduğunu yazıyor. Bekleyen ekip başarının ölçütünü sonradan canlı sistemden geri çıkarmaya uğraşır. Gizlilik kaygısı kayıtları kilitli tutar. Gerçek mesajlarda ad, telefon, sipariş numarası ve adres var. Ekip bunlarla uğraşmak yerine temiz örnek yazmayı seçiyor. Set kişisel veriden arınıyor ve kullanıcının dili de onunla birlikte gidiyor. Ölçüt de çıktıya bakmadan yazılamıyor. Shankar ve arkadaşları değerlendirme ölçütü yazan kişileri izledi ve “ölçüt kayması” adını verdikleri bir döngü gördü. Çıktıyı puanlamak için ölçüt gerekiyor, ama [ölçütü tanımlamak için de çıktıyı puanlamak gerekiyor](https://arxiv.org/abs/2404.12272). Gerçek kullanıcı mesajlarını hiç okumamış ekip neyi ölçeceğini de eksik bilir. Google kendi geliştirici araçları için aynı dersi yazıyor. Çevrim dışı ölçüler kullanıcıya sağlanan değerin [çoğu zaman kaba bir vekili](https://research.google/blog/ai-in-software-engineering-at-google-progress-and-the-path-ahead/). ## Desen Değerlendirme seti kullanıcının gerçekten yazdığı mesajlardan örneklenir, her hatayla büyür ve yayın kararını o verir. 1. **Seti kayıtlardan örnekle.** Gerçek kullanım kayıtlarından konuya göre katmanlı örnek al. Sık sorulan işlerin yanına uzun ve dağınık mesajları, yazım hatalarını, tek mesajda birden çok isteği ve ürünün yapmadığı işleri koy. 2. **Her hatayı teste çevir.** Destek kaydı, kullanıcı bildirimi ya da elle düzeltilen bir cevap sete beklenen davranışıyla birlikte girer. Aynı hata ikinci kez yayına çıkamaz. 3. **İki yönü de koy.** Bir davranışın olması gereken örneklerin yanına olmaması gerekenleri ekle. Asistan iadeyi kendisi başlatmalı mı, yalnız yolu mu anlatmalı? Tek yönlü set tek yönlü bir sistem yetiştirir. 4. **Ölçütü örneklere bakarak yaz.** Önce gerçek çıktıları oku ve hataları adlandır, ölçütü sonra yaz. Ölçüt değişince eski örnekleri yeniden etiketle. 5. **Kişisel veriyi sete sokma.** Örneklenen mesajlardan ad, telefon, adres, sipariş numarası ve sağlık bilgisini ayıkla ya da yer tutucuyla değiştir. Sete erişimi sınırla, saklama süresini yaz. 6. **Seti kullanımla birlikte tazele.** Her ay yeni örnek ekle ve setin konu dağılımını son ayın kayıtlarıyla karşılaştır. Demo seti ayrı durabilir, yayın kararını gerçek kullanım seti verir. Set ekibin aklına gelmeyeni yakalamak için var. Bu yüzden kullanıcının kendi cümlelerinden kurulur. ## Önce ve sonra Aynı sürüm, iki ayrı değerlendirme. Soldaki yalnız ekibin yazdığı soruları çalıştırıyor ve sürümü yayına hazır sayıyor. Sağdaki son ayın kayıtlarından örneklenmiş seti de çalıştırıyor, yeni sürümün dağınık ve iki işli mesajlarda eskisinden kötü olduğunu örnekleriyle gösteriyor ve yayını durduruyor. Örnek ekran (kurgusal): Bir e-ticaret şirketinin destek asistanı için yeni bir sürüm hazır. Ekip yayından önce değerlendirmeyi çalıştırıyor. ### Önce: Asistan · sürüm değerlendirmesi - Bilgi: Sürüm 3.1 · demo seti · 40 soru · ekip yazdı - Adım (tamam): Demo seti çalıştı · 40 sorudan 39'u doğru - İçerik (Setten örnekler): “Siparişimin durumunu nasıl öğrenebilirim?” · “İade süresi kaç gün?” · “Faturamı nasıl indirebilirim?” - AI: Değerlendirme geçti. Sürüm 3.1 yayına hazır. - Düğmeler: Yayına al 1. Bütün sorular ekibin yazdığı düzgün ve tek işli cümleler. Kullanıcıların gerçekte nasıl yazdığını temsil eden tek bir örnek yok. 2. Sürüm bu setle yayına çıkıyor. Dağınık ve iki işli mesajlardaki gerileme ancak ilk destek kayıtlarıyla ortaya çıkıyor. ### Sonra: Asistan · sürüm değerlendirmesi - Bilgi: Sürüm 3.1 · gerçek kullanım seti · 220 örnek · son 30 gün · kişisel veri ayıklandı - Adım (tamam): Demo seti çalıştı · 40 sorudan 39'u doğru - Adım (hata): Gerçek kullanım setinde gerileme · 220 örnekten 151'i doğru · sürüm 3.0'da 172 - İçerik (Yeni sürümde düşen örnekler): “kargom nerde [sipariş no] iade de edicem” · “faturayı şirket adına kesin adresi de değiştirin” · “dün yazdım hala cevap yok” - Adım (durdu): Yayın durduruldu · kural: gerçek kullanım setinde önceki sürümün altına düşmemeli - AI: Yeni sürüm tek mesajda iki iş isteyen ve kısaltmalı yazılmış mesajlarda geriliyor. Düşen 21 örneği konularına göre ayırayım mı? - Düğmeler: Düşen örnekleri incele · Sürüm 3.0'da kal 1. Yayın kararını kayıtlardan örneklenmiş set veriyor. Demo seti hâlâ geçiyor ama tek başına karar vermiyor. 2. Düşen örnekler kullanıcının kendi cümleleriyle, kişisel verisi yer tutucuya çevrilmiş olarak görünüyor. Ekip gerilemeyi yayından önce görüyor. ## Piyasada OpenAI'ın değerlendirme rehberi testlerin [gerçek dünyadaki dağılımı yansıtmasını](https://developers.openai.com/api/docs/guides/evaluation-best-practices) ve iyi örnekleri sonradan çıkarabilmek için her şeyin günlüğe yazılmasını öneriyor. Kaçınılacaklar listesinde üretim trafiğini [doğru yansıtmayan veri setlerini](https://developers.openai.com/api/docs/guides/evaluation-best-practices) ve “çalışıyor gibi” izlenimine dayanan değerlendirmeyi sayıyor. Seti zamanla büyütmek sürekli değerlendirmenin parçası. Anthropic'in belgeleri de değerlendirmenin [gerçek görev dağılımını yansıtmasını](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests) istiyor ve uç durumları sayıyor: aşırı uzun girdi, alakasız ya da zararlı mesaj, insanların bile ortak karara varamayacağı belirsiz örnek. Şirketin ajan değerlendirmeleri üzerine yazısı bir adım ileri gidiyor. Ürün yayındaysa hata kayıtlarına ve destek kuyruğuna bakmayı, kullanıcıların bildirdiği hataları [teste çevirmeyi](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents) öneriyor. Claude.ai'daki web araması için kurdukları değerlendirme iki yönlü, modelin arama yapması gereken sorular da var, yapmaması gerekenler de. Yazının karşılaştırma tablosu, otomatik değerlendirmenin gerçek kullanıma uymadığında [yanlış bir güven yaratabileceğini](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents) not ediyor. Hamel Husain, bir emlak yazılımının asistanı için kurdukları düzeni anlatıyor. Asistan başta prompt üzerinde çalışarak hızla gelişmiş, kapsamı genişleyince [bir hatayı düzeltmek başka bir hatayı doğurmaya](https://hamel.dev/blog/posts/evals/) başlamış. Çözümü değerlendirmenin etrafında kurmuşlar ve kayıtları okumayı bu düzenin parçası yapmışlar. Her kaydın sentetik bir girdiden mi gerçek bir kullanıcıdan mı geldiği işaretli ve Husain hem test kayıtlarını hem kullanıcı kayıtlarını okumayı işin en az gereği sayıyor. ## Kanıt Anthropic, gerçek kullanımı gizliliği koruyarak incelemek için Clio adlı bir sistem kurdu. Konuşmalar otomatik olarak anonimleştirilip kümeleniyor ve analist [yalnız üst düzey kümeleri görüyor](https://www.anthropic.com/research/clio). Şirket bu sistemi kendi güvenlik sınıflandırıcılarıyla karşılaştırınca iki tür kaçak buldu. Kullanıcı Claude'dan bir metni başka dile çevirmesini istediğinde sınıflandırıcılar kural dışı içeriği [bazen işaretleyemiyordu](https://www.anthropic.com/research/clio). Öte yandan kendi özgeçmişi için tavsiye isteyen iş arayanların konuşmaları, içindeki kişisel bilgi yüzünden [bazen yanlışlıkla işaretleniyordu](https://www.anthropic.com/research/clio). İkisini de ne arayacağını önceden bilmeyen, gerçek konuşmalardan aşağıdan yukarı kümeler kuran sistem buldu. Shankar ve arkadaşlarının çalışmasında katılımcılar bir dil modelinin çıktılarını puanlayan ölçütler yazdı. Çıktıları okudukça ölçütleri değişti. Bazı ölçütler ancak belirli çıktılar görüldükten sonra ortaya çıktı. Yazarlar bunu, değerlendirmenin model çıktısını görmeden kurulabileceğini varsayan yaklaşımlar için [ciddi bir soru](https://arxiv.org/abs/2404.12272) sayıyor. Bu kanıtlar oran vermiyor, gözlem veriyor. Clio'nun bulguları tek bir şirketin sınıflandırıcılarıyla ilgili, Shankar'ın çalışması nitel bir kullanıcı çalışması. Senin setinin ne kadar eksik olduğunu söylemezler. Yönleri yine aynı. Önceden yazılan liste, gerçek kullanımda çıkan hataların bir kısmını hiç içermiyor. ## Ölçüm - **Setin kayıtlara benzerliği.** Setteki örneklerin konu, uzunluk ve mesaj başına istek sayısı dağılımını son ayın kayıtlarıyla karşılaştır. Fark büyüdükçe set eskiyor. - **Hatadan teste geçen süre.** Kullanıcının bildirdiği bir hatanın sette test olarak yer alması kaç gün sürüyor? Hedef, bir sonraki sürümden önce. - **İki set arasındaki fark.** Aynı sürümün demo setindeki ve gerçek kullanım setindeki başarısı. Demo seti sürekli daha iyi görünüyorsa yayın kararını ona bırakma. - **Sette karşılığı olmayan hata.** Yayından sonra destek kayıtlarında görülen ve sette benzeri bulunmayan hata sayısı. Desen yerindeyse zamanla azalır. - **Sette kalan kişisel veri.** Sete otomatik bir kişisel veri taraması uygula. Bulunan kayıt sayısı sıfır olmalı. ## Ajanına ver Üç metin var. Denetim promptu depodaki değerlendirme setlerini, onları besleyen kodu ve yayın kontrolünü tarar. Setin kimin yazdığı örneklerden oluştuğunu, gerçek kayıtlarla ve kullanıcı bildirimleriyle bağı olup olmadığını ve kişisel veri taşıyıp taşımadığını raporlar, hiçbir dosyayı değiştirmez. Uygulama promptu kayıtlardan kişisel verisi ayıklanmış örnek çeken, bildirilen hataları sete ekleyen ve yayın kararını gerçek kullanım setine bağlayan düzeni kurar. Önce planı gösterir, onayınla uygular ve kişisel verinin sete sızmadığını sınayan bir test ekler. Kural kodlama ajanının kendi işi için. Senin ajanın da bir hatayı düzeltmeden önce onu teste çevirsin. ## Sınır Kullanıcısı olmayan ürünün kaydı da olmaz. İlk sürümde set elle ve modelle yazılmış örneklerle başlar. Husain de test girdilerini çoğu zaman [bir modele ürettiriyor](https://hamel.dev/blog/posts/evals/). İlk kullanıcılar gelince sentetik örneklerin yerini gerçekleri alır ve her örnek kaynağıyla işaretli kalır. Kayıt geçmişe bakar. Yeni bir özellik ya da yeni bir kullanıcı grubu için sette örnek yoktur. Yeni özelliği yayına alırken eksik örnekleri ekip yazar, ilk haftanın kayıtları gelince seti günceller. Gerçek kullanım nadir ve zararlı durumu az içerir. Saldırı, kötüye kullanım ve kırmızı takım setleri ayrı durur. Masum ama tehlikeli görünen istekler için kurulan set de [ayrı bir desen](/desen/gereksiz-reddi-olc-ve-azalt). Gizliliğin bedeli var. Sağlık ya da çocuklarla ilgili konuşmalar gibi bazı kayıtlar anonimleştirilse bile sete girmemeli. KVKK kişisel verinin [işlendiği amaçla bağlantılı, sınırlı ve ölçülü](https://www.mevzuat.gov.tr/mevzuatmetin/1.5.6698.pdf) işlenmesini ve yalnız gereken süre kadar saklanmasını istiyor. Böyle alanlarda gerçek örneğin yapısını koruyan yapay bir benzerini yaz. ## Promptlar ### Denetim promptu ``` Bu depoda kullanıcıya cevap veren ya da kullanıcı adına iş yapan bir AI özelliği var. Görevin, bu özelliğin değerlendirme setinin gerçek kullanımı temsil edip etmediğini ve setin nasıl beslendiğini denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz. 1. Değerlendirme ve test setlerini bul: eval dosyaları, test verileri, prompt testleri, CI'da çalışan değerlendirme betikleri. Her setin kaç örnek taşıdığını ve en son ne zaman değiştiğini yaz. 2. Örneklerin kaynağını belirle: ekip mi yazdı, bir model mi üretti, gerçek kullanım kayıtlarından mı geldi? Kaynak örnek başına işaretli mi? 3. Örnekleri gerçek kullanıma benzerlik açısından incele: uzun ve dağınık mesaj, yazım hatası, tek mesajda birden çok istek, ürünün yapmadığı iş, belirsiz istek var mı? Bir davranışın olmaması gereken örnekler de var mı? 4. Kullanıcı bildirimleri, destek kayıtları ya da elle düzeltilen cevaplar sete bir yoldan ulaşıyor mu? Bir hatanın teste dönüştüğü yeri bul ya da yokluğunu yaz. 5. Kayıtlardan örnek alınıyorsa kişisel veri (ad, telefon, e-posta, adres, kimlik ve sipariş numarası, sağlık bilgisi) ayıklanıyor mu? Sete kim erişiyor, ne kadar saklanıyor? 6. Yayın kararını hangi set veriyor? Model, prompt ya da araç değiştiğinde set otomatik çalışıyor mu, bir eşik var mı? Rapor biçimi: önce setlerin listesi, örnek kaynaklarının dağılımı ve son değişiklik tarihleri. Sonra gerçek kullanımla aradaki farklar, hatadan teste giden yolun eksikleri ve kişisel veri riskleri, dosya ve satırıyla. En geniş etkili eksikle başla (örnek: yayın kararı yalnız ekibin yazdığı kırk soruya bağlı). ``` ### Uygulama promptu ``` Bu depodaki AI özelliğine "gerçek kullanımdan değerlendirme seti kur" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir. Hedef davranış: 1. Kullanım kayıtlarından konuya göre katmanlı örnek çeken bir iş kur. Sık işlerin yanında uzun ve dağınık mesajlar, yazım hataları, tek mesajda birden çok istek ve ürünün yapmadığı işler de örneklensin. 2. Örnek sete girmeden önce kişisel veriyi ayıkla ya da yer tutucuyla değiştir: ad, telefon, e-posta, adres, kimlik ve sipariş numarası, sağlık bilgisi. Ayıklanamayan örnek sete girmesin. 3. Kullanıcı bildirimlerini, destek kayıtlarını ve elle düzeltilen cevapları beklenen davranışla birlikte sete ekleyen bir yol kur. Her örnek kaynağını (kayıt, bildirim, ekip, sentetik) ve eklendiği tarihi taşısın. 4. Bir davranışın olması ve olmaması gereken örnekleri birlikte tut. 5. Model, prompt ya da araç değiştiğinde gerçek kullanım setini otomatik çalıştır ve önceki sürümle karşılaştır. Önceki sürümün altına düşen sürüm yayına çıkmasın, raporda düşen örnekler görünsün. 6. Her ay setin konu dağılımını son ayın kayıtlarıyla karşılaştıran bir rapor üret. Uygularken: - Set dosyalarına erişimi sınırla ve saklama süresini yapılandırmada tanımla. - Ekibin elle yazdığı demo setini silme, ayrı tut. Yayın kararını yalnız ona bırakma. - Ölçütü yazmadan önce örneklenen çıktılardan bir kısmını oku ve hata türlerini adlandır. Ölçüt değişirse eski örnekleri yeniden etiketle. - Bir test ekle: içinde telefon numarası ve e-posta adresi olan bir kayıt örneklensin, sete giren hâlinde ikisinin de yer tutucuyla değiştiğini doğrula. İkinci test: gerçek kullanım setinde önceki sürümden kötü sonuç alan bir sürümün yayın kontrolünden geçmediğini doğrula. ``` ### AGENTS.md kuralı ``` ## Gerçek kullanımdan değerlendirme seti kur - Bir AI hatasını düzeltmeden önce onu değerlendirme setine bir test olarak ekle, sonra düzelt. - Test örneklerini yalnız kendin yazma. Varsa gerçek kullanım kayıtlarından ve kullanıcı bildirimlerinden örnek al. - Sete giren her örnekten kişisel veriyi ayıkla ya da yer tutucuyla değiştir. - Her örneğin kaynağını işaretle: kayıt, bildirim, ekip, sentetik. - Bir davranışın olmaması gereken örnekleri de sete koy. - Bir değişikliğin sonucunu raporlarken gerçek kullanım setindeki sonucu ver, demo setini tek başına yeterli sayma. ``` ## Kaynaklar 1. [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents), Anthropic, 9 Ocak 2026 2. [Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences](https://arxiv.org/abs/2404.12272), Shankar, Zamfirescu-Pereira, Hartmann, Parameswaran, Arawjo · arXiv, 18 Nisan 2024 3. [AI in software engineering at Google: Progress and the path ahead](https://research.google/blog/ai-in-software-engineering-at-google-progress-and-the-path-ahead/), Google Research · Chandra, Tabachnyk, 6 Haziran 2024 4. [Evaluation best practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices), OpenAI 5. [Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests), Anthropic, Claude Platform Docs 6. [Your AI Product Needs Evals](https://hamel.dev/blog/posts/evals/), Hamel Husain, 29 Mart 2024 7. [Clio: A system for privacy-preserving insights into real-world AI use](https://www.anthropic.com/research/clio), Anthropic, 12 Aralık 2024 8. [Kişisel Verilerin Korunması Kanunu (6698 sayılı)](https://www.mevzuat.gov.tr/mevzuatmetin/1.5.6698.pdf), Mevzuat Bilgi Sistemi, 7 Nisan 2016 --- Kaynak: https://tandem.komunite.com.tr · Metin CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/deed.tr), promptlar ve kural MIT-0 (https://opensource.org/license/mit-0).