Çıktının hangi modelle üretildiğini kaydet

Bir sigorta şirketi hasar dosyalarına AI ile ön değerlendirme yapıyor. Mart'ta bir dosya poliçe kapsamı dışında bulunuyor ve uzman bu değerlendirmeye dayanarak dosyayı reddediyor. Ekim'de müşteri itiraz ediyor, hukuk birimi soruyor: bu sonuç nasıl çıktı? Ekip dosyayı bugün yeniden çalıştırıyor ve sistem bu kez kapsam içinde diyor. Mart'taki sonucu hangi modelin, hangi talimatla, hangi belgelere bakarak ürettiğini kimse bilmiyor.

Kayıtta yalnız ürünün istekte gönderdiği ad var ve o ad bir takma ad. Sağlayıcı onu aradaki aylarda başka bir sürüme bağlamış. Sistem talimatı aynı sürede birkaç kez değişmiş, modelin baktığı poliçe metni güncellenmiş. Bugün yeniden çalıştırmak yalnız bugünkü sistemi anlatıyor.

Ekip iki soruya da cevap veremiyor. Karar doğru muydu, gösteremiyor. Yanlışsa yanlışın modelden mi, talimattan mı, eksik bir belgeden mi geldiğini bulamıyor. Üretim kaydı olmayan bir AI çıktısı aylar sonra savunulamaz.

Model adı yapılandırmada tek bir satır ve ekip onu kodun bir sabiti gibi görüyor, çıktının bir parçası saymıyor. Günlüğe istekte gönderilen ad yazılıyor, yanıtın söylediği ad yazılmıyor. İkisi aynı olmak zorunda değil. OpenTelemetry'nin üretken AI kuralları bunları ayrı alanlarda tutuyor: istekte gönderilen model adı ve yanıtta dönen model adı¹. Standardın örnek değerleri bile farkı gösteriyor: istekte gpt-4, yanıtta gpt-4-0613.

Takma adlar kayar. Google'ın Gemini API'sinde “latest” adı her yeni sürümde başka bir modele bağlanıyor². Anthropic'in eski modellerinde kısa ad o sürümün en son tarihli kopyasını gösteriyor. Sabit kimlik bile her şeyi söylemiyor. Anthropic'in belgesine göre model kimliği ve ağırlıklar değişmese de etrafındaki sunum altyapısı değişebiliyor ve bu gözlenen davranışta küçük farklar³ yaratabiliyor.

Üçüncü neden saklama süresinin uyuşmaması. Uygulama günlükleri çoğu üründe birkaç hafta sonra silinir. Çıktı ise müşterinin dosyasında, bir sözleşmede ya da bir sağlık kaydında yıllarca durur. Üretim kaydı tutulsa bile çoğu zaman çıktıdan önce ölür.

Her AI çıktısı üretildiği anda kendi üretim kaydını alır. Kayıt çıktıyla birlikte yaşar ve aylar sonra “bunu ne üretti” sorusunu cevaplar.

1. Yanıttaki model kimliğini yaz. İstekte gönderdiğin adı değil, yanıtın döndürdüğü kimliği kaydet. OpenAI'ın API'si her yanıtta kullanılan modeli⁴ ayrı bir alanla döndürüyor. Takma adı da yanına yaz, ama tek başına bırakma.
2. Modelin dışındakini de yaz. Sistem talimatının sürümü, üretim parametreleri, açık araçlar, modelin baktığı belgelerin kimlikleri ve sürümleri. Aynı model farklı bir talimatla başka bir karar verir. Talimatın kendisini sürümlemek “Prompt ve sistem talimatını da sürümle” deseninin işi, buradaki kayıt o sürümün numarasını taşır.
3. Zamanı, platformu ve istek numarasını yaz. Sağlayıcı bir sorun duyurduğunda hangi çıktılarının etkilendiğini bu üçüyle bulursun.
4. Kaydı çıktıyla aynı süre sakla ve değiştirme. Çıktı bir dosyada yıllarca duruyorsa kaydı da o kadar durur. Kayıt yalnız eklenir, düzeltme yeni bir kayıttır.
5. Kaydı kararın yanında göster. Çıktıyı okuyan uzman ve itirazı inceleyen kişi tek tıkla görür: hangi model, hangi talimat, hangi girdiler, ne zaman.
6. Yeniden üretmeyi kaydın yerine koyma. Bugün yeniden çalıştırmak bugünkü sistemi gösterir. O günkü çıktı ve girdiler kayıtta olduğu gibi durur, karşılaştırma onlarla yapılır.

Kayıt kararın kendisini düzeltmez. Kararı tartışılabilir kılar, çünkü herkes aynı olgulara bakar.

Aynı hasar dosyası, aynı itiraz. Soldaki kayıt yalnız bir takma ad tutuyor ve ekip Mart'taki değerlendirmeyi neyin ürettiğini bulamıyor. Sağdaki yanıttaki model kimliğini, talimat sürümünü, girdileri ve istek numarasını çıktıya bağlıyor. Ekip farkın talimattan geldiğini kayda bakarak buluyor.

OpenAI'ın API'si her yanıtta modelin adını döndürüyor. Aynı yanıt nesnesinde arka uç yapılandırmasını temsil eden bir parmak izi alanı da var, ama başvuru belgesi bu alanı artık kullanımdan kalkmış olarak işaretliyor⁴. Sağlayıcının yanıtta verdiği her alana yaslanamazsın, kendi kaydını kendin tutarsın.

Anthropic her model kimliğinin sabit bir sürümü gösterdiğini³ ve kimlik yaşadıkça arkasındaki modelin değişmediğini yazıyor. Bu güvence bazı eski modellerin kısa adlarını kapsamıyor, onlar en son tarihli sürüme yönleniyor. Kimlik sabitse kayıt bir anlam taşır, takma adsa kayıt yalnız bir niyeti gösterir.

Claude Code commit'lere eklediği ortak yazar satırına commit anındaki modelin adını⁵ yazıyor. Model bilgisi böylece üretilen kodla birlikte depoya giriyor ve aylar sonra geçmişte okunuyor.

Görsel, ses ve videoda bu kaydın bir standardı var. C2PA'nın eylem kayıtları bir varlığa yapılan işlemi, zamanını ve işlemi hangi yazılımın yaptığını⁶ taşıyor. Belirtimin örneklerinde yazılımın adı ve sürümü ayrı alanlarda duruyor.

Anthropic, Ağustos-Eylül 2025. Ağustos ile Eylül başı arasında üç altyapı hatası Claude'un cevap kalitesini aralıklı olarak düşürdü⁷. Model adları aynıydı. Bir hata Sonnet 4 isteklerinin bir kısmını yanlış sunuculara yönlendirdi ve 31 Ağustos'un en kötü saatinde Sonnet 4 isteklerinin %16'sını⁷ etkiledi. Bir başkası İngilizce cevapların ortasına Tayca ya da Çince karakterler karıştırdı. Şirkete göre her hata farklı platformlarda farklı oranlarda, farklı belirtilerle görüldü. Anthropic, kullanıcı şikâyetlerinin arttığını gördüğünü ama bunları yaptığı değişikliklere bağlamanın açık bir yolunu bulamadığını yazdı. Aynı dönemde Claude ile çıktı üreten bir ürünün sorusu da aynı olurdu: hangi çıktılarımız etkilendi? Cevap ancak her çıktının model kimliği, platformu ve zamanı kayıttaysa bulunur.

Avrupa Birliği yüksek riskli AI sistemleri için kaydı bir yükümlülük yapıyor. Yapay Zekâ Yasası'nın 12. maddesine göre bu sistemler sistemin ömrü boyunca olayların otomatik kaydına⁸ teknik olarak izin vermeli. Kayıt sistemin işleyişini izlenebilir kılmalı. 19. madde sağlayıcıdan, 26. madde sistemi kullanan kurumdan⁹ bu kayıtları kendi denetimlerindeki ölçüde en az altı ay¹⁰ saklamasını istiyor. Yasa kayda girecek alanları yalnız uzaktan biyometrik tanıma sistemleri için tek tek sayıyor. Öteki sistemlerde hangi alanların izlenebilirliği sağladığına ürün karar veriyor.

NIST'in üretken AI profili kuruluşlara AI sistemleri envanterinde temel modelleri, sürümlerini ve erişim biçimlerini¹¹ tutmayı öneriyor. Olay yönetimi bölümünde değişiklik kayıtlarının ve sürüm geçmişinin olayı inceleyenlerin işini kolaylaştırdığını yazıyor.

Bu kaynakların hiçbiri üretim kaydının itirazların sonucuna etkisini sayıyla ölçmüyor. Olay, model adı aynı kalsa da çıktının üretildiği gün ve platformun önemli olduğunu gösteriyor. Etkiyi kendi ürününde aşağıdaki sinyallerle ölç.

• 5 Ağustos 2025Üç altyapı hatası Claude'un cevaplarını model adları değişmeden bozdu

• Kayıtlı çıktı payı. Kullanıcıya ya da bir karara giden AI çıktılarının ne kadarında yanıttaki model kimliği, talimat sürümü ve girdi kimlikleri var? Hedef hepsi.
• Takma adla kalan kayıt. Model alanında yalnız bir takma ad bulunan kayıtlar. Hedef sıfır.
• Geri izleme süresi. Rastgele seçilen eski bir çıktı için “bunu ne üretti” sorusunun cevabını bulmak ne kadar sürüyor? Tek bir sorguyla bulunmalı.
• Saklama uyumu. Çıktının saklama süresi ile kaydının saklama süresi arasındaki fark. Kayıt çıktıdan önce silinmemeli.
• Etkilenen çıktıyı bulma. Sağlayıcı bir sorun duyurduğunda etkilenen tarih ve platforma düşen çıktıların listesini çıkarmak ne kadar sürüyor? Bunu bir tatbikatla dene.

Üç metin var. Denetim promptu ürünündeki model çağrılarını bulur, her çıktının yanında hangi alanların kaydedildiğini ve bu kaydın ne kadar yaşadığını raporlar, hiçbir dosyayı değiştirmez. Uygulama promptu model çağrısını saran tek bir katmanda üretim kaydı kurar ve kaydı karar ekranına taşır. Önce planı gösterir, onayınla uygular ve kaydı olmayan bir çıktı karar ekranına ulaşırsa düşen bir test ekler. Kural kodlama ajanının kendi işi için. Senin deponda model çağıran kod yazarken kaydı unutmasın.

Bu depoda AI çıktısı üreten ve bu çıktıyı kalıcı bir kayda, kullanıcıya ya da bir karara taşıyan bir ürün var (özet, sınıflandırma, puan, öneri, taslak yazı, ajan eylemi). Görevin, her çıktının hangi model sürümüyle, hangi talimatla ve hangi girdilerle üretildiğinin aylar sonra bulunabilip bulunamayacağını denetlemek. Hiçbir dosyayı değiştirme, yalnız rapor yaz.

1. Model çağrılarının yapıldığı her yeri bul: SDK çağrıları, doğrudan HTTP istekleri, ajan çerçevesi, toplu işler. Her birinde model adı nereden geliyor (sabit, ortam değişkeni, yapılandırma, kullanıcı seçimi)? Ad sabit bir sürüm mü, yoksa "latest" gibi sağlayıcının değiştirebildiği bir takma ad mı?
2. Yanıtın döndürdüğü model adı (ör. yanıt nesnesindeki model alanı) okunuyor ve kaydediliyor mu, yoksa yalnız istekte gönderilen ad mı kaydediliyor?
3. Çıktının saklandığı yerde (veritabanı tablosu, belge, dosya, olay kaydı) şu alanlar var mı: yanıttaki model kimliği, istenen ad, sağlayıcı ve platform, sistem talimatının sürümü ya da özeti (hash), üretim parametreleri, açık araçlar, getirilen belgelerin kimlikleri ve sürümleri, istek numarası, zaman?
4. Sistem talimatları ve prompt şablonları sürümleniyor mu? Bir çıktıdan onu üreten talimatın o günkü hâline gidilebiliyor mu?
5. Bu kayıt çıktıyla aynı yerde mi, yoksa yalnız uygulama günlüklerinde mi? Günlüklerin saklama süresi ne, çıktınınki ne? Kayıt çıktıdan önce siliniyor mu?
6. Kayıt sonradan değiştirilebiliyor mu? Bir çıktı yeniden üretildiğinde eskisi ve onun kaydı korunuyor mu, yoksa üzerine mi yazılıyor?
7. Çıktıyı okuyan uzman ya da itirazı inceleyen kişi bu bilgiyi arayüzde görebiliyor mu?

Rapor biçimi: önce model çağrılarının listesi ve her birinde kaydedilen alanlar. Sonra her bulgu için dosya ve satır, eksik alan, olası sonuç (örnek: kayıtta yalnız takma ad var, sağlayıcı adı başka bir modele bağlayınca eski kararlar hangi modelden çıktığı bilinmeden kalıyor) ve önerdiğin düzeltme. Bir kişi hakkında karar veren ya da kararı etkileyen çıktılardan başla.

Bu depodaki ürüne "Çıktının hangi modelle üretildiğini kaydet" desenini uygula. Önce planı göster, onayımı aldıktan sonra kodu değiştir.

Hedef davranış:
1. Her AI çıktısı üretildiği anda bir üretim kaydı alsın: yanıtın döndürdüğü model kimliği, istekte gönderilen ad, sağlayıcı ve platform, sistem talimatının sürümü ya da özeti, üretim parametreleri, açık araçlar, modelin baktığı belgelerin kimlikleri ve sürümleri, istek numarası ve zaman.
2. Kayıt çıktıyla aynı yerde ya da çıktıya kalıcı bir anahtarla bağlı dursun ve çıktıyla aynı süre saklansın.
3. Kayıt yalnız eklenebilsin. Çıktı yeniden üretilirse eski çıktı ve kaydı silinmesin, yenisi ayrı bir kayıt olsun.
4. Model çağrılarında üretim yolunda sabit sürüm kimliği kullanılsın. Takma ad kullanılıyorsa yanıttaki gerçek kimlik ayrıca kaydedilsin.
5. Çıktıyı gösteren ekranda, özellikle kişi hakkında karar veren ekranlarda, bu kayıt tek tıkla görünsün: hangi model, hangi talimat sürümü, hangi girdiler, ne zaman.

Uygularken:
- Kaydı model çağrısını saran tek bir katmanda üret, her çağrı yerinde ayrı ayrı yazma.
- Girdilerin tam metnini kopyalama, kimliklerini ve sürümlerini tut. Kişisel veri saklama kurallarına uy.
- Model kimliğini modele sorarak öğrenme, yanıtın alanından ya da isteğin yapılandırmasından oku.
- Testler ekle: (a) bir model çağrısı yanıttaki model kimliği ve talimat sürümüyle birlikte kaydediliyor, (b) yeniden üretilen çıktı eski çıktının kaydını silmiyor, (c) kaydı olmayan bir çıktı karar ekranına ulaşırsa test düşüyor.

## Çıktının hangi modelle üretildiğini kaydet
- Model çağıran kod yazarken yanıtın döndürdüğü model kimliğini, talimat sürümünü ve istek numarasını çıktıyla birlikte kaydet.
- Üretim yolunda sağlayıcının kayan takma adlarını kullanma. Kullanman gerekiyorsa yanıttaki gerçek kimliği ayrıca yaz.
- Kaydı yalnız kısa ömürlü uygulama günlüğüne bırakma, çıktıyla aynı süre saklanan bir yere yaz.
- Var olan bir çıktıyı yeniden üretirken eskisinin üzerine yazma, yenisini ayrı kaydet.
- Hangi modelle çalıştığını kendi bilginden söyleme, yapılandırmadan ya da yanıttan oku.

Her çıktıya aynı derinlikte kayıt gerekmez. Bir yazım önerisi için model kimliği yeter. Bir kişi hakkında karar veren, para, sağlık, hukuk ya da işe alımla ilgili çıktıda tam kayıt gerekir. Kaydın derinliğini çıktının ağırlığına göre ayarla.

Kayıt kişisel veri taşıyabilir. Girdilerin tam metnini kopyalamak yerine kimliklerini ve sürümlerini tut. AB yasası da kayıtların saklama süresini belirlerken kişisel verilerin korunmasına ilişkin hukuku saklı tutuyor¹⁰. Saklama süresini hukuk biriminle birlikte belirle.

Kayıt aynı çıktıyı yeniden üretmeyi sağlamaz. Thinking Machines'in deneyinde aynı prompt sıcaklık 0'da 1.000 kez çalıştırıldı ve 80 farklı tamamlama¹² çıktı. Bu yüzden kayıt çıktının kendisini de saklar. Model, talimat ve girdi aynı olsa da sonucun birebir tekrar edeceğine güvenme.

Kayıt çıktıyı kimin onayladığını söylemez. Bir insanın neye bakıp onay verdiğini tutmak “Hangi çıktıyı kimin onayladığını kaydet” deseninin işi.