Bir dil modeli olgusal bir soruya yanlış cevap verdiğinde iki ayrı şey olmuş olabilir: ya o gerçeği hiç öğrenmemiştir ya da öğrenmiştir ama erişemiyordur. Standart doğruluk ölçütleri bu iki durumu tek bir başarısızlık olarak topluyor — oysa ikisi çok farklı sınırlara ve çok farklı çözümlere işaret ediyor.

Google Research'ün yeni çalışması bu ayrımı ölçtü ve net bir sonuca vardı: sorun çoğunlukla boş raf değil, kaybolmuş anahtar.

Neden bu ayrım önemli

Fark doğrudan çözüme bağlanıyor:

  • Kodlama başarısızlığı ise model boyutunu büyütmek ya da veri kapsamını genişletmek gerekiyor — pahalı ve yavaş yollar.
  • Geri çağırma başarısızlığı ise eğitim sonrası yöntemler ve çıkarım anındaki tekniklerle, yani modelin zaten sahip olduğunu daha iyi kullanmasını sağlayarak çözülebiliyor.

Yani aynı görünen hatanın arkasındaki sebep, milyonlarca dolarlık bir eğitim turu ile birkaç haftalık bir çalışma arasındaki farkı belirliyor.

Bilgi profillemesi

Araştırmacılar bilgi profillemesi adını verdikleri davranışsal bir çerçeve tanıttı. Çerçevenin temel fikri, çözümleme birimini sorudan gerçeğe kaydırmak: modelin belirli bir soruyu doğru cevaplayıp cevaplamadığını değil, o gerçeğin modeldeki durumunu sormak.

Her gerçek beş profilden birine yerleştiriliyor: kodlama başarısızlığı, geri çağırma başarısızlığı, doğrudan geri çağırma, düşünerek geri çağırma ve kodlama olmadan çıkarım.

Sınıflandırma üç davranışsal kavrama dayanıyor:

  • Kodlama: Modelin gerçeği, ön eğitime benzer bir bağlamda doğru şekilde üretebilmesi
  • Geri çağırma: Kodlanmış gerçeğe dışarıdan ipucu olmadan erişebilmesi
  • Tanıma: Doğru gerçeği seçenekler arasında sunulduğunda tanıyabilmesi

Kodlama, önerme tamamlama ve bağlamsal soru yöntemleriyle ölçülüyor. Bu yöntemler modeli, o gerçeğin ön eğitim sırasında doğal olarak geçeceği bağlamlara benzer bir konuma koyuyor — cevabı açık etmeden.

Ölçüt: WikiProfile

Çözümlemeyi desteklemek için WikiProfile adlı bir ölçüt oluşturuldu: Wikipedia kaynaklı 2.150 gerçek ve her biri için kodlamayı, geri çağırmayı ve tanımayı ayrı ayrı yoklayan onar soru.

Gemini3 ve GPT-5 gibi öncü modeller bu çerçeveyle incelendiğinde ortaya çıkan tablo şu: modeller gerçeklerin neredeyse tamamını kodluyor, ama birçoğunu geri çağırmakta zorlanıyor.

Ne anlama geliyor

Bu bulgu, halüsinasyon tartışmasının yönünü değiştiriyor. Bir modelin yanlış cevap vermesi, o bilgiye sahip olmadığı anlamına gelmiyor; çoğu zaman sahip ama ulaşamıyor. Düşünme adımlarının (ara hesaplamaları açığa çıkarmanın) bazı gerçekleri kurtarabilmesi de bunu destekliyor — çerçevedeki "düşünerek geri çağırma" profili tam olarak bu durumu adlandırıyor.

Ölçmenin zorluğu

Bu ayrımı ölçmek göründüğünden zor, çünkü bir modelin bir gerçeği "bildiğini" doğrudan gözlemleyemiyoruz. Elimizde yalnızca davranış var: sorduğumuzda ne cevap verdiği.

Çerçevenin çözümü, aynı gerçeği farklı biçimlerde yoklamak. Model doğrudan sorulduğunda bilemiyor ama seçenekler arasında tanıyorsa, bilgi orada demektir; ulaşım yolu tıkalıdır. Ön eğitime benzer bir bağlamda cümleyi tamamlayabiliyorsa yine öyle. Bu üç ölçüm bir araya geldiğinde ortaya tek bir doğruluk yüzdesinden çok daha bilgilendirici bir tablo çıkıyor.

Yöntemin bir sınırı da var: davranışsal bir çerçeve, modelin içinde ne olup bittiğini değil dışarıdan nasıl göründüğünü ölçüyor. Yine de müdahale kararı için gereken bilgi tam olarak bu.