Bir model adım adım düşündüğünü yazdığında, o adımların içeride bir karşılığı var mı? Güney Kore'den KAIST ve Naver AI Lab araştırmacılarının yayımladığı çalışma bu soruya ölçülebilir bir yanıt veriyor.
Sonuç şu: hesaplama, formül hatırlama ve çıkarım gibi akıl yürütme işlemleri modelin iç durumlarında birbirinden açıkça ayrılabiliyor.
Yöntem
Modellere matematik problemleri adım adım çözdürüldü. Ortaya çıkan çözüm yolları parçalara ayrıldı ve her parça bir akıl yürütme işlemiyle etiketlendi; etiketleme için ayrı bir model kullanıldı.
Ardından her parçanın modelin iç durumlarında nasıl göründüğüne bakıldı. Soru basitti: bu işlemler içeride birbirinden ayırt edilebiliyor mu? Ölçüm için ayrışmanın ne kadar güvenilir olduğunu gösteren standart bir istatistik kullanıldı.
| Ayrıntı | Değer |
|---|---|
| Kurumlar | KAIST ve Naver AI Lab |
| Test edilen modeller | Qwen2.5-7B, Qwen3-8B, Gemma4-31B |
| Doğrulama | Llama-3-8B ile tekrar |
| Ayrıştırılan işlem | Sekiz akıl yürütme türü |
Sinyal orta katmanlarda
Bulgunun en net kısmı katman dağılımı. Ayrışma orta katmanlarda en güçlü; erken ve geç katmanlara doğru gidildikçe zayıflıyor.
Bu, üç modelin üçünde de tekrarlandı. Yani sonuç tek bir mimariye özgü bir tuhaflık değil, ortak bir örüntü gibi duruyor.
Ayrışmanın orta katmanlarda yoğunlaşması aslında beklenen bir yerde duruyor. Erken katmanlar daha çok yüzeysel dil özellikleriyle, geç katmanlar ise bir sonraki kelimeyi seçmekle uğraşıyor; işlemin türüne dair bilgi ikisinin arasında kalıyor.
En ilginç ayrıntı
Çalışmanın öne çıkan bulgusu kelime düzeyinde. Aynı kelime, hangi akıl yürütme adımına ait olduğuna göre içeride farklı bir temsil alıyor.
Yani model bir sayıyı "formülü hatırlarken" ve "hesap yaparken" aynı biçimde kodlamıyor. Bağlam yalnızca anlamı değil, işlemin türünü de taşıyor.
Güvenlik açısından neden önemli
Bu çalışma doğrudan bir endişeye bağlanıyor: modelin içeride yaptığı işlem, dışarıya yazdığı düşünce zincirinden farklı olabilir.
Önceki araştırmalar bu farkı zaten göstermişti. Claude Opus 4.6'nın gösterdiğinden fazlasını işlediği bulunmuştu; Anthropic'in ölçümünde ise modeller kendilerine verilen ipuçlarını yalnızca yüzde 25 ila 39 oranında açıkça belirtiyordu.
Bu iki bulgu birlikte okunduğunda ortaya şu çıkıyor: yazılı düşünce zinciri modelin içindekinin tamamı değil, bir özeti. Özet çoğu zaman doğru ama eksik ve hangi kısmın eksik kaldığını dışarıdan görmek mümkün olmuyor.
Ne anlama geliyor
Eğer akıl yürütme türleri iç durumlarda ayrışıyorsa, bir modelin gerçekten ne yaptığını yazdığı metne bakmadan ölçmek mümkün hâle gelebilir. Denetim için yazılı çıktıya güvenmek zorunda kalmamak, yorumlanabilirlik çalışmasının uzun süredir aradığı şey.
Buradaki sınır da açık: çalışma matematik problemleriyle yapıldı ve adımların sınıflandırması başka bir modele dayanıyor. Aynı ayrışmanın açık uçlu görevlerde de geçerli olup olmadığı henüz gösterilmiş değil. Matematik, adımların birbirinden temiz ayrıldığı ender alanlardan biri; serbest metinde sınırların bu kadar net çıkması beklenmemeli.