Anthropic ve OpenAI bir süredir modellerinin yapay zeka araştırmasını hızlandırdığını anlatıyor. Princeton ve Birleşik Krallık AI Security Institute'tan gelen yeni bir çalışma bu iddiayı yayımlanmamış makalelerle sınadı ve farklı bir tablo çıkardı.

Neden yeni bir yöntem gerekti

Yazarlara göre otomatik yapay zeka araştırması iddiaları için sağlam kanıt büyük ölçüde eksik. Mevcut değerlendirmeler ya ajanları dar ve doğrulanabilir görevlerde sınıyor ya da yapay zeka üretimi makaleleri hakem denetimine gönderiyor — araştırmacıların "aşırı yüklenmiş, rastlantısal ve düşük kaliteli" diye tanımladığı bir süreç.

Ekip bunun yerine gölge değerlendirme adını verdikleri bir yaklaşım kurdu. Ajan, henüz yayımlanmamış bir makalenin çekirdek araştırma sorusunu alıyor. Aynı soru üzerinde aylarca çalışmış olan asıl yazarlar da sonucu tıpkı bir konferans hakemi gibi değerlendiriyor. Sonuçlar internette bulunmadığı için ajan eğitim verisine sığınamıyor.

Deneyin kurulumu

Araştırmacılar iki NeurIPS 2026 başvurusunun yazarlarıyla ortaklık kurdu. İlk makale, dil modellerinin kişilik özelliklerinin ağırlıklar üzerinden nasıl yönlendirilebileceğini inceliyor. İkincisi, tablo tabanlı bir tahmin modelinin eğitim verisinden keskin biçimde ayrışan dağıtım verisiyle karşılaştığını ve doğruluğunun çöktüğünü tespit eden TabPFN adlı bir yöntem geliştiriyor.

Ana deneylerde Ekstra Yüksek Akıl Yürütme ayarıyla Claude Opus 4.8 kullanıldı. Her ajana verilenler:

  • Altı gün süre
  • 3.000 dolarlık API kredisi
  • Bir GPU bütçesi
  • Sanal makineye ve açık internete tam erişim

Ajan, model çağrılarını yöneten ve araç sağlayan bir iskele içinde çalıştı; alt ajanlara iş devredebiliyor ve kendi kaynak kullanımını izleyebiliyordu. Dışarıdaki yapay zeka inceleme araçlarına da başvurabiliyordu. Kullanılan iskele, Avusturyalı geliştirici Peter Steinberger'in yazdığı açık kaynaklı ve sağlayıcıdan bağımsız OpenClaw çerçevesiydi.

İki ret

Asıl yazarlar bitmiş makaleleri konferans hakemi gibi değerlendirdi ve ikisini de reddetti. Biri "kesin ret" aldı. Eleştiriler zayıf gerekçelendirilmiş veri ve deneyler, okunması güç metin ve özgün katkı bulunmaması üzerineydi. Bir hakem akıl yürütmeyi "örnekle ispat safsatası" diye niteleyip "son derece bilim dışı" buldu. Bir diğeri deney tercihlerini "tuhaf", sonuçları ise açıkça "sonradan yapılmış seçimlerin" ürünü olarak tanımladı.

Tekrar eden başarısızlıklar

Ajan kayıtlarının incelenmesi sistematik zayıflıklar gösteriyor. Ajanlar neyin yayımlanabilir araştırma eşiğini geçtiğine dair yargıdan yoksundu: makul hipotezler üretiyor, sonra bunları küçük, elle derlenmiş ya da sentetik veri kümelerine bakarak eliyorlardı. Yaratıcı problem çözmede de takıldılar; ilk hipotezler çürütüldüğünde yeni bir yol açamadılar.

Sonuç, öncü modellerin araştırma mühendisliğini yapabildiğini ama araştırma sürecinin asıl önemli kısımlarında başarısız olduğunu gösteriyor.

Neyi ölçüyor, neyi ölçmüyor

Çalışmanın gücü kurgusunda: ajan, cevabı internette bulunmayan bir soruyla karşılaşıyor ve sonucu, aynı soruyla aylarca boğuşmuş kişiler değerlendiriyor. Bu, yapay zeka üretimi makaleleri sıradan hakem havuzuna göndermekten çok daha sıkı bir sınav. Değerlendiren kişi konunun gerçekte nereye vardığını biliyor.

Sınırları da açık. Deney iki makaleyle yapıldı; iki örnekten genel bir yargı çıkarmak zor. Ajanların eline verilen bütçe de sonsuz değildi: altı gün ve 3.000 dolarlık kredi, aylarca süren bir araştırma sürecinin karşılığı sayılamaz. Yazarların iddiası ajanların hiçbir işe yaramadığı değil; araştırma mühendisliğini yapabildikleri ama süreci değerli kılan yargı kısmında kaldıkları.

Bulgunun pratik karşılığı şu: bir ajanın makul görünen bir hipotez üretmesi ile o hipotezin peşine düşmeye değip değmediğine karar vermesi ayrı beceriler. İkincisi, kayıtlara göre henüz yok.