Ne oldu?

Matematikçiler Timothy Gowers ve Peter Sarnak, büyük dil modellerinin ciddi matematik becerisine sahip olduğunu kabul ediyor; ancak gerçekten yeni fikirler üretme konusunda sert bir sınır gördüklerini söylüyorlar.

Gowers'ın savı şu: bugünkü modeller bilinen yöntemleri birleştirmekte ve çok sayıda arama yolunu denemekte iyi. Eksik olan, geniş bir arama uzayında üretken olan birkaç yolu seçecek sezgi. Sarnak da aynı yönde konuşuyor: yapay zeka mevcut kuramdan sonuç türetebiliyor, ama temel bir sorudan yola çıkıldığında büyük ispatların dayandığı soyutlamaları geliştiremiyor.

Neden bu ayrım önemli?

Buradaki ayrım, kıyaslama puanlarının gösterdiğinden farklı bir şeyi ölçüyor. Bir matematik testinde yüksek puan almak, bilinen tekniklerin doğru sırayla uygulanabildiği anlamına geliyor. Yeni bir kuram kurmak ise hangi tekniğin denenmeye değer olduğuna karar vermeyi gerektiriyor — ve o karar, denemeden önce veriliyor.

Bu, arama uzayının büyüklüğüyle ilgili pratik bir sorun. Sonsuz sayıda geçerli adım varken hepsini denemek mümkün değil; matematikçinin yaptığı iş, denenmeyecek olanları elemek. Modellerin bu elemeyi yapamaması, hesaplama gücüyle kapanabilecek bir açık değil.

DeepMind'dan benzer bir sonuç

DeepMind araştırmacısı Tom Zahavy de benzer bir noktaya varıyor. "LLMs Can't Jump" başlıklı çalışmasında darboğazı manipülatif çıkarım (manipulative abduction) olarak adlandırıyor: dilsel bir öncülü olmayan, yepyeni temel varsayımlar icat etme yeteneği.

Adlandırmanın kendisi de bir şey söylüyor. Bir modelin eğitim verisinde geçmeyen bir kavramı ortaya atması, o kavramın dilde bir izi olmadığı için tanım gereği tahmin edilebilir değil. Zahavy'ye göre dünya modelleri bu yönde bir çıkış sunabilir.

Değerlendirmelerin özeti

  • Gowers: Modeller bilinen yöntemleri birleştiriyor ve çok yol deniyor; üretken yolu seçme sezgisi yok.
  • Sarnak: Mevcut kuramdan sonuç türetiliyor, ama temel sorudan başlayan soyutlama geliştirilemiyor.
  • Zahavy: Darboğaz, dilsel öncülü olmayan yeni temel varsayımlar icat etme yeteneği.
  • Olası yön: Dünya modelleri.

Ölçmenin kendisi neden zor

Bir modelin "yeni fikir üretemediğini" göstermek, kıyaslama puanı hesaplamaktan farklı bir iş. Kıyaslama, cevabı önceden bilinen sorular soruyor; yeni fikir ise tanımı gereği cevabı bilinmeyen bir yerde ortaya çıkıyor.

Bu yüzden buradaki değerlendirmeler sayısal bir tabloya değil, alanın içinden gelen gözleme dayanıyor. Gowers ve Sarnak'ın söylediği şey şu: modele bilinen bir tekniği uygulattığınızda sonuç alıyorsunuz, ama hangi tekniğin denenmeye değer olduğunu sorduğunuzda cevap yüzeysel kalıyor. Matematikte bu ikinci soru asıl iştir; birincisi hesaplamadır.

Daha geniş tartışma

Bu değerlendirmeler, alandaki daha geniş bir soruyu besliyor: modeller gerçekten daha çok yönlü hâle mi geliyor, yoksa "yalnızca" kıyaslamalarda ve tanıdık problem uzaylarında mı iyileşiyor?

Sorunun matematikten gelmesi rastlantı değil. Matematik, doğru cevabın makine tarafından sınanabildiği ender alanlardan biri; bir ispat ya geçerlidir ya değildir. Bu yüzden bir modelin nerede tıkandığını görmek başka alanlara göre çok daha net.

Ne kesin değil

Bunlar deneysel bir ölçüm değil, alanının önde gelen isimlerinin değerlendirmesi. Gowers ve Sarnak'ın gözlemi kendi çalışma pratiklerine dayanıyor; ne kadar model, hangi görevlerde denendiğine dair bir döküm paylaşılmadı. Zahavy'nin çalışması ise yayımlanmış bir makale ve iddiasını kendi çerçevesiyle ortaya koyuyor.