Önceki soruya kaldığı yerden

IBM Research'ün önceki çalışması, ALTK-Evolve ile ACE'yi karşılaştırmış ve bir ajanın kendi kendine damıttığı yönergelerin nasıl teslim edildiğinin hem doğruluğu hem maliyeti belirlediğini göstermişti: göreve göre birkaç yönerge getirmek mi, tüm kümeyi enjekte etmek mi?

Yeni çalışma bir adım geri çekilip ondan önce gelen soruyu soruyor: ne kadar vermeli?

Beklenen ile çıkan

Ajan hafızası kulağa basit geliyor: geçmiş işten dersler damıt, bunları bağlama geri koy, daha çok deneyim daha iyi başarım demek olsun. Çalışmanın bulgusu bunun her zaman böyle yürümediği.

Değerlendirme sekiz modele genişletildiğinde — 30 milyar parametreli yoğun bir modelden sınır düzeyindeki tescilli sistemlere kadar — tek bir bulgu öne çıkıyor. Yazarların kendi cümlesiyle: ajan hafızası açtığınız bir özellik değil, modele göre ayarladığınız bir dozdur.

Doz model sınıfına göre değişiyor

Çalışmanın özetlediği tablo şöyle:

  • Alanı olan güçlü modeller tüm yönerge kümesini istiyor; hepsini alıp kendileri eleyebiliyorlar.
  • Zayıf modeller sıkı bir çekirdek artı göreve göre getirme ile en iyi sonucu veriyor; fazlası dikkatlerini dağıtıyor.
  • Doymuş modeller ise ölçülebilir bir kazanç göstermiyor — hafıza eklemek başarımı değiştirmiyor.

ALTK-Evolve'un çalışma biçimi değişmiyor: ajanın geçmiş yörüngelerinden yeniden kullanılabilir yönergeler damıtılıyor ve çıkarım anında bağlama geri konuyor. Ağırlık güncellemesi yok, insan etiketi yok.

Neden önemli?

Bu bulgu, ajan tasarımında yaygın bir varsayımı bozuyor. Hafıza genellikle bir anahtar gibi düşünülüyor: açarsan iyileşir. Çalışma bunun yerine bir ayar düğmesi öneriyor ve düğmenin doğru yeri modele göre değişiyor.

Pratik sonucu şu: bir ajan kurulumunu bir modelde ölçüp aynı ayarları başka bir modele taşımak yanıltıcı. Aynı hafıza miktarı bir modelde kazanç, diğerinde kayıp üretebiliyor. Değerlendirmenin sekiz modele yayılmış olması da bu yüzden önemli — tek modelde yapılan ölçüm, bulgunun kendisini gizliyor.

Doymuş modellerde kazanç görülmemesi ayrıca dikkate değer. Bu, hafızanın bir tavanı olduğunu düşündürüyor: model zaten görevi yapabiliyorsa, geçmiş derslerin ekleyeceği bir şey kalmıyor. Yani hafıza bir yetenek katmıyor, eksik bir yeteneği telafi ediyor.

Çekince olarak, bulgular kurum içinde yapılan bir değerlendirmeye dayanıyor ve bağımsız tekrarlarla doğrulanmış değil. Yine de sekiz model üzerinden ölçülmüş olması, tek kurulumda yapılan iddialardan daha sağlam bir zemin veriyor.

Maliyet tarafında da doğrudan bir karşılığı var. Önceki çalışma, tüm yönerge kümesini her adımda enjekte etmenin jeton faturasını nasıl şişirdiğini ölçmüştü. Yeni bulgu bunun üstüne ekliyor: bazı modellerde o fazladan jeton yalnızca pahalı değil, aynı zamanda zararlı. Yani doğru dozu bulmak hem daha ucuz hem daha isabetli bir kurulum demek — ikisi arasında bir takas yapmak gerekmiyor.

Ajan kuran bir ekip için pratik çıkarım şu: hafıza miktarını sabit bir yapılandırma değil, model değiştiğinde yeniden ölçülmesi gereken bir parametre saymak. Kurulumun kendisi taşınabilir, ayarı taşınabilir değil.