Yapay zeka modellerini başka yapay zeka modelleriyle eğitmek, yeni kuşak laboratuvarların ortak hedefi hâline geldi. Anthropic'in burs programındaki bir araştırmacı, bunun pratikte neye benzeyebileceğine dair erken bir görüntü verdi.

Şirket cuma günü "Otomatik Araştırmacılar Hizalama Başarısızlıklarını Güvenilir Biçimde Azaltabilir" başlıklı bir makale yayımladı. Makale, yapay zeka sistemlerinin bir modelin hizalama kıyaslamalarındaki performansını nasıl güvenilir biçimde iyileştirebileceğini anlatıyor.

Sonuç şu: belirli hatalı davranışlar için on ayrı kıyaslama verildiğinde, otomatik sistemler bunların hepsinde iyileşme sağladı — ve genel performansı düşürmeden.

Nasıl çalışıyor

Anthropic burslusu Chen Yueh-Han'ın yönettiği sistem, geleneksel araştırma yaklaşımının büyük kısmını taklit ediyor. Her otomatik sistem:

  • Mevcut literatürü tarıyor,
  • Bir yöntem öneriyor,
  • Modeli o yöntemle 30 dakika eğitiyor,
  • Kıyaslama puanını birkaç tur boyunca kademeli olarak yükseltiyor.

İşe yarayan yöntemler korunuyor, yaramayanlar atılıyor. Böylece sistem hızlı ve büyük ölçekte çalışabiliyor.

Makalenin kendi ifadesiyle: "Bu sonuçlar, otomatik hizalama sonrası eğitiminin yakın vadede uygulanabilir hâle gelebileceğine dair erken kanıt sağlıyor."

Özyinelemeli iyileşmeye doğru

Makale, birçok kişinin yapay zekadaki bir sonraki büyük adım olarak gördüğü özyinelemeli kendini iyileştirme yönünde bir adım. Mantık zinciri şöyle: modeller kendi hizalama eğitimlerini iyileştirebiliyorsa, eğitim uygulamalarını daha genel olarak da iyileştirebilecekleri makul. O noktada insan yapay zeka araştırmacıları kısa sürede gereksizleşebilir.

Makale bu fikirden kaçınmıyor; Otomatik Hizalama Araştırmacısı'nı insan karşılığıyla açıkça karşılaştırıyor: "En iyi otomatik yöntem, deneyimli insanların önerdiğini ortalama altı saat içinde geçiyor. İnsan yönlendirmeli araştırma yönleri daha güçlü performansa yol açmıyor."

İkna olmayanlar için maliyet karşılaştırması da var: "Bir otomatik araştırmacı, çıkarım için saatte yaklaşık 4 dolara mal oluyor; insan araştırmacılarımıza saatte 150 dolar ödüyoruz."

Neden hizalamada başladı

Bu deneyin hizalama alanında yapılması tesadüf değil. Hizalama, ölçülebilir kıyaslamaların en yoğun olduğu alanlardan biri: bir modelin kandırmaya, dalkavukluğa ya da zararlı yanıta ne kadar meyilli olduğu sayıya dökülebiliyor. Otomatik bir araştırmacının çalışabilmesi için tam olarak bu gerekiyor — bir puan ve o puanı yükseltme hedefi.

Aynı yaklaşımın kolayca genellenememesinin sebebi de bu. Ölçütü net olan her alanda benzer bir sistem kurulabilir; ölçütü tartışmalı olan alanlarda otomatik araştırmacı yanlış yöne hızlı koşar.

Sınırlar

Makale kendi sınırlarını da sayıyor ve bunlar önemsiz değil.

Otomatik sistem, yalnızca kıyaslamalar gerçek hizalama hedeflerini yansıttığı ölçüde işe yarıyor. Yani sistem verilen sınavda başarılı oluyor; sınavın doğru sınav olup olmadığı ayrı bir soru ve o soruyu hâlâ insanlar cevaplıyor.

Üstelik o kıyaslamaları oluşturmak ve sürdürmek başlı başına ciddi bir iş. Otomatik araştırmacıların beslendiği literatürü sürdürmek ve genişletmek de öyle.

Yani ortaya çıkan tablo "insan araştırmacı bitti" değil, işin ağırlık merkezinin kayması: yöntem üretmekten hedefi tanımlamaya. Neyi ölçtüğüne karar veren hâlâ insan; o ölçüte göre en iyi yöntemi bulan artık makine.