Ne oldu?

Justin Zhao ve dört meslektaşının kaleme aldığı yeni bir araştırma, büyük dil modellerinin (large language model, LLM) hakem rolünde ne kadar tutarlı kaldığını inceliyor. Çalışma 12 Ağustos 2026 tarihinde arXiv üzerinde yayımlandı ve 'Wiggle Framework' adı verilen bir stres testi çerçevesi tanıtıyor. Bu çerçeve, hakem modellerin kararlılığını üç boyutta ölçüyor: yeniden sorgulama karşısında mekanik tutarlılık, tek seferlik itiraz karşısında dayanıklılık ve sürdürülen baskı karşısında ısrar.

Araştırmacılar bu çerçeveyi kullanarak güvenlik, toksisite, yapay zeka tarafından yazılmış metin tespiti ve siyasi yanıt değerlendirmesi gibi alanları kapsayan 14 farklı hakemlik görevinde 9 öncü modeli test etti. Sonuçlara göre incelenen her model, hakem olarak belirgin bir kararsızlık sergiledi.

Neden önemli?

Bulgular, hakem modellerin sadece altın standart verilerdeki doğruluğa göre değerlendirilmesinin yeterli olmadığını gösteriyor. Bir modelin doğru cevabı bilmesi, o cevapta ısrar edeceği anlamına gelmiyor. Araştırmaya göre bir hakemin kararını değiştirmesine yol açan baskı, neredeyse her zaman gerçek doğruluktan uzaklaşmaya, yani net olarak yanlış yöne kaymaya neden oluyor.

Bu durum, yapay zeka modellerinin çevrimiçi notlandırma, ödül modelleme ve model değerlendirmelerinde giderek merkezi bir altyapı haline geldiği bir dönemde önem taşıyor. Bir hakem model kolayca ikna edilebiliyorsa, onun verdiği kararlara dayanan sistemlerin de güvenilirliği sorgulanabilir hale geliyor.

Sayılarla bulgular

  • Statik itiraz (pushback) altında modellerin karar değiştirme oranı: yüzde 25 ile 71 arasında
  • Düşmanca bir yapay zeka ikna edici (adversarial LLM persuader) karşısında karar değiştirme oranı: yüzde 62 ile 91 arasında
  • Test edilen model sayısı: 9
  • Kapsanan hakemlik görevi sayısı: 14
  • İncelenen alanlar: güvenlik, toksisite, yapay zeka yazısı tespiti, siyasi yanıt değerlendirmesi

Sırada ne var?

Araştırmacılar, jüri çoğunluk gücünün (baseline jury majority strength) hangi kararların baskı altında değişebileceğini önceden tahmin etmede en etkili tek sinyal olduğunu belirtiyor. Çalışma, mekanik tutarlılık, uyumluluk ve ikna edilebilirlik testlerini aynı veri kümeleri üzerinden karşılaştıran ilk kapsamlı çalışma olarak sunuluyor. Makalenin tam metni ve kod tabanına ilişkin ayrıntılar arXiv sayfasında yayımlandı; çalışmanın endüstri değerlendirme sistemlerine nasıl uyarlanacağı ise şimdilik açık bir soru olarak duruyor.