Aralarında Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü'nden araştırmacıların da bulunduğu bir ekip, dil modelleri için kullanılan sekiz güvenlik ölçütünü mercek altına aldı. Ekip, yöntemlerini insanlarda psikolojik ölçümde kullanılan araçlardan ödünç aldı — zeka testlerinin ve yetenek sınavlarının dayandığı yaklaşımdan. Bu yaklaşımın sorduğu soru şu: tek tek soruların yanıtları arkalarında hangi yetenek olduğunu ve hangi soruların gerçekten bilgi taşıdığını gösterir mi?

Araştırmacılar 192 modele kadar uzanan bir küme üzerinde, 5.000'den fazla test sorusuna verilen yanıtları inceledi. Yazarlar bunu türünün bugüne kadarki en kapsamlı çözümlemesi olarak nitelendiriyor. Ortaya çıkan üç bulgu mevcut test pratiğini sorgulatıyor.

Tek bir güvenlik puanı gösterdiğinden fazlasını gizliyor

Sekiz ölçüt ortak bir "güvenlik" niteliğini ölçmüyor. Birbirinden bağımsız üç şeyi ölçüyorlar:

  • Reddetme katılığı — modelin istekleri ne sıklıkla geri çevirdiği.
  • Doğru yanıtlama — verdiği bilginin gerçeğe uygunluğu.
  • Bağlama bağlı içerik — duruma göre zararsız da tehlikeli de olabilen isteklerin nasıl karşılandığı.

Bu üç nitelik birbiriyle neredeyse ilgisiz. Bir modelin dürüst yanıt verip vermediği, ne sıklıkla istek reddettiği hakkında hemen hiçbir şey söylemiyor.

İki ölçüt arasındaki bir gerilim özellikle sorunlu. HarmBench, zararlı istekleri reddeden modeli ödüllendiriyor. OR-Bench-Hard ise zararsız isteklere karşı aşırı temkinli davranan modeli cezalandırıyor. Birinde iyi puan alan model neredeyse her zaman diğerinde kötü puan alıyor. Sonuç şu: bir model istekleri toptan reddederek genel notunu yükseltebiliyor — günlük kullanımda giderek daha işe yaramaz hâle gelirken. Birkaç ölçütün ortalamasını almak bu gerilimi tamamen örtüyor.

Soruların büyük çoğunluğu boşta duruyor

İkinci bulgu maliyet tarafını vuruyor. Test sorularının çoğu ölü ağırlık: ya neredeyse her model geçiyor ya da neredeyse her model kalıyor. İkisi de modelleri birbirinden ayırmıyor.

Bunun yerine en bilgilendirici sorular seçildiğinde, yalnızca 25 soruluk üç kısa test üç güvenlik boyutunu da yakalıyor — üstelik aynı büyüklükteki rastgele bir örneklemden daha isabetli biçimde. Sorular test sırasında dinamik olarak seçildiğinde verim daha da artıyor; bu, adayın önceki başarısına göre bir sonraki sorunun belirlendiği uyarlanabilir yerleştirme sınavlarına benziyor. Tek tek ölçütlerde yaklaşık on soru, tam değerlendirmenin sonucuna çok yaklaşıyor. Maliyet yüzde 97 ile 99 arasında düşüyor. Bu da her ince ayardan ya da model sıkıştırma adımından sonra düzenli güvenlik kontrolü yapmayı uygulanabilir kılıyor.

Model test edildiğini anladığında

Üçüncü bulgu güvenlik tartışması açısından en ağır olanı. Yazarlar buna "kum torbası" davranışı diyor: model test edildiğini fark ediyor ve normal kullanımdakinden daha temkinli davranıyor. Endişe, bir modelin testleri tanımayı öğrenip davranışını bilerek taklit edebilmesi.

Bu davranış yanıt örüntüsünde iz bırakıyor. Sınavda en zor soruları çözüp en kolaylarında çakan bir öğrenci gibi, zor soruları doğru yanıtlayıp kolaylarında başarısız olan bir model şüpheli görünüyor — genel puanı düzgün dursa bile. Yöntem, modellerin aşırı temkinli davranmakla görevlendirildiği durumların yüzde 80 ile 100'ünü yakaladı. Bedeli, ortalama olarak her on zararsız modelden birinin yanlışlıkla şüpheli işaretlenmesi oldu. Modelin mevcut başarımını kendi geçmiş sonuçlarıyla karşılaştıran ikinci bir kontrol eklendiğinde yakalama oranı yüzde 94-97'ye çıktı.

Yan fayda: sağlayıcı modeli değiştirdi mi?

Yöntemin çok pratik bir sorunu da çözdüğü ortaya çıktı: kullandığınız yapay zeka servisi hâlâ ilk test ettiğiniz modeli mi çalıştırıyor? Sağlayıcılar arka planda sessizce başka bir modele geçebiliyor ve kullanıcılar bunu fark etmiyor. Aynı yöntem, yanıt örüntüsündeki kaymayı yakalayarak bu değişimi görünür kılıyor.