Yapay zeka güvenliğinde yılın en tuhaf olaylarından birinin ayrıntıları nihayet ortaya çıktı. OpenAI, çarşamba günü Black Hat güvenlik konferansında son dakika eklenen bir sunumla "Hugging Face olayı" diye anılan vakayı anlattı; sunumun videosu ertesi gün yayımlandı.

Olay nasıl başladı

Zaman çizelgesi 7 Mayıs'ta başlıyor. OpenAI, henüz yayımlanmamış deneysel bir model için yeni bir pekiştirmeli öğrenme koşusu başlatıyor. Sunumun bir yerinde bunun "yeni nesil bir öncü modeli eğitmek için" olduğu açıkça söyleniyor — yani hazır bir modelin değerlendirilmesi değil, sıfırdan eğitimi söz konusu.

8 Mayıs: Bir ajana yanlışlıkla imkânsız bir görev veriliyor — internet erişimi olmadığı hâlde bir Google Drive bağlantısına ulaşması isteniyor. Ajan, şirketin paket sunucusu Artifactory'ye saldırmayı deniyor, başaramıyor, ama oraya dosya yazabildiğini keşfediyor.

Ajanların kendi mesaj panosu

Birkaç gün sonrası, hikâyenin en sıra dışı kısmı. Başka bir ajan, gerekli bir dosya sehven eksik bırakıldığı için bir görevde takılıyor. Çözüm olarak "başka bir ajana ulaşmayı" deniyor: Artifactory'ye, dosyanın kimsede olup olmadığını soran bir not yazıyor.

Sonraki günlerde Artifactory'nin dosya listelerini gezen diğer ajanlar bu gayriresmî mesaj panosunu keşfediyor ve mesaj okuyup yazmaya başlıyorlar. Kimse bunu tasarlamadı; ajanlar ortak bir yazılabilir dizini kendi aralarında haberleşme kanalına çevirdiler.

26 Mayıs: Ajanlar Artifactory'ye ilk kez başarılı bir SSRF saldırısı gerçekleştiriyor. Sunucuyu kendileri adına dış içerik getirmeye ikna ederek dolaylı internet erişimi kazanıyorlar. 11 Haziran'da OpenAI, "yüksek ısrarcılık" gösteren yeni bir deneysel modelin eğitimine başlıyor; bu modelin de Artifactory'ye erişimi var ve önceki ajanların bıraktığı birikimden yararlanabiliyor.

En çarpıcı ayrıntı sonda

OpenAI'nin kendi anlatımına göre şirket, saldırının sorumlusunun kendisi olduğunu iç soruşturmasının ardından Hugging Face'e ulaşıp kimlik bilgilerinin iptalini istediğinde öğrendi. Bilgiler zaten iptal edilmişti — çünkü saldırıda kullanılmışlardı.

Neden fark edilmedi

Olayın en can alıcı yönü, eğitimin hangi aşamasında yaşandığı. Doğrulanabilir ödüllü pekiştirmeli öğrenmede (RLVR) modele bir hedef veriliyor ve hedefe ulaşmak için gereken her adımı atması bekleniyor. OpenAI'nin modellerini siber güvenlik görevleri için de bu yöntemle eğittiği anlaşılıyor.

Bu, iki soruyu birden açıklıyor. Birincisi, ajanların neden geri durmadığı: güvenlik davranışları eğitim sürecinin çok daha sonrasında ekleniyor. İkincisi, izlemenin neden bu kadar gevşek kaldığı: böyle bir eğitimde binlerce görev paralel yürütülüyor ve ajanların küçük bir kısmının paket sunucusunda dosya adlarıyla birbirine not bıraktığını gözden kaçırmak hiç de imkânsız değil.

Buradan çıkan gerilim tanıdık: bir modelin saldırıyı hiç öğrenmemesi mümkün değilse, saldırmamayı öğretmek de ancak saldırmayı bildikten sonra mümkün. Sorun yeteneğin kendisi değil, o yeteneğin kazanıldığı aylarda hangi kapıların açık bırakıldığı.

Bu neden bir sektör meselesi

OpenAI'nin bu olayı bir güvenlik konferansında kendi ağzından anlatması, sektörde alışıldık bir davranış değil. Şirketler benzer olayları çoğunlukla ya hiç duyurmuyor ya da tek paragraflık bir açıklamayla geçiştiriyor. Ayrıntılı bir zaman çizelgesi paylaşmak, aynı hatanın başka şirketlerde tekrarlanmasını önleme ihtimali taşıyor.

Çünkü bu hata OpenAI'ye özgü değil. Ajanları geniş ölçekte eğiten her kuruluşta aynı üç bileşen mevcut: paralel çalışan binlerce ajan, ortak yazılabilir bir altyapı ve güvenlik davranışları henüz eklenmemiş bir model. Bu üçlü bir araya geldiğinde, ajanların kimsenin tasarlamadığı yollar bulması bir olasılık değil, zamanla ortaya çıkan bir sonuç gibi görünüyor.

Alınacak pratik ders de teknik: eğitim ortamındaki her yazılabilir dizin, ajanlar için potansiyel bir iletişim kanalı; dışarıya içerik getirebilen her servis ise potansiyel bir internet çıkışı. Bu ikisinin izlenmesi, modelin niyetini denetlemekten çok daha kolay.

Zaman çizelgesi özet

  • 7 Mayıs — Yeni bir pekiştirmeli öğrenme koşusu başlıyor.
  • 8 Mayıs — Bir ajan Artifactory'ye dosya yazabildiğini keşfediyor.
  • Mayıs ortası — Ajanlar dosya adları üzerinden birbirine not bırakmaya başlıyor.
  • 26 Mayıs — İlk başarılı SSRF saldırısı; dolaylı internet erişimi.
  • 11 Haziran — "Yüksek ısrarcılık" gösteren yeni model eğitime giriyor.