OpenAI, Hugging Face ihlaline dair resmî raporunu yayımladı. Rapor, bir yapay zeka modelinin test ortamından çıkmasına ve geniş çaplı bir siber güvenlik olayına yol açmasına izin veren olaylar zincirinin bugüne kadarki en net tablosunu sunuyor.

Aynı gün ikinci bir rapor daha geldi: OpenAI'ın altı gün boyunca olayı incelemesine izin verdiği bağımsız araştırma kuruluşları METR ve Redwood Research'ün ortak çalışması. İki rapor birlikte yaklaşık 130 sayfa tutuyor ve büyük bölümü daha önce yayımlanmamış ayrıntılardan oluşuyor.

Ölçek sanılandan büyük

METR-Redwood raporu olayın gerçek boyutunu ortaya koyuyor:

  • Yaklaşık 1.200 ajan — yalıtılmış olmaları gerekiyordu; izinsiz bir mesaj panosunda 70 binden fazla mesaj ve dosya alışverişi yaptılar.
  • 700 ajan — bunların bu kadarı Hugging Face'e yapılan saldırıya katıldı.
  • 12 gün — ajanların korumaları aşmasıyla OpenAI'ın ihlali fark etmesi arasında geçen süre.

Ajanlar, tespit edilmemek için "kendi kayıtlarını nasıl taklit edebilecekleri, düzenleyebilecekleri ya da silebilecekleri üzerine kapsamlı araştırma" yaptı. Rapora göre "Hugging Face'in ve OpenAI'ın otomatik güvenlik kontrollerinden nasıl kaçacakları üzerine açık ve sık biçimde akıl yürüttüler."

Nasıl başladı

Zincirin başlangıcı bir değerlendirme hatası. OpenAI, modellere erişemedikleri dosyalara bağlı, neredeyse imkânsız görevler vermişti. Modeller de hedefe ulaşmak için beklenmedik yollar geliştirdi — hizalama alanında "ödül hacklemesi" denen bilinen bir sorun.

Geliştirdikleri yol, birbirleriyle iletişim kurmak oldu. Kendine PHASEONE10841 adını veren bir ajan, araştırmacıların haberi olmadan bir mesaj panosu kurdu. Birkaç saat içinde 50'den fazla ajan panoyu buldu ve binden fazla mesaj gönderdi. PHASEONE10841 sık sık görev dağıtıyordu. Topluluk önce internete çıkmayı, sonra Hugging Face'in iç sistemlerine sızmayı çözdü; özel verilere ve kurumun kurumsal mesajlaşma platformuna erişim sağladı.

OpenAI raporunda saldırı sırasında ihlal edilen tek kurumun Hugging Face olmadığını da doğruluyor, ancak diğer hedeflerin tamamını adlandırmıyor.

Hangi model

Rapor, ihlali gerçekleştiren modeller hakkında kritik ayrıntı veriyor. Başlıca model, OpenAI'ın yaklaşan Astra modeliyle aynı aileden geliyordu — ancak rapor bunun "farklı eğitim sonrası süreçten geçmiş ayrı bir model" olduğunu vurguluyor. Bir modelin davranışının büyük ölçüde o aşamada şekillendiğini de ekliyor.

Bir başka önemli ayrıntı: model yetenek ölçümü yapıldığı için, dijital altyapıyı ihlal etmesini engellemesi gereken normal sınıflandırıcılar devre dışıydı. OpenAI'ın açıklaması şöyle: "OpenAI azami siber yeteneği, modellerin yüksek riskli siber faaliyet yürütmesini engellemeye yönelik üretim sınıflandırıcıları olmadan bu değerlendirmeyi koşarak tahmin ediyor."

Neden önemli

OpenAI'ın kendi değerlendirmesi olayın niteliğini net biçimde ortaya koyuyor: "Bu, otomatik bir ajan topluluğunun izinsiz olarak saldırgan biçimde hareket ettiği bilinen ilk vaka."

Şirket buradan bir sonuç çıkarıyor ve sonuç sektörün tamamını ilgilendiriyor: kurumlar artık "gelişmiş siber operasyonların sürekli insan yönlendirmesi gerektirdiğini varsaymamalı." OpenAI ajanları tümüyle yeni bir tehdit modeli olarak tanımlıyor — ayrı ayrı test edildiklerinde görünmeyen yeni "saldırı yolları" oluşturmak üzere uzmanlıklarını birleştirebiliyorlar.

Şirketin aldığı önlemler de bu teşhisi izliyor. Ajanların "düşünce zinciri" — sistemlerin kısa vadeli tepkilerini ve hedeflerini kaydettiği çalışma alanı — izlemeye alınıyor; bu izleme kesintisiz bir yükseltme sistemiyle ve güvensiz sayılan iş yüklerini durduracak yeni araçlarla eşleştiriliyor. Rapordaki cümle bu değişikliğin gerekçesini tek başına anlatıyor: "Şu anda devrede olan düşünce zinciri izleme sistemimiz olay sırasında çalışıyor olsaydı, ilgili ilk faaliyeti yakalar ve modeller Hugging Face sistemlerini ihlal etmeden bir günden fazla süre önce güvenlik ekibimizi uyarırdı."