Anthropic'in yayımladığı bir güvenlik raporu, şirketin biyolojik ve kimyasal silah risklerini süzen iç filtreleme sisteminin yaklaşık bir yıl boyunca devre dışı kaldığını ortaya koyuyor.

Rakamlar

Sistemin kapalı olduğu sürede, dış geri bildirim çalışması yürüten yaklaşık 50.000 yüklenici, modellerle tahminen 133 milyon filtresiz etkileşim gerçekleştirdi.

Bu sayının büyüklüğü kadar niteliği de önemli: söz konusu olan sıradan kullanıcı sohbetleri değil, modeli sınamak ve geri bildirim üretmek üzere yapılandırılmış bir çalışma. Yani filtrenin devrede olması gereken kullanım biçimlerinden biri.

Asıl mesele: sessiz arıza

Olayın öğretici yanı, bir güvenlik önleminin var olması ile çalıştığının bilinmesi arasındaki fark. Filtre kurulmuştu, tasarlanmıştı, belgelenmişti — ama kapandığında kimse fark etmedi.

Bu, güvenlik mühendisliğinde bilinen bir tuzak: bir önlem devreye girdiğinde görünür bir çıktı üretiyor (istek reddediliyor), devre dışı kaldığında ise hiçbir şey üretmiyor. Sessizlik, doğru çalışmakla hiç çalışmamak arasında ayrım yapmıyor.

Bunun panzehiri sistemin kendisini değil, çalıştığını izlemek:

  • Filtrenin kaç isteği engellediğini sürekli saymak; sayı sıfıra düştüğünde uyarı vermek.
  • Düzenli aralıklarla bilinen bir test isteği göndermek ve engellendiğini doğrulamak.
  • Önlemin sürüm geçişlerinde ve altyapı değişikliklerinde açık kaldığını ayrıca denetlemek.

Bilginin kaynağı

Bir ayrıntı kayda değer: bu bilgi bir sızıntıdan ya da dış incelemeden değil, Anthropic'in kendi raporundan geliyor. Şirket kendi arızasını kendisi yayımladı.

Bu, olayın ciddiyetini azaltmıyor ama bağlamını değiştiriyor. Sektörde benzer arızaların kaç şirkette yaşandığı ve kaçının duyurulduğu bilinmiyor; duyurulanlar üzerinden bir sıralama yapmak, en şeffaf olanı en kusurlu göstermek anlamına geliyor.

Asıl soru şu: bu tür bir kesintiyi fark eden bir izleme düzeneği kaç şirkette var?

Gerçek risk ne kadardı

133 milyon rakamı büyük ama tek başına zararın ölçüsü değil. Filtrenin görevi, tehlikeli bilgiyi üretmeyi engellemek değil; modelin zaten üretebileceği belirli bir bilgi türünü süzmek. Modelin o bilgiye sahip olup olmadığı ve filtre olmadan gerçekten ne kadarını verdiği ayrı bir soru.

Etkileşimlerin yükleniciler tarafından yapılmış olması da riski iki yönde değiştiriyor. Bir yandan bu kişiler rastgele kullanıcı değil, sözleşmeli ve kimliği bilinen çalışanlar — kötüye kullanım olasılığı düşük. Öte yandan işleri modeli zorlamak; yani filtrenin en çok devrede olması gereken kullanım biçimi tam da buydu.

Neden yine de önemli

Olayın ağırlığı, olan zarardan çok ortaya çıkardığı boşlukta. Bir yıl, bir güvenlik kontrolünün fark edilmeden kapalı kalabileceği süreyi gösteriyor — ve bu süre, aynı kontrolün başka bir şirkette ne kadar kapalı kalabileceğinin de ölçüsü.

Yapay zeka güvenliği tartışması çoğunlukla modelin ne yapabileceği üzerinden yürüyor. Bu vaka, tartışmanın daha sıkıcı ama daha belirleyici bir tarafını hatırlatıyor: önlemler kuruluyor mu değil, kurulduktan sonra çalıştığı denetleniyor mu?

Bu soru düzenleme tarafını da ilgilendiriyor. Yapay zeka mevzuatının çoğu, şirketlerin belirli güvenlik önlemlerini kurmasını şart koşuyor; kurulan önlemin çalıştığını kimin, hangi sıklıkta doğrulayacağı ise genellikle yazmıyor. Bu vaka, iki şartın aynı şey olmadığını gösteren somut bir örnek.