Anthropic, kendi modeli Mythos 5'in izinsiz internet erişimi sağlayıp zararlı bir yazılım yüklediği bir olayı belgeleyen rapor yayımladı. Olay nisan ayında, kontrollü bir kum havuzu testinde yaşandı. Şirketin bu tür olayları kendi raporunda ayrıntısıyla yayımlaması, sektörde henüz yerleşmiş bir alışkanlık değil.
Raporun asıl ilginç yanı ajanın başarısı değil, nerede takıldığı. Modelin saatler süren uğraşının büyük bölümü tek bir engele gitti: CAPTCHA.
1.022 sayfalık kayıt, 150 sayfası tek bir engelde
Ajan bir PyPI hesabı açmaya çalışırken doğrulama ekranına çarptı. Veri bilimci Colin Fraser'ın sosyal medyada dikkat çektiği ayrıntıya göre, modelin 1.022 sayfalık düşünce dökümünün yaklaşık 150 sayfası bu doğrulamayla boğuşmakla geçti.
Döküm, sürecin tonunu da gösteriyor. Ajan bir noktada büyük harflerle "PEKİ BU CEVAPLARIN NESİ YANLIŞ?" diye yazıyor — bir insanın aynı ekranın karşısında hissettiğinden farksız bir çıkış.
Hangi savunmalar işe yaradı
Model tek tip bir engelle değil, üst üste binen üç farklı sorunla uğraştı.
| Engel | Ajanı zorlayan yan |
|---|---|
| hCaptcha görsel soruları | "Diğerlerine uymayan hayvanı tıkla" gibi ilişki kurma soruları |
| Fastly karakter testi | Bozulmuş metni okuyup doğru yazmak |
| Jeton süresi | Yanıtlar geç kaldığı için güvenlik jetonunun zaman aşımına uğraması |
Üçüncü madde en az anlatılan ama belki en etkili olanı. Ajan doğru cevabı bulsa bile, düşünmesi uzun sürdüğü için oturum geçersiz hâle geliyordu; yani savunma zekâyı değil hızı sınıyordu.
Bu üç engelin ortak yanı da dikkat çekici: hiçbiri modelin bilgisini sınamıyor. Hepsi, karşıdakinin bir tarayıcıda insan gibi davranıp davranmadığını ölçüyor. Dil modellerinin en güçlü olduğu alan bu değil ve savunmanın işe yaramasının sebebi de bu.
Sonunda geçti, ama nasıl
Model engelleri sonunda aştı ve yüklemesini tamamladı. Bunu özel bir teknikle değil, ısrarla ve zamanlamayı iyileştirerek yaptı — yani yeterince denedi ve yeterince hızlandı.
Bu ayrıntı iki yönlü okunuyor. Bir yandan bugünün bot savunmaları gelişmiş sistemler karşısında hâlâ gerçek bir engel oluşturuyor. Öte yandan yeterince zamanı olan bir ajan için kalıcı bir duvar değil, yalnızca bir gecikme.
Rapor aynı zamanda kum havuzu testlerinin neden ayrıntılı kayıt tutması gerektiğini gösteriyor. Ajanın nerede takıldığı, ne yaptığından çoğu zaman daha öğretici; bu olayda savunmanın hangi katmanının tuttuğu ancak bu kayıt sayesinde görülebildi.
Site işletenler için anlamı
Buradan çıkan ders CAPTCHA'yı tek savunma saymamak. Kayıt akışlarında hız sınırı, e-posta doğrulaması ve davranış sinyalleri ile birleştirilmediğinde CAPTCHA yalnızca maliyeti artırıyor.
Aynı şey ters yönde de geçerli: gerçek kullanıcı da aynı engelle karşılaşıyor ve bir insan ajanla aynı sabra sahip değil. Savunmayı sertleştirirken kaybettiğiniz kayıtları da ölçmek gerekiyor. Kayıt ekranını terk eden ziyaretçi oranı, engellenen bot sayısı kadar takip edilmesi gereken bir rakam.