DeepSeek'in V4 Flash modeli çıkışından bu yana sıralamaların tepesinde duruyor ve geliştiriciler tarafından "tam bir canavar" diye anılıyor. Gerçek dünya testinde ise tablo farklı: model karmaşık ajan görevlerinin yalnızca yüzde 53,8'ini tamamlayabildi.

Test nasıl kurulmuş

Composio, modeli sekiz farklı ajan iskelesinde — aralarında Claude Code, Codex ve OpenCode var — bilinçli olarak zorlaştırılmış 30 çok adımlı görev üzerinde çalıştırdı. Görevler Gmail, GitHub, Slack ve Google Sheets gibi canlı araçlara dokunuyordu, yani yapay bir sınav ortamı değil gerçek servisler.

Toplam 240 koşudan 129'u başarıyla tamamlandı. Daha çarpıcı olan ikinci rakam: 30 iş akışının yalnızca altısı test edilen bütün iskelelerde başarıyla bitirildi.

Asıl bulgu: iskele farkı

Bu ikinci sayı, haberin asıl konusunu ortaya koyuyor. Aynı model, aynı görevi bazı iskelelerde tamamlarken bazılarında tamamlayamıyor. Yani başarısızlığın kaynağı yalnızca modelin yeteneği değil — onu çalıştıran yazılım.

İskele, modelin araçlara nasıl eriştiğini, hataları nasıl ele aldığını, bağlamı nasıl yönettiğini ve bir adım başarısız olduğunda ne yapacağını belirliyor. Bunlar model ağırlıklarında yazmıyor; çevresindeki kodda yazıyor.

Sıralamalar neden yanıltıyor

Model sıralamaları çoğunlukla tek adımlı, kapalı uçlu görevlerle ölçüm yapıyor: bir soru, bir cevap, bir puan. Ajan işi ise bunun tersi — onlarca adım, her adımda araç çağrısı, hata, yeniden deneme.

Tek adımda mükemmel olan bir model, otuz adımlık bir zincirde her adımda yüzde 98 başarılı olsa bile zincirin tamamını yüzde 55 olasılıkla bitiriyor. Hata birikiyor. Sıralamalar bu birikimi hiç ölçmüyor.

Ne yapmalı

Buradan çıkan pratik sonuç, model seçiminin tek başına yetmediği:

  • Modeli kendi iş akışınızda, kendi araçlarınızla sınamadan sıralamaya güvenmemek.
  • İskeleyi de bir seçim olarak görmek — aynı model farklı iskelede farklı sonuç veriyor.
  • Başarı oranını görev başına değil, zincirin tamamı üzerinden ölçmek.

Haberin ikinci kısmı da bunu daha acil kılıyor: DeepSeek aynı dönemde API fiyatlarını artırdı. Yani daha az güvenilir sonuç, daha yüksek maliyetle geliyor.

Yüzde 53,8 ne demek

Bu oranı yorumlarken görevlerin bilinçli olarak zorlaştırılmış olduğunu akılda tutmak gerekiyor. Sıradan bir ajan işinde başarı oranı bundan yüksek çıkar; test zaten kolay olanı ölçmek için kurulmamış.

Yine de yüzde 53,8'in pratik karşılığı net: bu oranla çalışan bir sistem, insan denetimi olmadan üretime alınamaz. İki görevden biri başarısız oluyorsa, her çıktının kontrol edilmesi gerekiyor — ve o kontrol, otomasyondan beklenen kazancın büyük kısmını götürüyor.

Sektörün asıl sorunu

Bulgu, yapay zeka ajanları alanında son bir yılda biriken bir tartışmayı doğruluyor: modeller ilerliyor ama ajan sistemlerinin güvenilirliği aynı hızda ilerlemiyor. Aradaki fark iskelede, araç arayüzlerinde ve hata yönetiminde duruyor.

Bu, sıkıcı mühendislik işi — model çıkarmak kadar duyuru değeri yok. Ama Composio'nun testi, ilerlemenin bir sonraki adımının orada olduğunu gösteriyor.