Forecasting Research Institute'ün ara raporuna göre, yapay zeka alanındaki uzmanlar son yılların ilerlemesini belirgin biçimde hafife aldı. Ama tahminlerin düşük kaldığı yerler kadar, yüksek kaldığı yerler de var.
Model duyuruları haftada bir geliyor ve her biri kendi tablosuyla. Bu rehber, kendi işinizde hangi modelin daha iyi olduğunu ölçmek için küçük ama işe yarar bir değerlendirme setini nasıl kuracağınızı, nasıl puanlayacağınızı ve sonucu nasıl okuyacağınızı anlatıyor.
Anthropic, Claude 5.5 ailesinin ilk modeli Opus 5.5'i yayımladı. Şirkete göre model çoğu işte Fable 5.1 seviyesinde çalışıyor ve varsayılan ayarlarda Opus 5'e göre yüzde 40 daha düşük maliyet çıkarıyor.
OpenAI, GPT-6 Sol ve Luna'yı duyurdu. İki model de seleflerinin yarı fiyatına çalışıyor, performansta ise büyük bir sıçrama yok. Şirket kazancın fiyat-performans oranında olduğunu söylüyor.
xAI, kodlama ve ajan işleri için yeni amiral modeli Grok 4.7'yi Grok 4.6'yla aynı fiyattan sundu. Şirketin kendi tablosu büyük sıçrama gösteriyor; bağımsız ölçüm modeli orta sıraya koyuyor.
Andon Labs'ın iki ajan testinde GPT-6 Astra öne çıktı: otomat simülasyonunda 15.515 dolar kazandı ve drone kontrolünde insan temel çizgisini ilk kez aşan model oldu.
Ne ne kadar süreceğini kestirebiliyorlar ne de ne kadar çalıştıklarını. Kendi işlerinin kalitesini de ortalama 20 puan fazla veriyorlar.
Kıyaslama sorularının eğitim verisine karışması sonuçları değersizleştiriyor. DeepMind şifreleme kullanarak iki tarafı da birbirine kapatıyor.
IQ testlerinden ödünç alınan yöntemler, yapay zeka güvenlik ölçütlerinin tek bir puana indirgenmesinin yanıltıcı olduğunu gösteriyor.
Artificial Analysis, kullanıcıların kendi verilerinden ve iş akışlarından özel kıyaslama kurmasını sağlayan Optima'yı tanıttı. Modeller kaliteyle birlikte maliyet ve süre üzerinden de karşılaştırılabiliyor.
Microsoft Research'ün MindTopo testi, çok kipli modellerin bağlantılılık ve düğüm gibi ilişkileri anlamasını ölçüyor. Modeller durağan görüntüde başarılı, eylem sırasında değil.
Moonshot AI'ın PerceptionBench testi, çok kipli modellerin görsel algısını akıl yürütmeden ayırarak ölçüyor. Test edilen 16 öncü modelin hiçbiri yüzde 60 doğruluğa ulaşamadı.