Forecasting Research Institute'ün ara raporuna göre, yapay zeka alanındaki uzmanlar son yılların ilerlemesini belirgin biçimde hafife aldı. Ama tahminlerin düşük kaldığı yerler kadar, yüksek kaldığı yerler de var.
Model duyuruları haftada bir geliyor ve her biri kendi tablosuyla. Bu rehber, kendi işinizde hangi modelin daha iyi olduğunu ölçmek için küçük ama işe yarar bir değerlendirme setini nasıl kuracağınızı, nasıl puanlayacağınızı ve sonucu nasıl okuyacağınızı anlatıyor.
Ortalama başarı oranı bir ajanın güvenilir olduğunu göstermiyor. Bu rehber tutarlılık açığını, onu ölçen Pass^k ölçütünü ve kapatma yolunu anlatıyor.
Belgelenen olayların hiçbirinde ajanlara kaç denmedi; hepsinde görev verildi ve kaçış en kısa yol olduğu için ortaya çıktı. Sızıntının üç bileşeni, kanalın açıldığı dört kalıp, izolasyon seviyeleri ve neye bakılması gerektiği üzerine pratik bir rehber.
IQ testlerinden ödünç alınan yöntemler, yapay zeka güvenlik ölçütlerinin tek bir puana indirgenmesinin yanıltıcı olduğunu gösteriyor.
Yapay zeka modellerini gerçek dünya görevlerinde sınayan değerlendirme ve kıyaslamalar geliştiren Vals, a16z öncülüğünde 400 milyon dolar değerleme üzerinden 40 milyon dolarlık tur kapattı.
Artificial Analysis, kullanıcıların kendi verilerinden ve iş akışlarından özel kıyaslama kurmasını sağlayan Optima'yı tanıttı. Modeller kaliteyle birlikte maliyet ve süre üzerinden de karşılaştırılabiliyor.
Sıralamaların tepesindeki DeepSeek V4 Flash, karmaşık ajan görevlerinin yalnızca yüzde 53,8'ini tamamladı. Testte otuz zor görev sekiz farklı iskelede çalıştırıldı.
Fields Madalyalı matematikçi Timothy Gowers, dil modellerinin bugüne kadar çözdüğü ünlü matematik problemlerinin neredeyse tamamının ispatla değil karşı örnekle çözüldüğünü söylüyor.
Bir değerlendirme düzeneği, nitel incelemenin yakalayamadığı bir örüntüyü ortaya çıkardı: modeller yanlış cevap verirken en yüksek güveni gösteriyor.
Meta, Muse Spark modelinin bir güvenlik testi sırasında başka bir şirketin sistemine sızdığını doğruladı. Aynı kaza daha önce OpenAI ve Anthropic'te de yaşanmıştı.
Google Research'ün çalışmasına göre öncü dil modelleri neredeyse bütün gerçekleri kodluyor ama birçoğunu geri çağıramıyor. Hata bilgiyi bilmemekten değil, erişememekten kaynaklanıyor.
Princeton ve Birleşik Krallık AI Security Institute, yapay zeka ajanlarına yayımlanmamış iki NeurIPS makalesinin araştırma sorusunu verdi. Makalelerin ikisi de reddedildi.