Kıyaslama puanları aslında neyi ölçüyor?
Ai2'nin BenchMIRT yöntemi, kıyaslamaları soru düzeyinde inceliyor ve tek bir puanın çoğu zaman birden fazla yeteneği karıştırdığını gösteriyor.
Araştırma
modeller
Fable 5.1'in “yüzde 45 ucuz” iddiası tartışmalı
Anthropic yeni modellerini önbellek indirimiyle duyurdu. Yayın öncesi testlere katılan Artificial Analysis, tasarrufun her senaryoda geçerli olmadığını söylüyor.
Modeller