¿Qué miden en realidad las pruebas de referencia?
El método BenchMIRT de Ai2 analiza las pruebas de referencia pregunta a pregunta y muestra que una sola puntuación suele mezclar más de una capacidad.
Investigación
modelos
La rebaja del 45 % de Fable 5.1 está en disputa
Anthropic presentó sus nuevos modelos con un descuento en la caché. Artificial Analysis, que participó en las pruebas previas, dice que el ahorro no se cumple siempre.
Modelos