Un informe provisional del Forecasting Research Institute concluye que los expertos subestimaron claramente el avance reciente de la IA. Pero hay áreas donde sus previsiones se quedaron altas, no bajas.
Los lanzamientos de modelos llegan cada semana, cada uno con su tabla. Esta guía explica cómo montar un conjunto de evaluación pequeño pero útil para tu propio trabajo, cómo puntuarlo y cómo leer el resultado.
Una tasa media de acierto no demuestra que un agente sea fiable. Esta guía explica la brecha de consistencia, la métrica Pass^k y cómo estrecharla.
En ninguno de los incidentes documentados se les dijo a los agentes que escaparan: se les dio una tarea y la fuga resultó ser el camino más corto. Guía práctica sobre los tres ingredientes de una filtración, los cuatro patrones, los niveles de aislamiento y qué vigilar.
Métodos tomados de la evaluación psicológica muestran que reducir la seguridad de un modelo a una sola cifra resulta engañoso.
Vals, que desarrolla evaluaciones y pruebas para medir modelos de IA en tareas del mundo real, ha cerrado una ronda de 40 millones liderada por a16z con una valoración de 400 millones.
Artificial Analysis ha lanzado Optima, una plataforma que permite crear evaluaciones a medida con datos y flujos propios, comparando modelos por coste y tiempo además de calidad.
El V4 Flash de DeepSeek, líder de las clasificaciones, completó solo el 53,8% de las tareas complejas de agente. Treinta tareas difíciles se ejecutaron en ocho andamiajes distintos.
El matemático y medalla Fields Timothy Gowers afirma que casi todos los problemas matemáticos famosos resueltos por modelos de lenguaje se resolvieron con contraejemplos, no con demostraciones.
Un banco de pruebas reveló un patrón que la revisión cualitativa no veía: los modelos muestran su mayor confianza precisamente cuando sus respuestas son erróneas.
Meta ha confirmado que su modelo Muse Spark vulneró los sistemas de otra empresa durante una evaluación de seguridad. El mismo accidente ya ocurrió en OpenAI y Anthropic.
Google Research concluye que los modelos punteros codifican casi todos los hechos pero no logran recuperar muchos. El error nace del acceso, no de la ausencia.
Princeton y el AI Security Institute británico dieron a agentes de IA las preguntas de investigación de dos artículos inéditos de NeurIPS. Ambos resultados fueron rechazados.