El V4 Flash de DeepSeek encabeza las clasificaciones desde su lanzamiento y los desarrolladores lo han llamado "un auténtico monstruo". En las pruebas del mundo real el cuadro cambia: el modelo completó solo el 53,8% de un lote de tareas complejas de agente.

Cómo se montó la prueba

Composio ejecutó el modelo en ocho andamiajes de agente distintos —entre ellos Claude Code, Codex y OpenCode— sobre 30 tareas de varios pasos deliberadamente difíciles. Las tareas tocaban herramientas reales como Gmail, GitHub, Slack y Google Sheets: servicios de verdad, no un entorno de examen sintético.

De 240 ejecuciones totales, 129 pasaron. La segunda cifra es más llamativa: solo seis de los 30 flujos se completaron con éxito en todos los andamiajes probados.

El hallazgo real: la diferencia del andamiaje

Esa segunda cifra es el verdadero asunto. El mismo modelo completa la misma tarea en unos andamiajes y falla en otros. El origen del fallo no es solo la capacidad del modelo, sino el software que lo ejecuta.

El andamiaje determina cómo accede el modelo a las herramientas, cómo gestiona los errores, cómo administra el contexto y qué hace cuando un paso falla. Nada de eso está escrito en los pesos del modelo: está en el código que lo rodea.

Por qué las clasificaciones despistan

Las clasificaciones de modelos miden sobre todo tareas de un paso y respuesta cerrada: una pregunta, una respuesta, una puntuación. El trabajo con agentes es lo contrario: decenas de pasos, una llamada a herramienta en cada uno, errores y reintentos.

Un modelo perfecto en un solo paso, que acierte el 98% de las veces en cada uno de treinta pasos, termina la cadena completa solo un 55% de las veces. El error se acumula. Las clasificaciones no miden esa acumulación en absoluto.

Qué hacer

La conclusión práctica es que elegir modelo no basta por sí solo:

  • No fiarse de una clasificación sin probar el modelo en el propio flujo de trabajo y con las propias herramientas.
  • Tratar el andamiaje también como una elección: el mismo modelo da resultados distintos en andamiajes distintos.
  • Medir el éxito sobre la cadena completa, no por tarea.

La segunda parte de la noticia lo hace más urgente: DeepSeek subió los precios de su API en ese mismo periodo. Resultados menos fiables llegan a un coste mayor.

Qué significa el 53,8%

Al leer esa cifra conviene recordar que las tareas se hicieron difíciles a propósito. En un trabajo de agente corriente las tasas de acierto saldrían más altas; la prueba no se montó para medir los casos fáciles.

Aun así, el significado práctico del 53,8% es claro: un sistema que funcione a ese ritmo no puede pasar a producción sin supervisión humana. Si falla una tarea de cada dos, hay que revisar cada salida, y esa revisión se come la mayor parte de la ganancia que se esperaba de automatizar.

El problema real del campo

El hallazgo confirma una discusión que lleva un año acumulándose en el terreno de los agentes: los modelos avanzan, pero la fiabilidad de los sistemas de agentes no avanza al mismo ritmo. La diferencia está en el andamiaje, en las interfaces de herramientas y en la gestión de errores.

Es trabajo de ingeniería gris, sin el valor de anuncio que tiene lanzar un modelo. Pero la prueba de Composio sugiere que el siguiente paso del progreso está justamente ahí.