Un nuevo estudio concluye que los asistentes de programación más usados no pueden predecir cuánto durará una tarea ni decir de forma fiable cuánto tiempo llevan trabajando. Para trabajos largos, eso es un problema.

El trabajo lo realizaron dos investigadores independientes dentro del programa de investigación MATS. La pareja evaluó el sentido del tiempo de Claude Code, de Anthropic, y de Codex, de OpenAI.

El método es sencillo: antes de cada tarea de programación, los agentes debían estimar cuánto tiempo necesitarían. Después resolvían la tarea y, mirando atrás, informaban de cuánto tiempo había pasado. El material procedía de 200 tareas de una colección llamada ProgramBench, más las 18 pruebas propias de los investigadores.

Los resultados

  • Sobreestimación constante. En ProgramBench ambos modelos calcularon casi siempre unos 90 minutos, sin importar la dificultad.
  • Error grande. En la segunda ronda Claude se equivocó por tres veces de media; Codex, entre seis y diez.
  • Peor en tareas cortas. Solo en trabajos de varias horas algunas previsiones se acercaron a la realidad.

Mismo modelo, distinto arnés, distinta conducta

Los resultados cambian según la configuración de software en la que corren los modelos. Claude Code sigue trabajando hasta que cree haber terminado: una mediana de unos 90 minutos. Codex se detiene en torno a la media hora, casi con independencia de la tarea.

Según el estudio, el mismo modelo de lenguaje da de media 2,5 veces más pasos en Claude Code que en Codex. El tiempo de ejecución no depende del modelo, sino en buena medida del software que lo rodea, el arnés.

Ese hallazgo importa por sí mismo: cuánto trabaja un agente no es una propiedad del agente, sino del sistema en el que se le coloca.

También juzga mal su propio trabajo

Los agentes son igual de poco fiables al valorar la calidad de lo que producen. Los modelos anteriores, Opus 4.8 y GPT-5.5, sobrevaloraron sus resultados en 20 puntos de media y se pusieron buenas notas incluso en tareas fallidas.

En un caso, ambos calcularon que su trabajo había sido un 70 por ciento exitoso. Las puntuaciones reales fueron del 7 y del 14,5 por ciento.

En la práctica esto significa que calificar a un agente de "rápido" o "lento" es un marco equivocado. El mismo modelo trabaja dos veces y media más, y prueba más cosas, dentro de otra herramienta. Al elegir una herramienta lo que importa no es el nombre del modelo, sino cuánto esfuerzo se le permite gastar.

Por qué importa y cuál es la solución

Los investigadores señalan que la capacidad de autoevaluarse es crítica. Para que un agente trabaje de forma fiable en tareas que duran horas tiene que poder seguir instrucciones como "sigue con esta tarea durante dos horas". Un agente que calcula mal el tiempo constantemente es difícil de controlar.

La solución resultó sorprendentemente simple: cuando se les dio una herramienta que informa del tiempo transcurrido, acertaron casi siempre.

La lección tiene más que ver con el diseño que con la capacidad del modelo. El modelo no siente el tiempo porque no tiene sentido alguno con el que percibirlo; si se le pregunta, adivina. Dale un reloj y el problema desaparece. Para quien construya agentes de larga duración, es una corrección disponible hoy sin esperar a un modelo mejor.