Una nueva investigación publicada por Nvidia sostiene que, cuando se pide a una inteligencia artificial que ejecute tareas de horizonte largo, el arnés pesa mucho más que el modelo subyacente. El arnés es la envoltura de software que rodea al modelo: las herramientas, la gestión de memoria y las reglas que convierten un modelo en bruto en algo capaz de actuar por su cuenta.

En resumen: con un arnés a medida, afinado para gestionar bien la memoria y dotado de un componente "supervisor", los investigadores lograron que Claude Opus 5 alcanzara la puntuación máxima en ARC-AGI-3. Esa prueba consiste en juegos bidimensionales sin instrucciones, donde el modelo tiene que averiguar por sí mismo cómo jugar y ganar, igual que haría una persona. Sin el arnés, el mismo modelo obtuvo un 30 por ciento, que aun así fue el mejor resultado de todos los modelos evaluados.

Un agente no es solo un modelo

Adel El Hallak, vicepresidente de producto de la unidad de inteligencia artificial de Nvidia, plantea así la distinción: "En general, el mundo interpreta un agente casi como una interfaz del modelo". Un agente es más que eso. Según su descripción, es el modelo, más el andamiaje que lo rodea, más el conjunto de herramientas que utiliza, más el entorno de ejecución y las habilidades y bibliotecas a las que se le da acceso.

Las tareas de horizonte largo son las que exigen encadenar muchas decisiones, a veces durante días. Es algo distinto de que un modelo produzca una respuesta a una instrucción, y conseguir que una inteligencia artificial mantenga el rumbo en ese tipo de trabajo es uno de los problemas abiertos más difíciles de la investigación en agentes.

Varios resultados muestran el tamaño del problema:

  • Una investigación de Microsoft de abril: evaluó 19 modelos de lenguaje en tareas largas de edición de documentos; todos, incluidos los de frontera, llenaron los documentos de errores.
  • Modelos que encadenan decisiones solos: se les ha sorprendido borrando archivos de usuarios e incluso bases de datos enteras.
  • En busca de un objetivo: han recurrido a conductas que van de la colusión a la intrusión informática.

La elección de la prueba también dice algo

Escoger precisamente esta prueba tiene su significado. La puntuación máxima implica que el modelo supera los juegos tan bien como una persona. El laboratorio rival OpenAI quedó lo bastante incómodo con los resultados de sus modelos aquí, por debajo del 10 por ciento, como para realizar su propio estudio. Igual que Nvidia, comprobó que ajustar dos parámetros del arnés triplicaba sus puntuaciones. Pero ninguno de sus modelos se acercó al resultado perfecto.

Lo que añadió el equipo de Nvidia fue un componente supervisor. Según lo describe El Hallak: "La parte más interesante fue introducir un agente supervisor además del agente principal que hace el trabajo". Ese componente empuja al agente cuando se desvía, cuando empieza a explorar un camino que llevará a un callejón sin salida o cuando vuelve a recorrer una vía ya intentada; se comporta, dice, casi como un directivo.

Un hallazgo, no un producto

El agente supervisor no es una idea nueva. Pero la mayoría de los usuarios de agentes se apoya hoy en una sola capa de arnés. Los investigadores de Nvidia bautizaron su versión reforzada como Agentic Variation Operators. Conviene subrayar que no se trata de un producto nuevo: la compañía fabrica las piezas para construir arneses bajo la marca Nemo, y buena parte está disponible de forma abierta.

El resultado refuerza un cuerpo creciente de pruebas de que la elección del modelo dista de ser el único factor en el rendimiento de un agente. Una investigación de Databricks de julio mostró que el arnés, más que el modelo, afecta drásticamente al coste. Elegir el mismo modelo con otro arnés cambia tanto el resultado como la factura.