Retomando la pregunta anterior
El trabajo previo de IBM Research comparó ALTK-Evolve con ACE y mostró que cómo se entregan las directrices que un agente destila de sí mismo determina tanto la precisión como el coste: ¿unas pocas recuperadas por tarea o el conjunto entero inyectado?
El nuevo trabajo da un paso atrás y plantea la pregunta previa: ¿cuánta hay que dar?
La expectativa y el resultado
Dotar a un agente de memoria agéntica suena sencillo: destilar lecciones de su trabajo pasado, devolverlas al contexto y esperar que más experiencia signifique mejor rendimiento. El hallazgo es que no siempre funciona así.
Al ampliar la evaluación a ocho modelos —desde uno denso de 30.000 millones de parámetros hasta sistemas propietarios de frontera— destacó un resultado. En palabras de los autores: la memoria agéntica no es una función que se enciende, es una dosis que se ajusta al modelo.
La dosis varía según el nivel
El cuadro que resume el trabajo:
- Los modelos fuertes con margen quieren el conjunto completo de directrices; pueden tomarlo todo y filtrarlo por su cuenta.
- Los modelos más débiles rinden mejor con un núcleo compacto más recuperación por tarea; más que eso los distrae.
- Los modelos saturados no muestran ganancia medible: añadir memoria no cambia el rendimiento.
El funcionamiento de ALTK-Evolve no cambia: se destilan directrices reutilizables de las trayectorias pasadas del agente y se reinyectan en el momento de la inferencia. Sin actualizar pesos y sin anotación humana.
Por qué importa
El hallazgo rompe un supuesto habitual en el diseño de agentes. La memoria suele pensarse como un interruptor: se enciende y todo mejora. El trabajo propone en su lugar un dial, y la posición correcta de ese dial cambia según el modelo.
La consecuencia práctica: medir una configuración de agente en un modelo y trasladar los mismos ajustes a otro resulta engañoso. La misma cantidad de memoria puede producir una ganancia en un modelo y una pérdida en otro. Que la evaluación abarque ocho modelos es justamente lo que la hace valiosa: una medición sobre un solo modelo oculta el propio hallazgo.
La ausencia de ganancia en los modelos saturados también es notable. Sugiere que la memoria tiene un techo: si el modelo ya sabe hacer la tarea, las lecciones pasadas no añaden nada. Es decir, la memoria no aporta una capacidad, compensa una que falta.
Como salvedad, los resultados se apoyan en una evaluación interna y no han sido confirmados por réplicas independientes. Aun así, haberse medido en ocho modelos ofrece un terreno más firme que las afirmaciones hechas sobre una sola configuración.