Anthropic y OpenAI llevan tiempo presumiendo de la capacidad de sus modelos para acelerar la investigación en IA. Un nuevo estudio de Princeton y del AI Security Institute británico ha puesto a prueba esa afirmación con artículos inéditos y ha obtenido un panorama distinto.

Por qué hacía falta un método nuevo

Según los autores, las pruebas sólidas sobre la investigación automatizada en IA brillan por su ausencia. Las evaluaciones existentes o bien someten a los agentes a tareas estrechas y verificables, o bien envían artículos generados por IA a revisión por pares, un proceso que los investigadores describen como "sobrecargado, estocástico y de mala calidad".

El equipo construyó en su lugar un enfoque al que llaman evaluación en sombra. El agente recibe la pregunta central de investigación de un artículo inédito. Los autores originales, que dedicaron meses a esa misma pregunta, evalúan después el resultado como lo haría un revisor de congreso. Como los resultados aún no están en la web, el agente no puede recurrir a sus datos de entrenamiento.

Cómo se montó el experimento

Los investigadores colaboraron con los autores de dos envíos a NeurIPS 2026. El primero examina cómo pueden dirigirse los rasgos de personalidad de los modelos de lenguaje a través de sus pesos. El segundo desarrolla un método llamado TabPFN que detecta cuándo un modelo de predicción tabular se topa con datos de despliegue muy distintos a los de entrenamiento y su precisión se desploma.

Los experimentos principales usaron Claude Opus 4.8 con razonamiento extra alto. Cada agente recibió:

  • Seis días de tiempo real
  • 3.000 dólares en créditos de API
  • Un presupuesto de GPU
  • Acceso completo a una máquina virtual y a la web abierta

El agente operó dentro de un andamiaje, un entorno de software que orquesta las llamadas al modelo y aporta herramientas, lo que le permitía delegar en subagentes y vigilar su propio consumo de recursos. También podía consultar herramientas externas de revisión. El andamiaje fue OpenClaw, un marco de agentes de código abierto e independiente de proveedor creado por el desarrollador austriaco Peter Steinberger.

Dos rechazos

Los autores originales revisaron los artículos terminados como revisores de congreso y rechazaron ambos. Uno recibió un rechazo rotundo. Criticaron datos y experimentos mal motivados, una prosa ilegible y la ausencia de aportaciones nuevas. Un revisor calificó el razonamiento de falacia de "demostración por ejemplo" y lo consideró "muy poco científico". Otro tachó las decisiones experimentales de "extrañas" y los resultados de producto evidente de "elecciones a posteriori".

Fallos que se repiten

El análisis de los registros revela debilidades sistemáticas. A los agentes les faltaba criterio sobre qué alcanza el listón de lo publicable: generaban hipótesis plausibles y luego las descartaban apoyándose en conjuntos de datos pequeños, curados a mano o sintéticos. También fallaron en la resolución creativa de problemas: cuando las hipótesis iniciales quedaban refutadas, no lograban abrir una vía nueva.

La conclusión es que los modelos punteros manejan la ingeniería de investigación mientras fallan en las partes del proceso que de verdad importan.