¿Qué ocurrió?

Los matemáticos Timothy Gowers y Peter Sarnak reconocen a los grandes modelos de lenguaje una capacidad matemática seria, pero afirman ver un límite claro cuando se trata de producir ideas realmente nuevas.

El argumento de Gowers es este: los modelos actuales son buenos combinando métodos conocidos y probando muchos caminos de búsqueda. Lo que falta es la intuición para elegir los pocos caminos que resultan productivos en un espacio de búsqueda enorme. Sarnak llega al mismo punto: la IA puede derivar resultados de la teoría existente, pero no desarrolla las abstracciones en las que se apoyan las grandes demostraciones cuando parte de una pregunta elemental.

Por qué importa la distinción

La distinción mide algo distinto de lo que muestran las puntuaciones de las pruebas. Sacar buena nota en un examen de matemáticas significa que las técnicas conocidas pueden aplicarse en el orden correcto. Construir una teoría nueva exige decidir qué técnica merece intentarse, y esa decisión se toma antes de intentar nada.

Es un problema práctico ligado al tamaño del espacio de búsqueda. Con un número ilimitado de pasos válidos disponibles, probarlos todos es imposible; el trabajo del matemático consiste en descartar los que no se van a probar. Que los modelos no puedan hacer ese descarte no es una carencia que se cierre con más capacidad de cómputo.

Una conclusión parecida desde DeepMind

El investigador de DeepMind Tom Zahavy llega a un punto similar. En un artículo titulado "LLMs Can't Jump" llama al cuello de botella abducción manipulativa: la capacidad de inventar supuestos fundacionales nuevos sin precedente lingüístico.

El propio nombre dice algo. Que un modelo proponga un concepto ausente de sus datos de entrenamiento es, por definición, impredecible, porque ese concepto no deja rastro en el lenguaje. Zahavy sugiere que los modelos del mundo podrían ofrecer una vía de avance.

Las valoraciones, en resumen

  • Gowers: los modelos combinan métodos conocidos y prueban muchos caminos; falta la intuición para elegir el productivo.
  • Sarnak: se pueden derivar resultados de la teoría existente, pero no desarrollar abstracciones partiendo de una pregunta elemental.
  • Zahavy: el cuello de botella es inventar supuestos fundacionales nuevos sin precedente lingüístico.
  • Dirección posible: los modelos del mundo.

Por qué medirlo es difícil

Demostrar que un modelo "no produce ideas nuevas" es un trabajo distinto de calcular una puntuación en una prueba. Una prueba plantea preguntas cuya respuesta se conoce de antemano; una idea nueva, por definición, aparece en un lugar donde la respuesta no se conoce.

Por eso estas valoraciones se apoyan en la observación desde dentro del campo y no en una tabla de cifras. Lo que dicen Gowers y Sarnak es esto: si pides al modelo que aplique una técnica conocida obtienes un resultado, pero si preguntas qué técnica merece intentarse la respuesta se queda en la superficie. En matemáticas, la segunda pregunta es el trabajo; la primera es cálculo.

El debate más amplio

Estas valoraciones alimentan una pregunta más amplia en el campo: ¿los modelos se vuelven realmente más versátiles o "solo" mejoran en las pruebas y en espacios de problemas conocidos?

Que la pregunta venga de las matemáticas no es casual. Las matemáticas son uno de los pocos ámbitos donde una máquina puede comprobar la respuesta correcta; una demostración es válida o no lo es. Eso hace mucho más nítido que en otros campos ver dónde se atasca un modelo.

Qué no está cerrado

No se trata de una medición experimental, sino de la valoración de figuras destacadas del campo. Las observaciones de Gowers y Sarnak se apoyan en su propia práctica de trabajo; no se compartió un desglose de cuántos modelos se probaron ni en qué tareas. El trabajo de Zahavy sí es un artículo publicado y plantea su tesis dentro de su propio marco.