Qué ocurrió

La arquitectura transformer ha sido la opción por defecto del campo durante ocho años y sostiene prácticamente todos los modelos de lenguaje en producción. Un análisis de MIT Technology Review publicado el 10 de agosto de 2026 sostiene que ese supuesto está bajo presión: el mecanismo de atención que dio potencia a la arquitectura se ha convertido en el principal obstáculo para lo que ahora se pide a los modelos.

El problema está en cómo funciona el mecanismo. La atención compara las palabras de un texto entre sí para deducir cuál se relaciona con cuál. Esa comparación crece de forma desproporcionada a medida que el texto se alarga. Cuando se pide al modelo seguir una base de código completa, un archivo documental o la salida de una sesión de agente que dura semanas, el coste de cómputo se descontrola.

Tres salidas distintas

El análisis reúne startups que atacan el problema por vías independientes:

  • Subquadratic (Miami): mantiene la atención pero la hace dispersa. Dice que su modelo decide sobre la marcha, para cada fragmento de texto, qué palabras importan y cuáles no. La empresa afirma que su modelo, SubQ, compite con los principales en tareas como búsqueda y programación.
  • Manifest AI (San Francisco): sustituye la atención por completo. Su mecanismo, llamado retención de potencia, mantiene un resumen rodante de la ventana de contexto; cuando llega información nueva, se descarta la menos relevante.
  • Liquid AI (Cambridge, Massachusetts): no abandona del todo los transformers, sino que los combina con su propia tecnología de redes neuronales líquidas. Los modelos resultantes son mucho más pequeños y consumen menos energía.

¿Qué solidez tienen las afirmaciones?

Manifest AI sostiene que un modelo transformer existente puede convertirse a su arquitectura con poco reentrenamiento. Para demostrarlo convirtió el modelo abierto de programación StarCoder en una versión llamada PowerCoder, y publicó un modelo llamado Brumby que, según dice, compite con algunas versiones de la familia Qwen de Alibaba. Liquid AI, por su parte, construye modelos para fabricantes de coches como Mercedes que funcionan en los chips pequeños de los vehículos; afirma que sus últimos modelos pueden ejecutarse en una Raspberry Pi.

La objeción de fondo es evidente: la mayoría de estas afirmaciones proceden de los anuncios de las propias empresas y no han sido confirmadas por evaluaciones independientes. La afirmación de Subquadratic de haber inventado el primer mecanismo de atención dispersa que compite con los modelos principales está entre las que despiertan escepticismo en el sector. La atención dispersa no es una idea nueva; se han propuesto muchas variantes a lo largo de los años y ninguna ha igualado a la atención densa al capturar significado.

Por qué importa

Detrás de esta búsqueda hay dos presiones concretas. La primera es el coste: se prevé que la electricidad total consumida por los centros de datos se duplique para 2030. La segunda es un techo de capacidad. Los modelos de razonamiento funcionan escribiéndose notas en una especie de cuaderno y releyéndolas, lo que aumenta todavía más el volumen de datos que hay que sostener. Objetivos como que un agente permanezca en una tarea durante semanas, o analizar vídeos de horas, resultan económicamente difíciles con la arquitectura actual.

En resumen, el sector busca una palanca más allá de agrandar los modelos. Si aunque sea una de estas startups demuestra sus afirmaciones en evaluaciones independientes, el perfil de coste del trabajo con contexto largo podría cambiar de forma sustancial. Si ninguna lo logra, el transformer seguirá siendo la opción por defecto un tiempo más.