La empresa de investigación en inteligencia artificial Pathway ha cerrado una ronda semilla de 30 millones de dólares con una valoración de 500 millones. La compañía desarrolla modelos basados en lo que denomina una arquitectura posterior al Transformer llamada BDH.
Por qué se quiere superar el Transformer
Casi todos los grandes modelos de lenguaje en uso están construidos sobre la arquitectura Transformer. Su fuerza viene de poder sopesar a la vez la relación entre cada fragmento de un texto y todos los demás.
Esa fuerza es también su límite. El número de relaciones crece con el cuadrado de la longitud del texto. Si el texto se duplica, el cálculo se cuadruplica. De ahí viene el coste del contexto largo y la caída de calidad a partir de cierto punto.
El objetivo común de las arquitecturas alternativas es exactamente ese: obtener la misma capacidad con un coste que crezca de forma lineal con la longitud y no cuadrática.
Qué dice en realidad la valoración
Una valoración de 500 millones en fase semilla es inusual. Cifras de ese nivel suelen manejarse para empresas con producto e ingresos.
Lo que se está valorando aquí no son ingresos sino una posibilidad. La apuesta del inversor es esta: si la arquitectura actual se acerca a un techo, poseer la arquitectura que lo supere daría un retorno enorme. Es una apuesta de baja probabilidad y retorno muy alto.
Por qué este camino es difícil
La mayoría de los intentos de arquitecturas nuevas chocan con el mismo muro: un diseño que funciona bien a escala de laboratorio no se comporta como se esperaba al ampliarlo.
Parte de por qué ganó el Transformer no fue su superioridad teórica. La arquitectura encajaba con el cálculo paralelo, así que funcionaba de forma eficiente en el hardware existente. Eso arrastró consigo una década de trabajo acumulado: bibliotecas, métodos de entrenamiento y técnicas de optimización, todo moldeado en torno al Transformer.
Para que una arquitectura nueva compita no basta con ser mejor: tiene que serlo lo suficiente como para compensar la ausencia de todo ese acervo.
La afirmación aún no está verificada
No tenemos más que la descripción de la propia empresa. El nombre BDH y la etiqueta posterior al Transformer son de Pathway; no se ha publicado ninguna evaluación independiente.
Existe una forma conocida de valorar afirmaciones de este tipo:
- ¿La arquitectura está descrita en un artículo o solo se relata?
- ¿Se ha comparado con un Transformer del mismo tamaño sobre los mismos datos?
- ¿Han podido reproducir los resultados terceras partes?
Hasta que se cumplan los tres, la afirmación sigue siendo una tesis.
El valor de la diversidad
Aun así, financiar trabajos de este tipo es sano para el sector. La investigación en IA se ha concentrado de forma extraordinaria en torno a una sola arquitectura, y esa concentración implica un riesgo: como no se exploran caminos alternativos, un camino mejor quedaría sin descubrir aunque existiera.
El propio Transformer desplazó a las redes recurrentes que dominaban antes, y también en aquel periodo hubo investigadores trabajando fuera del enfoque establecido. El capital destinado a quienes trabajan hoy fuera del enfoque dominante es lo que mantiene abierta esa posibilidad.