El transformer se ha vuelto el cuello de botella: startups que intentan sustituir la atención
La atención, el mecanismo que dio potencia a los transformers, ahora dispara el coste del contexto largo y de las cargas de agentes. Tres startups atacan el problema con atención dispersa, resúmenes rodantes y redes neuronales líquidas.
Investigación