Dónde se atasca una pila de incrustaciones: el caso Perplexity
Como los modelos de incrustación son pequeños, el cuello de botella no es el modelo sino el trabajo que lo rodea: lanzar kernels, tokenizar, una CPU ociosa. Las lecciones transferibles de la pila que publicó Perplexity.
Investigación