En todo el sector de la IA, los usuarios son cada vez más conscientes de lo caros que pueden resultar sus despliegues y sienten una nueva urgencia por recortar costes. Los modelos de código abierto ofrecen un coste por token bastante menor, pero encontrar el modelo adecuado para cada tarea no es sencillo.

Writer, que ofrece herramientas y agentes de IA para profesionales del marketing, ha lanzado un nuevo modelo insignia, Palmyra X6, orientado a ese problema.

Construido sobre un modelo abierto

Palmyra X6 es una variación de post-entrenamiento sobre el modelo abierto GLM-5.2 de Z.ai. Writer afirma que el sistema ofrece capacidades listas para producción a un precio mucho menor.

La empresa calcula que el nuevo modelo, junto con los cambios en su infraestructura de andamiaje, reducirá los costes de sus clientes hasta un 50 por ciento en tareas básicas. El modelo llegó acompañado de mejoras sustanciales en el andamiaje de agentes estándar de la compañía.

La afirmación de fondo: el andamiaje

La parte interesante del anuncio no es el modelo, sino el software que lo rodea. Un artículo de los investigadores de Writer puso a prueba pequeños cambios de eficiencia en el andamiaje sobre varios modelos distintos.

El hallazgo: en muchos casos, los cambios en el andamiaje resultaron una vía más fiable para reducir costes que la elección del modelo, con una caída media del 40 por ciento en sus pruebas.

La formulación de los investigadores resume la idea: "El andamiaje es el único componente cuya eficiencia se multiplica en todos los modelos que ejecuta una organización, presentes y futuros".

El nuevo planteamiento pone el acento en tareas complejas de varios pasos, ejecutadas más rápido y con menos tokens.

Por qué las empresas están cansadas

La valoración de la consejera delegada, May Habib, es directa: "Creo que las empresas están absolutamente hartas de perseguir la siguiente puntuación de referencia. Quieren un coste que se aplane, y parece que nadie puede ofrecerlo".

Habib también observa que el afán por recortar costes alimenta una desconfianza más amplia hacia los grandes laboratorios de IA, que tienen un incentivo económico para aumentar el consumo de tokens.

"La explosión de costes aquí no tiene precedentes para los clientes, y tampoco lo tiene el grado en que los directores de sistemas están renunciando a los laboratorios", afirmó, y añadió que los laboratorios "no entienden a fondo cómo ayudar a una empresa a obtener beneficio de la IA".

Seguir siendo agnóstico de modelo

Para los clientes de Writer la experiencia sigue siendo agnóstica respecto al modelo. Palmyra X6 convive con los demás modelos de la compañía o con modelos externos importados a través de Azure o Amazon Bedrock.

Esa decisión se deriva de forma natural del argumento del andamiaje: si la eficiencia procede de la capa que rodea al modelo y no del modelo en sí, qué modelo se ejecuta debajo pasa a ser una cuestión secundaria.

En cifras

  • Modelo base: el GLM-5.2 abierto de Z.ai, con post-entrenamiento encima
  • Ahorro prometido: hasta un 50 por ciento en tareas básicas
  • Hallazgo del estudio: un 40 por ciento de media solo con cambios en el andamiaje
  • Acceso: disponible para clientes de Writer; convive con modelos externos vía Azure o Amazon Bedrock