Cuando pruebas un montaje de agentes y mides su tasa de acierto, el número que obtienes puede no describir lo que vive el usuario. Porque acertar de media y acertar siempre no son lo mismo.
Un trabajo publicado por investigadores de IBM pone cifra a esa diferencia. Un agente ReAct con GPT-4.1 acierta de media el 77,4 por ciento de las tareas; pero al ejecutar la misma tarea cinco veces de forma independiente, la proporción de tareas que resuelve en las cinco es solo del 53,0 por ciento.
Los 24,4 puntos intermedios son lo que el trabajo llama brecha de consistencia. Esta guía explica de dónde viene esa brecha, cómo se mide y cómo se estrecha. El método descrito no depende de una herramienta concreta; la lógica de medición se aplica igual en cualquier montaje de agentes.
Por qué la misma tarea acaba distinto
La causa está en cómo decide el modelo. Las decisiones de un modelo de lenguaje salen de distribuciones de probabilidad, y la forma de esa distribución no es igual en cada paso.
Cuando la distribución es "afilada", la probabilidad se concentra en una opción y el resultado no cambia de una ejecución a otra. Cuando es "plana", varias opciones cargan probabilidades parecidas y pequeñas fluctuaciones pueden cambiar el resultado.
Esa diferencia de distribución importa especialmente en montajes de agentes, porque un agente no toma una decisión. Elige en cada uno de decenas de pasos, y basta con que uno sea plano para que toda la cadena tome otro camino.
- Distribución afilada: el mismo paso acaba en la misma decisión en cada ejecución.
- Distribución plana: la decisión queda expuesta a pequeños movimientos de la plataforma.
- Ni siquiera la temperatura cero elimina esto del todo.
- Un único paso plano puede cambiar el resultado de toda la ejecución.
Por qué no basta la temperatura cero
La suposición habitual es que bajar la temperatura a cero vuelve determinista al modelo. En la práctica no ocurre.
Cuando dos opciones de una distribución plana tienen probabilidades muy próximas, incluso pequeñas diferencias a nivel de infraestructura pueden cambiar cuál se elige. El indeterminismo no viene solo del ajuste de muestreo sino de lo clara que sea la decisión en sí.
Dónde se hace visible la brecha
La brecha de consistencia aparece en producción y no en el laboratorio, y hay un motivo: al probar solemos ejecutar cada tarea una sola vez.
El usuario, en cambio, hace lo mismo una y otra vez. En un flujo que genera el mismo informe cada semana o rellena el mismo formulario cada día, un acierto puntual no significa nada; lo que importa es que la ejecución número cien dé el mismo resultado.
- Una prueba de una sola ejecución pasa por encima de los pasos planos sin verlos.
- Distintas ejecuciones de la misma tarea pueden elegir herramientas distintas.
- Una decisión que cambia en un paso lleva todos los siguientes por otra ruta.
- El usuario lo describe como "a veces funciona", la clase de fallo más difícil de perseguir.
Qué es Pass^k
Aquí entra la métrica que propone el trabajo. Pass^k muestra la fracción de tareas en que un agente acierta en las k ejecuciones independientes.
| Métrica | Qué dice | Enfoque |
|---|---|---|
| Mean@k | Tasa media de acierto | Neutro |
| Pass@k | Acertó en al menos una ejecución | Optimista |
| Pass^k | Acertó en todas las ejecuciones | Pesimista |
Los autores lo dicen sin rodeos: Pass^k no es Pass@k. La segunda es el marco optimista de "basta con que caiga una"; la primera es el marco pesimista donde todos los intentos deben acertar. Lo que vive el usuario al repetir la misma consulta se parece a la segunda, no a la primera.
Leer la cifra
La distancia entre el 77,4 y el 53,0 por ciento no viene de fallar una tarea. En una tarea que debe sostenerse en cinco ejecuciones, un único paso inestable basta para romper toda la serie.
Una cuenta simple lo muestra: una tarea de veinte pasos que supera cada paso con un 95 por ciento de fiabilidad parece razonable en una ejecución, pero la probabilidad de sostenerse en cinco cae rápido. Al crecer el número de pasos, la consistencia se complica exponencialmente, lo que explica también por qué mejorar un solo paso no basta.
Por eso, en tareas largas de agentes, la consistencia es más un asunto de diseño de la tarea que de calidad del modelo. Un flujo que hace el mismo trabajo en diez pasos puede ser más fiable que otro que lo hace en veinte.
Qué métrica va con qué trabajo
La elección de métrica depende de la naturaleza del producto. En un flujo con revisión humana, Pass@k puede tener sentido; el usuario puede regenerar una salida que no le guste.
En una tubería automática, Pass^k es la métrica que cuenta. Que un agente nocturno acierte en cuatro de cinco intentos significa que uno de cada cinco trabajos llega roto por la mañana, y esa tasa es inaceptable para casi cualquier flujo.
La primera tarea de un equipo de producto es, por tanto, aclarar qué métrica reporta. Reportar el acierto medio y afirmar fiabilidad responde dos preguntas distintas con un mismo número.
Cómo se detecta la brecha
El sistema que propone el trabajo tiene dos fases: primero diagnóstico, luego corrección.
En el diagnóstico funciona un analizador de consistencia. Ese componente reproduce los pasos de decisión con un remuestreo controlado y localiza qué pasos son inestables.
- Basta con un único registro de ejecución; no hace falta relanzar la tarea entera.
- No es necesario conocer la respuesta correcta, así que no se requieren datos etiquetados.
- Solo se hacen llamadas dirigidas al modelo, no repeticiones completas.
- Por eso el coste queda muy por debajo de ejecutar la tarea cinco veces.
Dónde suelen estar los pasos inestables
Al ejecutar el diagnóstico se ve que los pasos inestables no se reparten al azar. Ciertos tipos de trabajo producen muchas más distribuciones planas que otros.
El sitio más frecuente es la elección de herramienta. Si tienes dos herramientas que hacen trabajos parecidos, el modelo no desarrolla una preferencia clara sobre cuál llamar y la elección varía entre ejecuciones.
El segundo sitio frecuente es el momento de decidir que el trabajo está hecho. Si la condición de fin no está bien definida, el modelo fija su propio umbral y ese umbral no cae siempre en el mismo punto.
Cómo funciona la corrección
La segunda fase convierte los pasos señalados en pautas reutilizables. Esas pautas se inyectan en la instrucción en el momento de la inferencia.
De ahí se entiende la lógica del método: donde el modelo duda, le das una preferencia. La pauta afila artificialmente una distribución plana; no le enseña algo que no sabía sino que marca una dirección entre dos cosas que sí sabía.
El resultado está medido: el Pass^5 de la misma tarea sube 16 puntos porcentuales manteniendo la precisión Mean@5. La consistencia mejora sin que caiga el acierto medio.
En total la brecha de consistencia baja de 24,4 puntos a 12,0. No se cierra pero se reduce a la mitad, y en una tubería automática eso marca una diferencia visible. En un flujo que corre cien veces al día, esa mejora reduce directamente el número de trabajos que hay que reparar a mano.
Cómo medirlo en tu propio montaje
Para esta medición no hace falta una herramienta especial; lo que hace falta es disciplina.
- Fija un conjunto de tareas; con quince basta.
- Ejecuta cada tarea cinco veces de forma independiente, sin arrastrar estado entre ellas.
- Registra no el acierto medio sino la proporción que acierta en las cinco ejecuciones.
- Anota la diferencia entre ambos números; esa es tu brecha de consistencia.
La brecha de la primera medición sorprende a casi todos los equipos.
La tasa media queda presentable en un informe, mientras la tasa de consistencia muestra cuán fiable es el producto en realidad.
Qué puede estropear la medición
Un error frecuente al medir consistencia es arrastrar estado entre ejecuciones. Si lanzas cinco veces en la misma sesión, el modelo ve el intento anterior en su contexto y el resultado sale artificialmente consistente.
La segunda trampa es que cambie el mundo exterior. Si un agente consulta datos de una API y esos datos cambiaron entre dos ejecuciones, la fuente de la inconsistencia es el entorno y no el modelo.
Por eso la medición debe hacerse en un entorno fijo: mismas entradas, mismas respuestas de herramientas, sin contexto arrastrado. Si no, lo que mides no es la consistencia del agente sino la variabilidad del mundo. Esta disciplina tiene otro beneficio: hace visible el efecto de los cambios. Tras editar una instrucción, el acierto medio puede quedarse igual mientras la consistencia cae, y un equipo que mira un solo número no lo notará.
Tres errores frecuentes
Los equipos que montan esta medición por primera vez repiten unos cuantos fallos, y todos hacen que el resultado parezca mejor de lo que es.
- Lanzar los cinco intentos en la misma sesión: el modelo ve el intento anterior y la consistencia sube artificialmente.
- Elegir un conjunto de tareas fáciles: la brecha parece cerrada, pero lo medido es la facilidad de las tareas.
- Dejar laxo el criterio de acierto: salidas contadas como "más o menos bien" meten en el mismo saco resultados que difieren de verdad.
- Medir una sola vez: la consistencia cambia con una actualización de modelo y una medición única caduca.
El cuarto punto es el más olvidado. Cuando el proveedor actualiza el modelo las distribuciones se mueven y un paso antes afilado puede volverse inestable; sin repetir la medición no lo verás.
Dónde detenerse
Llevar la brecha de consistencia a cero no es el objetivo; en un sistema probabilístico no es posible. El objetivo es bajarla hasta lo que el producto pueda absorber.
Ese nivel varía según el trabajo. En un flujo de resumen de texto, que aguanten cuatro de cinco no es problema; en un flujo que inicia una devolución de pago esa misma tasa es inaceptable. Lo que fija el umbral no es la calidad del modelo sino el coste del error. Dejar ese umbral por escrito es la decisión más importante antes de llevar un agente a producción.