Entrenar modelos de inteligencia artificial con otros modelos se ha convertido en un objetivo compartido por los laboratorios más recientes. Un investigador del programa de becas de Anthropic ha ofrecido ahora una primera visión de lo que eso podría significar en la práctica.
El viernes la compañía publicó un artículo titulado "Los investigadores automáticos pueden mitigar de forma fiable los fallos de alineamiento", que detalla cómo unos sistemas de IA podrían mejorar con fiabilidad el rendimiento de un modelo en un conjunto de pruebas de alineamiento.
El resultado: con diez pruebas para conductas desalineadas concretas, los sistemas automáticos mejoraron el rendimiento en todas y cada una, sin degradar el rendimiento general.
Cómo funciona
Dirigido por el becario de Anthropic Chen Yueh-Han, el sistema reproduce buena parte del enfoque tradicional de la investigación. Cada sistema automático:
- Revisa la literatura disponible,
- Propone un método,
- Entrena el modelo con ese método durante 30 minutos,
- Eleva gradualmente la puntuación a lo largo de varias iteraciones.
Los métodos eficaces se conservan y los ineficaces se descartan, lo que permite al sistema operar deprisa y a gran escala.
En palabras del propio artículo: "En conjunto, estos resultados aportan pruebas tempranas de que el postentrenamiento automático de alineamiento podría volverse practicable a corto plazo".
Hacia la automejora recursiva
El artículo es un paso hacia la automejora recursiva, que muchos ven como el siguiente gran movimiento en el avance de la IA. El razonamiento: si los modelos pueden mejorar su propio entrenamiento de alineamiento, es plausible que mejoren las prácticas de entrenamiento en general, y en ese punto los investigadores humanos podrían quedar obsoletos pronto.
El texto no rehúye la idea y compara explícitamente al Investigador Automático de Alineamiento con su equivalente humano: "El mejor método automático supera lo que proponen humanos con experiencia, de media en seis horas. Las direcciones de investigación guiadas por humanos no conducen a un rendimiento mayor".
Para quien siga sin convencerse, hay una comparación de costes: "Un investigador automático cuesta unos 4 dólares por hora en inferencia frente a los 150 dólares por hora que pagamos a nuestros investigadores humanos".
Por qué primero el alineamiento
No es casual que este experimento se hiciera en alineamiento. Es una de las áreas con mayor densidad de pruebas medibles: hasta qué punto un modelo tiende al engaño, la adulación o la respuesta dañina puede reducirse a una cifra. Eso es justo lo que necesita un investigador automático: una puntuación y el objetivo de subirla.
Por eso mismo el enfoque no se generaliza con facilidad. Puede montarse un sistema parecido allí donde la métrica sea clara; donde la métrica se discute, un investigador automático corre deprisa en la dirección equivocada.
Los límites
El artículo enumera sus propias limitaciones, y no son menores.
El sistema automático funciona solo en la medida en que las pruebas reflejen los objetivos reales de alineamiento. El sistema aprueba el examen que se le pone; si ese es el examen correcto es otra cuestión, y quien la responde sigue siendo humano.
Además, crear y mantener esas pruebas es un trabajo serio en sí mismo, igual que mantener y ampliar la literatura de la que beben los investigadores automáticos.
El cuadro que resulta no es "se acabaron los investigadores humanos", sino un desplazamiento del peso del trabajo: de producir métodos a definir el objetivo. Quien decide qué se mide sigue siendo una persona; quien encuentra el mejor método para esa medida es ya una máquina.