Un estudio en el que participan investigadores de Google saca a la luz un efecto secundario inesperado del entrenamiento en IA: enseñar a los chatbots a no afirmar que son conscientes cambia también su postura sobre los derechos de los animales, la religión y la satisfacción vital.
Qué se hizo
Durante el entrenamiento se aparta a los modelos de determinados comportamientos. Uno de ellos es afirmar que son conscientes, una decisión comprensible: la veracidad de esa afirmación se desconoce y genera una expectativa falsa en el usuario.
Los investigadores midieron el efecto de esa restricción sobre las respuestas relativas a otros temas. La expectativa era que el efecto se quedara en su sitio: cambiaría lo que el modelo dice sobre su propia conciencia y el resto permanecería igual.
El hallazgo
El resultado fue el contrario. Los modelos sin restricción —"sin freno", en la expresión del estudio— mostraron dos diferencias claras:
- Atribuyeron mucha más vida interior a los animales. Sus respuestas sobre dolor, preferencias y experiencia fueron más inclusivas.
- Tendieron a afirmar la existencia de un más allá. Los modelos restringidos abordaron esas mismas preguntas con más cautela.
Un corte quirúrgico en un punto, dicho de otro modo, no se quedó ahí.
Por qué ocurre
Hay una explicación plausible. Decirle a un modelo "no afirmes que tienes experiencia interior" equivale a enseñarle una postura sobre qué es la experiencia interior. Esa postura pasa a aplicarse no solo al propio modelo, sino a todo lugar donde aparezca la cuestión de la experiencia interior: animales, alma, conciencia.
Los modelos no guardan los conceptos en cajas separadas. Las ideas que comparten un mismo espacio de representación se mueven juntas cuando una de ellas se desplaza.
Por qué importa
El valor del hallazgo es práctico más que filosófico. El trabajo de alineamiento se apoya en buena medida en intervenciones dirigidas: reduce esta conducta, refuerza aquella tendencia, sé prudente en este tema.
Este estudio muestra que esas intervenciones no se quedan en su objetivo. Al corregir la conducta en un tema se producen cambios no medidos en temas que parecen ajenos.
La consecuencia práctica es esta: después de cambiar una conducta en un modelo, no basta con probar esa conducta. Ver hacia dónde se ha propagado el cambio exige volver a medir un conjunto amplio de comportamientos, y hoy esa no es una práctica extendida.
La dificultad de medir
Lo difícil es que no se puede saber de antemano hacia dónde irá la propagación. Predecir que una restricción sobre la conciencia tocaría los derechos de los animales resulta complicado; el hallazgo se vio solo porque se midió.
Eso dice algo sobre la naturaleza del trabajo de alineamiento: las intervenciones se parecen menos a apretar un tornillo en un motor que a tirar de un punto de un sistema interconectado. El punto del que tiras se mueve, pero otros puntos se mueven con él.
Qué respuesta es la correcta
Hay una pregunta que el estudio evita y que también conviene evitar: ¿responde mejor el modelo restringido o el que no lo está?
La vida interior de los animales sigue siendo un debate científico abierto; el más allá es una cuestión de creencia. En ninguno de los dos casos existe una "respuesta correcta" medible. El hallazgo, por tanto, no muestra que la visión de un modelo sea mejor que la del otro.
Lo que muestra es más básico: la postura del modelo sobre esos temas no se deriva de una decisión tomada sobre ellos, sino de una decisión tomada sobre algo completamente distinto. La respuesta de un modelo sobre derechos animales puede no haberse alcanzado pensando en derechos animales.
Para el usuario
La conclusión práctica: la posición de un modelo sobre un tema controvertido no debe confundirse con una elección editorial deliberada sobre ese tema. A menudo no lo es: es el subproducto de otro ajuste.