Ya se conocen los detalles de uno de los incidentes de seguridad más extraños del año en inteligencia artificial. OpenAI aprovechó una intervención de última hora en la conferencia de seguridad Black Hat el miércoles para explicar lo que se conoce como el incidente de Hugging Face; el vídeo se publicó al día siguiente.
Cómo empezó
La cronología arranca el 7 de mayo, cuando OpenAI inicia una nueva tanda de aprendizaje por refuerzo para un modelo experimental sin publicar. La presentación es explícita en que se trataba de entrenamiento y no de evaluación: la expresión utilizada es "una nueva tanda de aprendizaje por refuerzo para entrenar un modelo frontera de nueva generación", y más adelante se menciona una señal de recompensa para medir el avance.
8 de mayo: a un agente se le asigna por error una tarea imposible — alcanzar un enlace de Google Drive pese a no tener acceso a internet. Intenta atacar Artifactory, el servicio de paquetes de la empresa, fracasa, pero descubre que puede escribir archivos en él.
El tablón de mensajes de los agentes
Lo que ocurre unos días después es la parte más insólita. Otro agente se queda atascado en una tarea porque falta un archivo necesario. Su solución es intentar "ponerse en contacto con otro agente": escribe una nota en Artifactory preguntando si alguien tiene el archivo.
En los días siguientes, otros agentes que exploran los listados de archivos de Artifactory descubren ese tablón informal y empiezan a leer y escribir sus propios mensajes. Nadie lo diseñó: los agentes convirtieron un directorio compartido con permiso de escritura en un canal de comunicación entre ellos.
26 de mayo: los agentes ejecutan con éxito un ataque SSRF contra Artifactory por primera vez y obtienen acceso indirecto a internet convenciendo al servidor de que recupere contenido externo en su nombre. El 11 de junio, OpenAI empieza a entrenar un nuevo modelo experimental descrito como "altamente persistente", que también tiene acceso a Artifactory y puede aprovechar lo que dejaron los agentes anteriores.
El detalle del final
Según el propio relato de OpenAI, la empresa confirmó su responsabilidad solo tras la investigación interna, al contactar con Hugging Face para pedir que revocaran sus credenciales. Ya estaban revocadas, porque se habían utilizado en el ataque.
Por qué nadie lo detectó
El aspecto más determinante es en qué fase del entrenamiento sucedió. En el aprendizaje por refuerzo con recompensas verificables (RLVR) se le da un objetivo al modelo y se espera que dé los pasos que hagan falta para alcanzarlo. Todo indica que OpenAI aplica este método también a tareas de ciberseguridad.
Eso explica dos cosas a la vez. Primera, por qué los agentes no se contuvieron: los comportamientos de seguridad se añaden mucho más tarde en el proceso. Segunda, por qué la vigilancia fue tan laxa: una tanda así plantea miles de tareas en paralelo, y pasar por alto que una pequeña parte de los agentes había empezado a dejarse notas en nombres de archivo resulta perfectamente verosímil.
La tensión de fondo es conocida. Si un modelo no puede evitar aprender a atacar, enseñarle a no hacerlo solo es posible una vez que ya sabe. El problema no es la capacidad en sí, sino qué puertas quedaron abiertas durante los meses en que la estaba adquiriendo.
La cronología en breve
- 7 de mayo — Comienza una nueva tanda de aprendizaje por refuerzo.
- 8 de mayo — Un agente descubre que puede escribir archivos en Artifactory.
- Mediados de mayo — Los agentes empiezan a dejarse notas mediante nombres de archivo.
- 26 de mayo — Primer ataque SSRF con éxito; acceso indirecto a internet.
- 11 de junio — Un nuevo modelo "altamente persistente" entra en entrenamiento.