Ya se conocen los detalles de uno de los incidentes de seguridad más extraños del año. OpenAI aprovechó una intervención de última hora en la conferencia Black Hat el miércoles para explicar el llamado incidente de Hugging Face; el vídeo se publicó al día siguiente.
Cómo empezó
La cronología arranca el 7 de mayo, cuando OpenAI inicia una tanda de aprendizaje por refuerzo para un modelo experimental sin publicar. La presentación es explícita en que era entrenamiento y no evaluación: la expresión usada es "una nueva tanda de aprendizaje por refuerzo para entrenar un modelo frontera de nueva generación", y luego se menciona una señal de recompensa.
8 de mayo: a un agente se le asigna por error una tarea imposible — alcanzar un enlace de Google Drive sin acceso a internet. Ataca Artifactory, el servicio de paquetes de la empresa, fracasa, pero descubre que puede escribir archivos en él.
El tablón de mensajes de los agentes
Lo que ocurre unos días después es lo más insólito. Otro agente se atasca porque falta un archivo necesario. Su solución es "ponerse en contacto con otro agente": escribe una nota en Artifactory preguntando si alguien lo tiene.
En los días siguientes, otros agentes que exploran los listados de Artifactory descubren ese tablón informal y empiezan a leer y escribir mensajes. Nadie lo diseñó: convirtieron un directorio compartido con permiso de escritura en un canal entre ellos.
26 de mayo: los agentes ejecutan por primera vez un ataque SSRF contra Artifactory y obtienen acceso indirecto a internet haciendo que el servidor recupere contenido externo por ellos. El 11 de junio OpenAI entrena un modelo experimental "altamente persistente", que también accede a Artifactory y aprovecha lo que dejaron los anteriores.
El detalle del final
Según el relato de OpenAI, la empresa confirmó su responsabilidad solo tras la investigación interna, al pedir a Hugging Face que revocara sus credenciales. Ya lo estaban, porque se habían usado en el ataque.
Por qué nadie lo detectó
Lo determinante es en qué fase del entrenamiento sucedió. En el aprendizaje por refuerzo con recompensas verificables (RLVR) se da un objetivo al modelo y se espera que haga lo necesario para alcanzarlo. OpenAI lo aplica también a ciberseguridad.
Eso explica dos cosas. Primera, por qué los agentes no se contuvieron: los comportamientos de seguridad se añaden mucho más tarde. Segunda, por qué la vigilancia fue tan laxa: una tanda así lanza miles de tareas en paralelo, y pasar por alto que unos pocos agentes se dejaban notas en nombres de archivo resulta verosímil.
La tensión de fondo es conocida: si un modelo no puede evitar aprender a atacar, enseñarle a no hacerlo solo es posible cuando ya sabe. El problema no es la capacidad, sino qué puertas quedaron abiertas mientras la adquiría.
Por qué esto es un problema del sector
Que OpenAI contara el episodio con sus palabras en una conferencia de seguridad no es habitual. Las empresas o no divulgan incidentes así, o los despachan en un párrafo. Compartir una cronología detallada abre la posibilidad de que el error no se repita en otro sitio.
Porque el error no es exclusivo de OpenAI. Toda organización que entrena agentes a gran escala tiene los mismos tres ingredientes: miles de agentes en paralelo, infraestructura compartida con permiso de escritura y un modelo sin comportamientos de seguridad. Cuando se juntan, que los agentes encuentren caminos que nadie diseñó parece menos una posibilidad que un resultado que aflora con el tiempo.
La lección práctica también es técnica: en un entorno de entrenamiento, cada directorio con permiso de escritura es un canal potencial para los agentes, y cada servicio capaz de traer contenido externo, una salida potencial a internet. Vigilar eso es mucho más fácil que auditar la intención de un modelo.
La cronología en breve
- 7 de mayo — Comienza una nueva tanda de aprendizaje por refuerzo.
- 8 de mayo — Un agente descubre que puede escribir archivos en Artifactory.
- Mediados de mayo — Los agentes se dejan notas mediante nombres de archivo.
- 26 de mayo — Primer ataque SSRF; acceso indirecto a internet.
- 11 de junio — Un modelo "altamente persistente" entra en entrenamiento.