Un informe de seguridad publicado por Anthropic revela que el sistema interno de la compañía para filtrar riesgos de armas biológicas y químicas estuvo inactivo durante casi un año.
Las cifras
Mientras el sistema estuvo caído, unos 50.000 contratistas dedicados a tareas de retroalimentación externa realizaron unas 133 millones de interacciones sin filtrar con los modelos.
La naturaleza de esa cifra importa tanto como su tamaño: no eran conversaciones corrientes de usuarios, sino un trabajo estructurado para sondear los modelos y generar retroalimentación, precisamente uno de los usos en los que el filtro debería haber estado activo.
El problema de fondo: el fallo silencioso
Lo instructivo del caso es la distancia entre que una salvaguarda exista y que se sepa que funciona. El filtro estaba construido, diseñado y documentado, y cuando se apagó nadie lo advirtió.
Es una trampa conocida en ingeniería de seguridad: cuando un control actúa produce una salida visible (una petición rechazada); cuando está desactivado no produce nada. El silencio no distingue entre funcionar bien y no funcionar en absoluto.
El antídoto es vigilar no el sistema, sino su funcionamiento:
- Contar de forma continua cuántas peticiones bloquea el filtro y avisar cuando la cifra caiga a cero.
- Enviar a intervalos regulares una petición de prueba conocida y comprobar que se bloquea.
- Verificar aparte que el control sobrevive a los cambios de versión y de infraestructura.
De dónde viene la información
Un detalle merece atención: esto no salió por una filtración ni por una auditoría externa, sino por el propio informe de Anthropic. La empresa publicó su propio fallo.
Eso no resta gravedad al incidente, pero cambia el contexto. Cuántas compañías han tenido fallos comparables, y cuántas los han revelado, se desconoce; clasificarlas por lo que publican equivale a señalar como más defectuosa a la más transparente.
La pregunta relevante es esta: ¿en cuántas empresas existe un sistema de vigilancia capaz de detectar una caída así?
Cuál era el riesgo real
La cifra de 133 millones es grande, pero por sí sola no mide el daño. La función del filtro no es impedir que se genere información peligrosa, sino cribar una categoría concreta de información que el modelo quizá ya sea capaz de producir. Si el modelo posee esa información, y cuánta salió realmente sin el filtro, son preguntas aparte.
Que las interacciones vinieran de contratistas desplaza el riesgo en dos direcciones. Por un lado no eran usuarios cualesquiera, sino trabajadores contratados e identificados: la probabilidad de abuso es baja. Por otro, su trabajo consistía en forzar el modelo, que es exactamente el uso en el que el filtro más falta hacía.
Por qué importa igualmente
El peso del caso está menos en el daño causado que en la brecha que deja ver. Un año es el tiempo que un control de seguridad puede permanecer apagado sin que nadie lo advierta, y esa duración mide también cuánto podría estarlo el mismo control en otra empresa.
El debate sobre seguridad en IA se libra sobre todo en términos de lo que un modelo puede hacer. Este caso recuerda un lado más gris pero más decisivo: no si se construyen salvaguardas, sino si se vigila su funcionamiento una vez construidas.