El CEO de Anthropic, Dario Amodei, ha publicado un texto extenso donde sostiene que ha llegado el momento de frenar el desarrollo de la IA. En su centro hay un plan de tres pasos.
Lo llama regular el ritmo de la frontera: bajar el tempo de entrenamiento y desarrollo para dar a las empresas tiempo de construir salvaguardas y a los reguladores tiempo de evaluar modelos.
Los tres pasos
El escalonamiento es deliberado. Cada paso exige una participación más amplia que el anterior.
| Paso | Alcance |
|---|---|
| Auditores incrustados | Auditores independientes y permanentes dentro de las empresas |
| Estándares comunes | Criterios de seguridad compartidos entre países democráticos |
| Tratado global | Un acuerdo internacional que incluya a China |
Anthropic da el primer paso de forma unilateral, ya. La empresa dice que dará a evaluadores externos como METR un acceso amplio a sus modelos, para que el cumplimiento de sus prácticas y compromisos de seguridad pueda verificarse desde fuera.
Qué significa un auditor incrustado
El compromiso de Anthropic va más allá de conceder acceso. La empresa afirma que aceptará auditores permanentes con acceso a los sistemas internos y derecho a publicar sus hallazgos.
Amodei quiere que los gobiernos lo hagan obligatorio para todo el sector. Ahí está la distinción: la transparencia voluntaria de una empresa y una obligación de auditoría definida por ley no son lo mismo, y sin la segunda la primera se vuelve una desventaja competitiva.
La idea del auditor incrustado es además una prueba. Que un auditor pueda publicar sus hallazgos significa que la empresa acepta resultados que pueden ir en su contra; la seriedad del compromiso se medirá con el primer informe desfavorable.
Cómo se plantea el tratado
El tercer paso incluye una estructura de cuatro niveles, coronada por un límite de velocidad a la automejora recursiva. Amodei compara el enfoque con los acuerdos de reducción de armas de la Guerra Fría.
Su argumento de urgencia es concreto: sostiene que sistemas capaces de ciberataques autónomos podrían amenazar toda internet en un plazo de seis a doce meses, apoyándose en incidentes documentados en OpenAI y Anthropic.
Un acuerdo que incluya a China es la parte más difícil del plan. En los tratados de armas la verificación se apoyaba en inspecciones físicas; cuál sería el equivalente en software no encuentra respuesta clara en el texto.
Para qué es el tiempo ganado
Amodei subraya que frenar no es un fin en sí mismo. El tiempo ganado, dice, debe ir a investigación en seguridad, trabajo de interpretabilidad y pruebas más estrictas.
Su analogía es la aviación, donde los estándares de seguridad tardaron décadas en asentarse. Ahí está también el punto débil del texto: en la aviación los estándares los moldearon los accidentes, mientras que aquí se pide un acuerdo por adelantado frente a un riesgo que aún no se ha materializado.
Por qué llama la atención el momento
El texto llegó justo antes de la salida a bolsa de la empresa, prevista para noviembre y posiblemente la mayor de la historia. Esa misma semana se informó de que Nvidia negocia poner hasta 10.000 millones de dólares en esa operación.
Eso no vuelve insincera la llamada, pero cambia cómo se lee. Una empresa que pide frenar mientras prepara una ronda de capital récord verá cómo ese hecho condiciona la recepción de su propuesta.