El consejero delegado de Anthropic, Dario Amodei, expuso su visión sobre la regulación de la IA en un intercambio en redes sociales. Su afirmación más destacada: los pesos abiertos no son por sí solos una solución suficiente.
De qué va la discusión
La pregunta de fondo es qué hacer con la concentración de poder en la IA. Una postura extendida sostiene que publicar los modelos con pesos abiertos resuelve por sí misma esa concentración: si los pesos están al alcance de todos, ninguna empresa puede guardar la puerta.
Amodei objeta ese planteamiento. A su juicio los pesos abiertos son valiosos pero no suficientes, porque el verdadero cuello de botella no es el modelo en sí, sino el capital y la infraestructura necesarios para entrenarlo y ejecutarlo. Publicar los pesos no da una alternativa real a quien carece de esa infraestructura.
La postura contraria
El argumento opuesto también es sólido. Los defensores de los pesos abiertos señalan que los modelos cerrados no se pueden escrutar: examinar de forma independiente cómo se comporta un modelo solo es posible con acceso a los pesos. En un modelo cerrado, una afirmación de seguridad descansa en la palabra de la empresa.
Ambos bandos ven el mismo problema desde sitios distintos. Uno mira dónde se acumula el poder; el otro, quién ejerce la supervisión.
Una crisis de confianza
El segundo énfasis de Amodei es una crisis de confianza en el sector. La expresión se concreta al leerla junto a los sucesos recientes: ciberataques accidentales, filtros de seguridad apagados, equipos de seguridad disueltos.
Lo que comparten esos episodios no es mala fe, sino una distancia entre lo que las empresas dicen de sus propios sistemas y cómo se comportan realmente. Crisis de confianza es justamente el nombre de esa distancia.
Por qué importa
Lo que hace interesante el argumento es la posición de Amodei. Que el responsable de una empresa que construye modelos cerrados sostenga que los pesos abiertos son insuficientes es una postura alineada con su interés, y conviene anotarlo.
Por otro lado, esa misma persona respalda un informe en el que su empresa reveló su propio fallo de seguridad. Leer el argumento únicamente en clave de interés resulta, por tanto, igual de incompleto.
El asunto de fondo es este: el debate regulatorio se estrecha cada vez más entre dos polos —poder concentrado en unas pocas grandes empresas y sujeto a supervisión, o poder distribuido y sin supervisión alguna—. Lo que Amodei señala es si existe una tercera vía; y todavía nadie ha descrito cómo sería.
La cuestión de las pruebas
Otro punto que defiende Amodei son las pruebas a los modelos. Parece la parte menos discutida del debate: nadie sostiene que los modelos deban quedar sin probar. La discrepancia está en quién las realiza.
En el esquema actual, la mayoría de las pruebas las hace la propia empresa que construye el modelo, que después publica ella misma los resultados. Existen organizaciones de evaluación independiente, pero su acceso es limitado y sus hallazgos suelen pasar por la aprobación de la empresa.
Los sucesos recientes han dejado ver la debilidad de ese esquema: supimos que un filtro de seguridad llevaba un año apagado solo cuando la propia empresa lo reveló. Con un auditor externo, ese año podría haber sido un mes.
Qué falta
Lo que quizá se pierde el debate es esto: elegir entre pesos abiertos y modelos cerrados no resuelve por sí solo quién ejerce la supervisión. Un modelo abierto puede examinarse técnicamente, pero el número de instituciones con recursos para hacerlo es limitado; un modelo cerrado no puede examinarse, pero hay un responsable claro.
La tercera vía probablemente esté entre ambas: una capa de supervisión independiente sin acceso a los pesos pero con autoridad para someter el modelo a prueba. Ningún país ha construido todavía una estructura así.
Los dos ejes de la discusión
- Dónde se acumula el poder: los defensores de los pesos abiertos señalan la concentración; Amodei, el capital y la infraestructura.
- Quién supervisa: un modelo abierto puede examinarse, pero pocas instituciones pueden hacerlo; uno cerrado no, pero hay un responsable.
- Quién hace las pruebas: hoy, sobre todo la propia empresa que construyó el modelo.