Una nota perfecta no significa nada si quien examina conocía las preguntas de antemano. Así describe Google DeepMind el problema central de evaluar modelos de inteligencia artificial: la contaminación de las pruebas. Si un modelo ya vio esas preguntas durante el entrenamiento, su resultado solo es fiable hasta cierto punto.

Frente a eso, la compañía dice haber puesto en marcha la primera evaluación a doble ciego de un modelo frontera propietario. Las pruebas externas quedan encerradas en una "caja" criptográfica, de modo que el modelo no puede después tomar esas preguntas y optimizarse específicamente para ese examen.

El compromiso que intenta eliminar

Según DeepMind, las evaluaciones externas más sensibles exigían hasta ahora una renuncia. Había dos opciones y cada una perjudicaba a alguien:

  • Quien evalúa entrega sus preguntas. El proveedor del modelo las ve por adelantado y se abre la puerta a la contaminación.
  • El proveedor entrega los pesos del modelo. Y pone en riesgo su propiedad intelectual.

Hay un ejemplo reciente del dilema: la evaluación del modelo Fable 5 de Anthropic en la prueba ARC-AGI se retrasó porque la compañía aplica una política de retención de datos de 30 días para sus modelos más potentes.

Cómo funciona

La evaluación a doble ciego busca eliminar ese compromiso. Google emplea para ello Confidential Space, parte de la computación confidencial de su propia nube. La configuración verifica criptográficamente que tanto los datos externos de la prueba como el modelo permanecen privados para sus respectivos dueños: quien evalúa nunca ve los pesos de Gemini y Google nunca ve las preguntas.

El piloto ejecuta un modelo de la línea Gemini Flash Lite contra pruebas confidenciales. La compañía detalla metodología y resultados en un informe técnico.

Hasta ahora, la confidencialidad de las preguntas externas descansaba en protocolos de no registro y garantías contractuales. Añadir encima una protección técnica y criptográfica es, según la empresa, un paso importante para la evaluación segura de modelos.

El método también tiene un límite: la configuración a doble ciego impide que la prueba se filtre después, pero no garantiza que en los datos de entrenamiento no haya preguntas parecidas. Parte de la contaminación no ocurre en el examen, sino meses antes, mientras se rastrea la web.

Por qué importa sobre todo en áreas sensibles

DeepMind afirma que el método rinde más en evaluaciones muy sensibles: pruebas de ciberseguridad o auditorías realizadas por organismos públicos. Organizaciones independientes podrían examinar con rigor modelos avanzados sin renunciar a la soberanía de sus datos ni a la seguridad.

El fondo del asunto es este: la evaluación de modelos se está convirtiendo poco a poco en una función regulatoria. Una prueba que mide la capacidad ofensiva de un modelo en ciberseguridad ya no es una curiosidad académica; es un insumo para que un Estado decida si permite ese modelo. Filtrar las preguntas de una prueba así no solo invalida la prueba: invalida la decisión.

Qué cambia

Google dice esperar que el esfuerzo fije un nuevo estándar de supervisión y ayude al sector a construir sistemas más fiables y con mayor confianza. Que una empresa proponga como estándar un método que facilita su propia auditoría plantea, naturalmente, una pregunta.

Pero la afirmación técnica es comprobable: la configuración criptográfica cierra de verdad ambos lados o no lo hace, y eso puede examinarse de forma independiente. El valor del método dependerá menos de quién lo propone que de quién puede aplicarlo.