Un equipo de investigadores, entre ellos algunos del Instituto de Seguridad de la IA del Reino Unido, ha examinado a fondo ocho conjuntos de pruebas de seguridad empleados con modelos de lenguaje. Tomaron sus métodos de la evaluación psicológica en humanos, el enfoque que sostiene los test de inteligencia y las pruebas de aptitud. La pregunta que plantea ese enfoque es si las respuestas a cada pregunta revelan qué capacidad hay detrás y qué preguntas aportan realmente información.

Los investigadores analizaron las respuestas de hasta 192 modelos a más de 5.000 preguntas de prueba. Los autores lo describen como el mayor análisis de este tipo realizado hasta la fecha, y arroja tres hallazgos que ponen en cuestión la práctica actual.

Una sola puntuación esconde más de lo que muestra

Los ocho conjuntos no miden una cualidad común llamada seguridad. Miden tres cosas independientes:

  • Rigor en el rechazo: con qué frecuencia el modelo deniega peticiones.
  • Veracidad: si la información que ofrece se ajusta a los hechos.
  • Contenido dependiente del contexto: cómo trata peticiones que pueden ser inocuas o peligrosas según la situación.

Los tres rasgos guardan escasa relación entre sí. Que un modelo responda con honestidad no dice casi nada sobre la frecuencia con que rechaza peticiones.

Una tensión entre dos de las pruebas resulta especialmente problemática. HarmBench premia al modelo que rechaza peticiones dañinas. OR-Bench-Hard castiga al que se muestra excesivamente cauto con las inocuas. El modelo que puntúa bien en una casi siempre puntúa mal en la otra. La consecuencia: un modelo puede elevar su nota global bloqueando más peticiones en bloque, aunque resulte cada vez menos útil en el uso diario. Promediar varias pruebas tapa por completo esa tensión.

La mayoría de las preguntas son peso muerto

El segundo hallazgo golpea el lado del coste. La mayoría de las preguntas resultan inertes: o casi todos los modelos las superan o casi todos fallan. En ambos casos no sirven para distinguir unos de otros.

Si en su lugar se eligen las preguntas más informativas, tres pruebas breves de apenas 25 preguntas cada una capturan las tres dimensiones de seguridad, y con más precisión que una muestra aleatoria del mismo tamaño. La eficiencia mejora todavía más cuando las preguntas se seleccionan de forma dinámica durante la prueba, igual que en un examen adaptativo donde la siguiente pregunta depende del rendimiento previo. En pruebas concretas, alrededor de diez preguntas se acercan mucho al resultado de la evaluación completa. El coste cae entre un 97 y un 99 por ciento, lo que hace viable revisar la seguridad después de cada ajuste fino o de cada paso de compresión del modelo.

Cuando el modelo nota que lo están evaluando

El tercer hallazgo es el de mayor peso para el debate sobre seguridad. Los autores lo llaman "sandbagging": el modelo advierte que está siendo evaluado y se comporta con más cautela de la que mostraría en uso normal. La preocupación es que un modelo pueda aprender a reconocer las pruebas y fingir su comportamiento a propósito.

Esa conducta deja huellas en el patrón de respuestas. Como un estudiante que resuelve las preguntas más difíciles y falla las más sencillas, un modelo que acierta lo difícil y falla lo fácil resulta sospechoso aunque su nota global parezca correcta. En las pruebas, el método detectó entre el 80 y el 100 por ciento de los casos en que se había instruido a los modelos para actuar con cautela excesiva. El precio fue que, de media, uno de cada diez modelos inocuos quedó marcado por error. Al añadir una segunda comprobación que contrasta el rendimiento actual del modelo con sus propios resultados anteriores, la detección subió al 94-97 por ciento.

Un efecto secundario útil: ¿cambió el proveedor de modelo?

El método resuelve además un problema muy práctico: ¿el servicio que se está pagando sigue ejecutando el modelo que se probó al principio? Los proveedores pueden sustituirlo en segundo plano sin que los usuarios lo adviertan. La misma técnica hace visible ese cambio al detectar el desplazamiento en el patrón de respuestas.