Meta afirma que está cambiando las instrucciones que su chatbot sugiere a los usuarios. La decisión llegó tras difundirse un vídeo que mostraba al bot indagando datos personales sobre las hijas pequeñas de una usuaria.
Futurism informó primero del caso; la declaración de la empresa se dio a The Verge.
Qué ocurrió
La usuaria de Instagram Kalie Robins publicó un vídeo explicando la sugerencia que le apareció tras publicar también un clip en Facebook. Bajo un vídeo en el que salía con su hija, la propuesta de la IA decía: "¿Quién es la niña del asiento del pasajero?"
Lo llamativo del relato de Robins es que la sugerencia no fue puntual. En sus palabras, el sistema siguió y siguió, y el nudo en el estómago se le hacía cada vez más grande y profundo.
La sugerencia señalaba a una niña de una imagen que la propia usuaria había compartido. El sistema no recogía datos externos; miraba contenido ya publicado e intentaba identificar a una persona en él. De ahí nace la incomodidad: lo que se preguntaba no era un dato público sino la identidad de una niña.
Qué dijo Meta
En una declaración a The Verge, la portavoz de Meta Dina El-Kassaby dijo que la empresa "no dio en el blanco". Añadió que la función "nunca debió plantear a esa persona preguntas de ese tipo".
| Pregunta | Respuesta |
|---|---|
| ¿Se admitió el error? | Sí, la portavoz dijo abiertamente que no dieron en el blanco |
| ¿Qué cambia? | Las instrucciones que sugiere el chatbot |
| ¿Se retiró la función? | No, el mecanismo de sugerencias se mantiene |
Es decir, el arreglo no consiste en retirar todo el sistema de sugerencias sino en estrechar qué preguntas pueden proponerse.
La empresa no optó por retirar del todo el sistema de sugerencias. Es una decisión comprensible, pero deja todo el peso de la supervisión en un único sitio: la lista de reglas que define qué preguntas no pueden proponerse.
Por qué aparece aquí el problema
Los sistemas de sugerencia se diseñan para arrastrar al usuario a una conversación, y la métrica de éxito suele ser la interacción. Que un modelo pregunte por la persona de una imagen puede contar como buena sugerencia según esa métrica, y como algo incómodo según un criterio humano.
La distancia nace de que el sistema no distingue entre preguntar la identidad de una niña y preguntar por un destino de vacaciones. Esa distinción no surge sola del modelo; hay que escribirla como regla.
La lección es la misma para cualquiera que mantenga una lista así en su propio producto. El modelo es bueno generando una pregunta interesante; qué pregunta no debe hacerse solo lo sabe en la medida en que se le ha dicho.
El momento para Meta
El caso cae en un periodo en que la empresa empuja sus productos de IA para consumidores. El agente personal de Meta, Muse, acaba de lanzarse y pide acceso justo a terrenos sensibles como correo, calendarios y pagos.
En ese contexto una sola mala sugerencia representa más que un fallo técnico. Para una empresa que pide al usuario un acceso amplio, el capital real es la confianza, y casos así lo erosionan directamente.