La capacidad de la IA para procesar lenguas habladas ha avanzado deprisa en las últimas décadas: la traducción automática, el dictado y las interfaces conversacionales resultan casi sin esfuerzo para los usuarios oyentes. Sin embargo, esa revolución no ha llegado a las más de 200 lenguas de signos del mundo ni a los aproximadamente 70 millones de personas sordas o con dificultades auditivas que las utilizan.
Google DeepMind ha presentado SL2T, un modelo multilingüe de traducción de lengua de signos a texto con el que pretende cambiarlo. La compañía lo describe como un salto en calidad y generalidad, y el titular es este: la IA de lengua de signos sale del laboratorio y entra por primera vez en productos de consumo.
Dónde funciona
SL2T impulsa dos funciones en el Pixel 11: el dictado de signos a texto en Gboard y Live Transcribe. Comienza con la lengua de signos americana (ASL) traducida al inglés, y habrá más dispositivos en breve y más lenguas después.
La experiencia es análoga al dictado para usuarios oyentes. Una persona sorda puede signar a su móvil allí donde normalmente escribiría:
- Buscar en la web
- Redactar mensajes o documentos
- Pedir a Gemini que responda consultas o ejecute tareas
- Responder con signos en Live Transcribe en lugar de escribir de ida y vuelta
Según las personas que lo han probado, signar en ASL resulta más rápido, más natural y más grato que escribir en inglés.
Por qué era difícil
Las lenguas de signos son las lenguas principales de las comunidades sordas de todo el mundo y una piedra angular de su identidad cultural. Entre las personas sordas hay gran diversidad de competencia al signar, hablar, leer y escribir, y por eso importa dar acceso en todas las modalidades.
Pese a la oportunidad, el avance en este campo ha sido lento. DeepMind señala dos retos centrales.
El primero es un problema de traducción. Transcribir voz es una correspondencia secuencial entre sonido y texto dentro de una misma lengua. Las lenguas de signos son lenguas naturales independientes, con gramática y léxico propios, así que exigen traducción automática real y no una conversión secuencial de signo a palabra.
El segundo es un problema de visión. El modelo debe aprender a "ver" y entender el movimiento físico. Las lenguas de signos transmiten significado mediante movimientos simultáneos de manos, brazos, tronco, cabeza y rostro. Seguir todo eso a la vez y con precisión es un problema estructuralmente distinto a seguir una sola corriente de audio.
La compañía apunta además que los malentendidos extendidos sobre cómo funcionan estas lenguas han contribuido a la lentitud del progreso.
Por qué esto importa tanto
El peso del anuncio está más en el acceso que en el logro técnico. La investigación académica sobre traducción de lengua de signos lleva años en marcha; lo que faltaba era que ese trabajo funcionara en el dispositivo que millones de personas llevan en el bolsillo. La distancia entre que un modelo puntúe bien en el laboratorio y que una persona pueda leer una etiqueta en el supermercado ha sido siempre la parte más difícil de este campo.
Para las personas oyentes, el dictado es una alternativa a escribir. Para una persona sorda, el dictado de signos a texto es la vía para comunicarse en su propia lengua materna: significa no tener que escribir en un idioma ajeno. La valoración de las personas que lo probaron —"más rápido y más natural"— dice exactamente eso.
Los límites también son claros. Por ahora se admite un único par de lenguas (de la ASL al inglés) y una única familia de dispositivos. Para las más de 200 lenguas de signos restantes no hay calendario.