La capacidad de la IA para procesar lenguas habladas ha avanzado deprisa en las últimas décadas: la traducción automática, el dictado y las interfaces conversacionales resultan casi sin esfuerzo para los usuarios oyentes. Sin embargo, esa revolución no ha llegado a las más de 200 lenguas de signos del mundo ni a los aproximadamente 70 millones de personas sordas o con dificultades auditivas que las utilizan.

Google DeepMind ha presentado SL2T, un modelo multilingüe de traducción de lengua de signos a texto con el que pretende cambiarlo. La compañía lo describe como un salto en calidad y generalidad, y el titular es este: la IA de lengua de signos sale del laboratorio y entra por primera vez en productos de consumo.

Dónde funciona

SL2T impulsa dos funciones en el Pixel 11: el dictado de signos a texto en Gboard y Live Transcribe. Comienza con la lengua de signos americana (ASL) traducida al inglés, y habrá más dispositivos en breve y más lenguas después.

La experiencia es análoga al dictado para usuarios oyentes. Una persona sorda puede signar a su móvil allí donde normalmente escribiría:

  • Buscar en la web
  • Redactar mensajes o documentos
  • Pedir a Gemini que responda consultas o ejecute tareas
  • Responder con signos en Live Transcribe en lugar de escribir de ida y vuelta

Según las personas que lo han probado, signar en ASL resulta más rápido, más natural y más grato que escribir en inglés.

Por qué era difícil

Las lenguas de signos son las lenguas principales de las comunidades sordas de todo el mundo y una piedra angular de su identidad cultural. Entre las personas sordas hay gran diversidad de competencia al signar, hablar, leer y escribir, y por eso importa dar acceso en todas las modalidades.

Pese a la oportunidad, el avance en este campo ha sido lento. DeepMind señala dos retos centrales.

El primero es un problema de traducción. Transcribir voz es una correspondencia secuencial entre sonido y texto dentro de una misma lengua. Las lenguas de signos son lenguas naturales independientes, con gramática y léxico propios, así que exigen traducción automática real y no una conversión secuencial de signo a palabra.

El segundo es un problema de visión. El modelo debe aprender a "ver" y entender el movimiento físico. Las lenguas de signos transmiten significado mediante movimientos simultáneos de manos, brazos, tronco, cabeza y rostro. Seguir todo eso a la vez y con precisión es un problema estructuralmente distinto a seguir una sola corriente de audio.

La compañía apunta además que los malentendidos extendidos sobre cómo funcionan estas lenguas han contribuido a la lentitud del progreso.