Yapay zekanın konuşulan dilleri işleme becerisi son yirmi yılda hızla ilerledi: otomatik çeviri, dikte ve sohbet arayüzleri işiten kullanıcılar için neredeyse zahmetsiz hâle geldi. Ama bu devrim dünyadaki 200'den fazla işaret dilinin ve bunları kullanan tahmini 70 milyon sağır ile işitme güçlüğü olan insanın yanına uğramadı.
Google DeepMind, bunu değiştirmeyi hedefleyen SL2T adlı çok dilli işaret dilinden metne çeviri modelini tanıttı. Şirket modeli kalite ve genellik açısından bir eşik olarak niteliyor ve asıl haber şu: işaret dili yapay zekası ilk kez laboratuvardan çıkıp tüketici ürününe giriyor.
Nerede çalışıyor
SL2T, Pixel 11'de iki özelliği besliyor: Gboard'da işaretten metne dikte ve Live Transcribe. Başlangıç noktası Amerikan İşaret Dili'nden (ASL) İngilizceye çeviri; şirket başka cihazların yakında, başka dillerin ise sonrasında geleceğini söylüyor.
İşleyiş, işiten kullanıcıların dikte kullanmasına benziyor. Sağır bir kullanıcı normalde yazacağı her yerde telefonuna işaret yapabiliyor:
- Web'de arama yapmak
- Mesaj ya da belge yazmak
- Gemini'a soru sormak veya görev vermek
- Live Transcribe'da karşılıklı yazışmak yerine işaretle yanıt vermek
Şirketin test kullanıcılarına göre ASL ile işaret yapmak, İngilizce yazmaktan daha hızlı, daha doğal ve daha keyifli.
Neden bu kadar zordu
İşaret dilleri, dünya genelindeki sağır toplulukların ana dili ve sağır kültürel kimliğinin temel taşı. Sağır insanlar arasında işaret, konuşma, okuma ve yazma yeterliliği bakımından büyük çeşitlilik var; bu yüzden erişimin her kipte desteklenmesi önemli.
Buna rağmen alandaki ilerleme yavaş kaldı. DeepMind iki temel zorluk sayıyor.
Birincisi çeviri sorunu. Konuşmayı yazıya dökmek, aynı dil içinde sesten metne sıralı bir eşleme. İşaret dilleri ise kendi dil bilgisi ve söz varlığı olan bağımsız, doğal diller. Yani işaretten kelimeye sıralı bir dönüşüm değil, gerçek makine çevirisi gerekiyor.
İkincisi görme sorunu. Modelin fiziksel hareketi "görmesi" ve anlaması gerekiyor. İşaret dilleri anlamı ellerin, kolların, gövdenin, başın ve yüzün eşzamanlı hareketleriyle taşıyor. Bunların hepsini aynı anda ve doğru izlemek, tek bir ses akışını takip etmekten yapısal olarak farklı bir problem.
Şirket ayrıca ilerlemenin yavaş olmasında, işaret dillerinin nasıl işlediğine dair yaygın yanlış kanıların da payı olduğunu belirtiyor.
Neden bu kadar önemli
Duyurunun ağırlığı teknik başarıdan çok erişimde. İşaret dili çevirisi üzerine akademik çalışma yıllardır sürüyor; eksik olan, bu çalışmanın milyonlarca insanın cebindeki cihazda çalışması. Bir modelin laboratuvarda iyi puan alması ile bir kullanıcının markette etiket okuyabilmesi arasındaki mesafe, bu alanda hep en zor kısım oldu.
İşiten kullanıcılar için dikte, konuşmayı yazmanın alternatifi. Sağır bir kullanıcı için işaretten metne dikte, kendi ana dilinde iletişim kurmanın yolu — yabancı bir dilde yazmak zorunda kalmamak demek. Test kullanıcılarının "daha hızlı ve daha doğal" değerlendirmesi tam olarak bunu anlatıyor.
Sınırlar da açık. Şu an tek bir dil çifti (ASL'den İngilizceye) ve tek bir cihaz ailesi destekleniyor. 200'den fazla işaret dilinin geri kalanı için takvim verilmemiş durumda.