طورت شركة جوجل نموذجا جديدا لترجمة لغة الإشارة يمكنه تحويل حركات الجسم المعقدة إلى نص، بالاعتماد على أكثر من 100 ألف ساعة من البيانات التي تغطي أكثر من 50 لغة إشارة.

وتنتقل التقنية، التي تعرف باسم Sign-Language-to-Text أو SL2T، من مرحلة البحث والتطوير إلى الأجهزة الموجهة للمستخدمين، حيث تبدأ بدعم لغة الإشارة الأمريكية ASL على هاتف Pixel 11.

ويتيح النموذج للمستخدمين التعبير بلغة الإشارة بدلا من الكتابة للبحث على الإنترنت، وكتابة الرسائل والمستندات، والتفاعل مع نموذج الذكاء الاصطناعي Gemini.

كما تتيح ميزة Live Transcribe للمستخدمين إرسال ردودهم بلغة الإشارة أثناء المحادثات.

لغة الإشارة أكثر تعقيدا من الكلام

تختلف ترجمة لغة الإشارة عن تحويل الكلام إلى نص، لأن لغات الإشارة ليست مجرد طريقة مرئية لتمثيل الكلمات المنطوقة.

فلغات الإشارة هي لغات مستقلة لها قواعدها ومفرداتها الخاصة، كما يمكن نقل المعنى في الوقت نفسه من خلال حركات اليدين، وتعبيرات الوجه، ووضعية الرأس، وحركة الذراعين والجذع.

ولهذا السبب، تمثل ترجمة لغة الإشارة تحديا يجمع بين الرؤية الحاسوبية وترجمة اللغات.

وصمم نموذج SL2T للتعامل مع الجانبين معا، إذ يحول حركات الشخص الذي يستخدم لغة الإشارة إلى تمثيل منظم قبل ترجمتها إلى نص.

استبدال الفيديو ببيانات الحركة

بدلا من إرسال تسجيل فيديو خام من كاميرا الهاتف إلى نظام الترجمة، يستخدم النموذج تقنية MediaPipe Holistic من جوجل لتحديد النقاط الأساسية في وضعية الشخص الذي يستخدم لغة الإشارة.

وتتضمن هذه النقاط إحداثيات هندسية تمثل حركات اليدين والوجه والجسم.

وبعد ذلك، ترسل هذه الإحداثيات فقط إلى نظام الترجمة، بينما يمكن حذف الفيديو الأصلي مباشرة.

ويهدف هذا الأسلوب إلى تقليل كمية المعلومات المرئية الحساسة التي تغادر الجهاز، مع الحفاظ في الوقت نفسه على المعلومات اللازمة لفهم الطريقة التي يستخدم بها الشخص لغة الإشارة.

ترجمة مباشرة دون رموز وسيطة

يترجم SL2T تسلسل النقاط التي حددها النظام مباشرة إلى نص.

ولا يعتمد النموذج على ما يعرف باسم Glosses، وهي تسميات مبسطة تستخدم غالبا في أبحاث لغة الإشارة لتمثيل الإشارات الفردية.

وترى جوجل أن عدم الاعتماد على هذه الرموز الوسيطة يساعد النموذج على فهم عناصر أكثر تعقيدا في لغة الإشارة، مثل العلاقات المكانية والإشارات غير اليدوية، بما فيها حركات الوجه والرأس وغيرها من الإشارات التي ترافق حركة اليدين.

تدريب على أكثر من 50 لغة إشارة

دربت جوجل النموذج باستخدام أكثر من 100 ألف ساعة من بيانات لغة الإشارة، تغطي أكثر من 50 لغة.

وجاء نحو ربع البيانات المستخدمة في التدريب من لغة الإشارة الأمريكية ASL.

وتقول جوجل إن تدريب النموذج باستخدام لغات ولهجات ومستويات مختلفة من إتقان لغة الإشارة ساعده على تعلم بعض البنى المشتركة بين لغات الإشارة المختلفة.

وهذا النهج يمكن أن يساعد النموذج على التعامل مع الاختلافات بين المستخدمين واللغات بدلا من تدريبه على نمط واحد من الإشارات.

نتائج قوية في الاختبارات

اختبرت جوجل النموذج على معيار FLEURS-ASL المستخدم لتقييم أنظمة ترجمة لغة الإشارة.

وأعلنت الشركة أن النموذج سجل 70 نقطة BLEURT في اختبار Zero-Shot، وقالت إن هذه النتيجة أعلى بشكل كبير من النتائج التي أبلغت عنها أعمال سابقة.

كما اختبرت الشركة النموذج في مواجهة تحديات عملية يمكن أن تؤثر في استخدام الترجمة بشكل يومي.

ترجمة فورية أثناء الإشارة

صمم النظام للعمل في صورة ترجمة متدفقة ومباشرة، بدلا من الانتظار حتى انتهاء تسجيل فيديو كامل ثم تحليله.

وركز الباحثون خلال تطوير النظام على تقليل زمن التأخير بين الإشارة وظهور النص، إضافة إلى منع النموذج من إنتاج نصوص غير صحيحة عندما لا يكون الشخص يستخدم لغة الإشارة.

كما عملوا على تحسين أداء النظام مع الأشخاص الذين يستخدمون اليد اليسرى أو الذين يؤدون الإشارات باستخدام يد واحدة.

وتكتسب ميزة الإشارة بيد واحدة أهمية خاصة عند استخدام الهاتف، لأن المستخدم قد يحتاج إلى الإمساك بالهاتف بإحدى يديه واستخدام اليد الأخرى للتواصل بلغة الإشارة.

مشاركة خبراء الصم في التطوير

أشركت جوجل مستخدمين صما ومنظمات متخصصة في مجتمع الصم خلال مراحل مختلفة من تطوير التقنية، بما في ذلك الاختبارات وجمع البيانات وتقييم أداء النظام.

وقالت الشركة إن تطوير التقنية تم بمشاركة خبراء من مجتمع الصم ولجنة استشارية تمثل منظمات الصم.

ويهدف هذا التعاون إلى ضمان أن تكون التقنية أكثر ارتباطا بالاحتياجات الفعلية للأشخاص الذين يستخدمون لغة الإشارة في حياتهم اليومية.

البداية مع Pixel 11

بدأ الطرح الأول للتقنية بدعم الترجمة من لغة الإشارة الأمريكية إلى اللغة الإنجليزية عبر تطبيقي Gboard وLive Transcribe على هاتف Pixel 11.

وتقول جوجل إن الدعم سيصل لاحقا إلى أجهزة إضافية ولغات إشارة أخرى.

ويمكن أن يؤدي توسيع نطاق التقنية إلى جعل استخدام الأجهزة الذكية أكثر سهولة للأشخاص الذين يعتمدون على لغة الإشارة في التواصل.

تطبيقات مستقبلية للذكاء الاصطناعي

لا تقتصر إمكانات المشروع على ترجمة لغة الإشارة إلى نص.

وتشير جوجل إلى إمكانية تطوير التقنية مستقبلا لتشمل توليد لغة الإشارة وتطبيقات أخرى تعتمد على فهم الحركات والإشارات البشرية.

وقد يفتح ذلك المجال أمام تطوير وسائل جديدة للتواصل بين مستخدمي لغة الإشارة والأشخاص الذين لا يعرفونها، إضافة إلى تحسين إمكانية الوصول إلى خدمات البحث والرسائل والمستندات وأدوات الذكاء الاصطناعي.

ومع استمرار تطوير النموذج وإضافة لغات إشارة وأجهزة جديدة، يمكن أن تصبح ترجمة لغة الإشارة في الوقت الفعلي جزءا أكثر انتشارا من تقنيات الهواتف الذكية والخدمات الرقمية.