باحث ياباني يطور تقنية لتحويل الصور الذهنية إلى نصوص

نشرت مجلة "ساينس أدفنسز" العلمية دراسة حول تقنية جديدة طورها باحث ياباني تحول الصور الذهنية في دماغ الإنسان إلى جمل نصية بالاستعانة بالذكاء الاصطناعي.

وأجرى هوريكاوا توموياسو، الباحث في مختبر علوم الاتصالات لشركة "نيبون تلغراف وتلفون" للاتصالات في اليابان، دراسة حول تحويل الصور الذهنية إلى أوصاف مكتوبة، على ستة متطوعين تتراوح أعمارهم بين 22 و37 عاماً، لغتهم الأم اليابانية.

وخلال التجربة، عُرض على المشاركين 2180 مقطع فيديو بمحتويات شملت مشاهد طبيعية وأمورًا مختلفة وحركات بشرية وأنشطة يومية، حيث تم تسجيل نشاط أدمغة المشاركين بجهاز التصوير بالرنين المغناطيسي الوظيفي أثناء مشاهدتهم لمقاطع الفيديو القصيرة.

اظهار أخبار متعلقة

وتعمل التقنية عبر تحويل النصوص المكتوبة المرتبطة بمحتوى المقاطع المصوّرة إلى متسلسلات رقمية باستخدام نماذج لغوية ضخمة، ثم تدريب نماذج ذكاء اصطناعي بسيطة على مطابقة هذه المتسلسلات الرقمية مع أنماط نشاط الدماغ التي تم تسجيلها أثناء مشاهدة الفيديوهات.

وأطلق هوريكاوا على تقنية تحويل المشاهد التي تصورها المشاركون أثناء مشاهدة أو تذكر ما شاهدوه إلى جمل نصية، اسم "التمثيل الذهني".

وقال هوريكاوا إن هذه الطريقة الجديدة قادرة على إنتاج نصوص مفصّلة تصف الأشياء والأماكن والأفعال والأحداث والعلاقات فيما بينها من خلال تحليل كيفية معالجة الدماغ للمعلومات البصرية.

وذكر أن هذه التقنية تعمل بشكل مستقل عن مراكز اللغة في الدماغ، مشيرًا إلى أنها قد تساعد الأشخاص الذين فقدوا قدرتهم على الكلام بسبب أمراض التنكس العصبي على التواصل.