تحول كبير في الذكاء الاصطناعي: تقنية جديدة تفتح آفاقاً أوسع لنماذج اللغات الكبيرة

تعتمد معظم اللغات على موقع الكلمات وبنية الجملة لاستخلاص المعنى. فجملة “القط جلس على الصندوق” تختلف تماماً عن “الصندوق كان على القط”. في النصوص الطويلة، كالمستندات المالية أو الروايات، يتطور تركيب هذه الكلمات والسياق المحيط بها. وبالمثل، عند تتبع المتغيرات في الكود البرمجي أو اتباع التعليمات الشرطية، نحتاج إلى فهم تتابع الأحداث وتغير الحالات. هذه القدرات التي يُتوقع من أنظمة الذكاء الاصطناعي المتطورة التفوق فيها، تواجه قيوداً نظرية وعملية في البنية الحالية لأشهر النماذج اللغوية.

القصور في الآليات التقليدية: عين لا ترى التسلسل
تعتمد نماذج اللغات الكبيرة (LLMs) مثل GPT على آلية تسمى “الانتباه” (Attention) داخل محولات (Transformers). تسمح هذه الآلية للنموذج بالنظر إلى الأجزاء السابقة من النص وتحديد الكلمات الأكثر أهمية بناءً على تدريبه. لكن العيب الرئيسي هو أن هذه الآلية لا تفهم ترتيب الكلمات بشكل جوهري؛ فهي “ترى” جميع الكلمات (الرموز) في وقت واحد وتتعامل معها بالترتيب المقدم لها.

لتعويض هذا القصور، طوّر الباحثون تقنيات لتشفير معلومات الموقع، وأبرزها تشفير الموقع الدوراني (RoPE). لكن هذه الطريقة تعتمد فقط على المسافة النسبية الثابتة بين الكلمات، بغض النظر عن محتواها السياقي.这意味着 الكلمات التي تفصلها أربعة مواضع ستتلقى نفس الدوران الرياضي الثابت، سواء كانت ترتبط بعلاقة سببية أم لا.

الحل الثوري: تقنية “انتباه المسار” (PaTH Attention)
قاد باحثون من معهد ماساتشوستس للتكنولوجيا (MIT) ومعمل MIT-IBM واتسون للذكاء الاصطناعي تطوير تقنية تشفير جديدة أطلقوا عليها اسم “انتباه المسار”.

بدلاً من تعيين دوران ثابت لكل كلمة بناءً على المسافة النسبية، كما في RoPE، تجعل PaTH Attention المعلومات الوضعية متكيفة وواعية بالسياق. تعالج التقنية الكلمات التي بين أي كلمتين على أنها “مسار” مكون من تحولات صغيرة تعتمد على البيانات نفسها.

كيف تعمل الآلية الجديدة؟
تستخدم كل تحولة صغيرة عملية رياضية تسمى “انعكاس هاوسهولدر” (Householder reflection)، تعمل كمرآة دقيقة تتكيف مع محتوى كل كلمة تمر بها. كل خطوة في التسلسل يمكنها التأثير على كيفية تفسير النموذج للمعلومات لاحقاً. التأثير التراكمي يسمح للنظام بنمذجة كيفية تغير المعنى على طول المسار بين الكلمات، وليس فقط مدى بُعدها عن بعضها. هذا يمنح النموذج إحساساً بـ “الذاكرة الوضعية”.

لتوضيح الفكرة: الأمر يشبه السير في طريق مع تجربة البيئة المحيطة وكيف تؤثر عليك، بدلاً من مجرد عد الخطوات.

كفاءة الأداء والنتائج التجريبية المذهلة
طور الفريق أيضاً خوارزمية موفرة لطاقة الحوسبة لاحتساب درجات الانتباه بين أزواج الكلمات بكفاءة، مما يجعل التحول الرياضي التراكمي لـ PaTH Attention متوافقاً مع المعالجة السريعة على وحدات معالجة الرسومات (GPUs).

عند اختبار PaTH Attention على مهام استدلالية وحقيقية، بما في ذلك تدريب نماذج لغوية كاملة متوسطة الحجم، أظهرت النتائج تفوقاً واضحاً:

تحسين الفهم (Perplexity): سجلت النماذج المدربة باستخدام PaTH Attention تحسناً في دقة النمذجة اللغوية.

تفوق في الاختبارات الاستدلالية: تفوقت على الطرق الأخرى في معايير الاستدلال التي لم يتم تدريبها عليها خصيصاً.

ثبات مع النصوص الطويلة: أظهرت كفاءة في استرجاع المعلومات والاستدلال مع مدخلات طويلة تصل إلى عشرات الآلاف من الرموز.

الوعي بالسياق: أثبتت قدرة ثابتة على فهم السياق.

المستقبل: محاكاة أكبر للعقل البشري
ذهب الباحثون إلى أبعد من ذلك، فدمجوا PaTH Attention مع تقنية أخرى تسمى “محول النسيان” (FoX)، التي تسمح للنماذج “بنسيان” المعلومات القديمة أو الأقل صلة بشكل انتقائي، محاكيةً بذلك العمليات المعرفية البشرية. النظام الهجين الناتج PaTH-FoX حقق نتائج قوية عبر مجموعة واسعة من المهام.

لبنة جديدة نحو ذكاء أكثر عمقاً
يُمثل هذا البحث جزءاً من الجهود الأوسع لتطوير “اللبنات الأساسية ذات الأغراض العامة” القادرة على تعزيز القدرات التعبيرية للمعماريات الحاسوبية مع الحفاظ على كفاءتها وقابلية توسعها. تقنية PaTH Attention لا تحل مشكلة تتبع الحالة في النصوص الطويلة فحسب، بل تفتح الباب أمام تطبيقات أوسع في مجالات منظمة أخرى مثل تحليل تسلسلات البروتين والحمض النووي في علم الأحياء.

هذا التقدم يؤكد أن طريق الذكاء الاصطناعي العام لا يمر فقط عبر تكبير النماذج وزيادة بيانات التدريب، بل أيضاً من خلال إعادة اختراع الآليات الأساسية التي تعمل بها، لجعلها أكثر ذكاءً وكفاءة في فهم عالمنا المعقد.

هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي