باحثون في معهد ماساتشوستس للتكنولوجيا يطورون طريقة ثورية لاختبار دقة أنظمة تصنيف النصوص بالذكاء الاصطناعي
كتب -محمد شاهين
كشف فريق بحثي من معهد ماساتشوستس للتكنولوجيا (MIT) عن منهجية مبتكرة تتيح قياس دقة أنظمة تصنيف النصوص المدعومة بالذكاء الاصطناعي، بل وتقدم حلاً لتحسين أدائها، في تطور من شأنه تعزيز موثوقية التطبيقات الأكثر انتشاراً مثل المرشحات الآلية والمحتوى ومحاورات الدردشة الآلية.
المشكلة: كيف نختبر مصنفات النصوص؟
مع الانتشار الهائل للتطبيقات المعتمدة على الذكاء الاصطناعي، أصبحت أنظمة تصنيف النصوص (Text Classifiers) تلعب دوراً محورياً في حياتنا اليومية. فهي التي تقرر:
هل مراجعة فيلم معينة إيجابية أم سلبية؟
هل الخبر الصحفي يتعلق بالاقتصاد أم التكنولوجيا؟
هل محادثة دردشة آلية تقدم نصائح مالية غير مصرح بها؟
هل موقع طبي على الإنترنت يقدم معلومات خاطئة؟
ولطالما كان السؤال الملح: إلى أي درجة يمكننا الوثوق بدقة هذه التصنيفات الآلية؟
الحل المبتكر: هجمات الخصوم وكلمات التغيير
يقود الفريق البحثي في معمل نظم المعلومات وقرارات (LIDS) تطوير برنامج جديد يعتمد على فكرة “الأمثلة التركيبية العدائية” (Adversarial Examples). الطريقة التقليدية لاختبار هذه الأنظمة كانت تقوم على إنشاء جمل جديدة تشبه الجمل المصنفة مسبقاً ولكن مع تغيير طفيف يحافظ على المعنى، لمعرفة ما إذا كان النظام سينخدع ويغير تصنيفه.
لكن الفريق طور أسلوباً أكثر ذكاءً. باستخدام نماذج اللغة الكبيرة (LLMs)، اكتشف الباحثون أن تغيير كلمة واحدة محددة في جملة ما يمكن أن يقلب تصنيفها بالكامل. والأكثر إثارة أن التحليل كشف أن 0.1% فقط من الكلمات (أي حوالي 30 كلمة من أصل 30,000) هي المسؤولة عن nearly نصف حالات التغيير هذه في بعض التطبيقات.
التطبيق العملي: حزمة برمجية مفتوحة المصدر
نتج عن هذا البحث حزمة برمجية متاحة للجميع مجاناً تتكون من مكونين رئيسيين:
SP-Attack: أداة متطورة لتوليد جمل اختبارية “عدائية” لقياس مدى متانة أي نظام تصنيف نصوص وكشف نقاط ضعفه.
SP-Defense: أداة دفاعية تعيد تدريب نموذج الذكاء الاصطناعي باستخدام الجمل التي تم كشفها، مما يعزز مناعته ودقته ضد محاولات الخداع المستقبلية.
تأثير ملموس وأهمية قصوى
ليست هذه مجرد نظرية أكاديمية. في الاختبارات، نجحت هذه الطريقة في خفض معدل نجاح هجمات الخداع من 66% إلى 33.7% في بعض التطبيقات، أي تقريباً إلى النصف. حتى التحسينات الطفيفة التي تبلغ 2% تعتبر بالغة الأهمية نظراً للمليارات من التفاعلات اليومية التي تعتمد على هذه الأنظمة، حيث يمكن أن يؤثر خطأ بسيط على ملايين المعاملات والمستخدمين.
يعد هذا التطور حاسماً لحماية التطبيقات في مجالات حساسة مثل الخدمات المالية والصحية، حيث يمكن أن يؤدي الخطأ في التصنيف إلى تسريب معلومات حساسة أو تقديم نصائح خاطئة ذات عواقب وخيمة.
هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي.
