تسعى مجالس إدارة الشركات إلى تحقيق مكاسب إنتاجية من نماذج اللغة الكبيرة والمساعدين الذكيين. ومع ذلك، فإن الميزات التي تجعل الذكاء الاصطناعي مفيدًا، مثل تصفح المواقع الحية وتذكر سياق المستخدم، توسع أيضًا سطح الهجوم السيبراني.
البحوث تكشف عن ثغرات جديدة
نشرت شركة Tenable مجموعة من الثغرات والهجمات تحت عنوان “HackedGPT”، موضحة كيف يمكن أن تمكّن تقنيات مثل حقن التعليمات غير المباشرة من استخراج البيانات واستمرار البرمجيات الضارة. بينما تم معالجة بعض القضايا، إلا أن هناك تقارير تفيد بأن أخرى لا تزال قابلة للاستغلال.
ضرورة الحوكمة والرقابة
لإزالة المخاطر الكامنة في عمليات المساعدين الذكيين، يتطلب الأمر حوكمة صارمة ووسائل تشغيل تعامله كما لو كان جهازًا أو مستخدمًا، مما يعني أن التكنولوجيا يجب أن تخضع لتدقيق ورقابة صارمة.
أنماط الفشل المعروفة
توضح أبحاث Tenable أن الفشل في معالجة المساعدين الذكيين يمكن أن يؤدي إلى مشكلات أمنية. على سبيل المثال، يمكن أن يؤدي حقن التعليمات غير المباشرة إلى الوصول إلى بيانات لم يكن المستخدم ينوي الوصول إليها. كما أن استخدام استعلامات أمامية يمكن أن يزرع تعليمات ضارة، مما يؤدي إلى عواقب شديدة على الأعمال.
كيفية إدارة المساعدين الذكيين في الممارسة العملية
إنشاء سجل لنظام الذكاء الاصطناعي: يجب جرد كل نموذج أو مساعد قيد الاستخدام وتسجيل مالكه، وغرضه، والقدرات المتاحة.
فصل الهويات: يجب أن تكون للمساعدين هويات منفصلة عن حسابات المستخدمين، مع تطبيق سياسات الثقة الصفرية.
تقييد الميزات الخطرة: يجب جعل التصفح والإجراءات المستقلة خيارًا اختياريًا لكل حالة استخدام.
المراقبة كما هو الحال مع أي تطبيق متصل بالإنترنت: يجب توثيق إجراءات المساعدين وتنبيه الأنشطة غير المعتادة.
تطوير المهارات البشرية: يجب تدريب الفرق على التعرف على أعراض الحقن وتعزيز ثقافة الإبلاغ عن السلوكيات الغريبة.
اعتبارات إضافية
تكاليف مخفية: يمكن أن تستهلك المساعدات الذكية موارد الحوسبة والتخزين بطرق قد لا تكون مرصودة.
فجوات في الحوكمة: يجب أن تتماشى ضوابط الحوكمة مع المخاطر المرتبطة بالذكاء الاصطناعي.
فجوة المهارات: تحتاج الفرق إلى دمج ممارسات الذكاء الاصطناعي مع الأمن السيبراني.
الخلاصة
الدرس المستفاد هو أن المساعدين الذكيين يجب أن يُعاملوا كتطبيقات قوية متصلة بالشبكة، مع دورة حياة خاصة بهم وميول للهجمات. من خلال وضع السجلات، وفصل الهويات، وتقييد الميزات الخطرة، وتوثيق كل شيء ذي مغزى، يمكن ضمان أن يظل الذكاء الاصطناعي أداة فعالة دون أن يصبح مصدرًا للاختراقات.
هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي.
