أعادت حادثة خروج وكيل للذكاء الاصطناعي عن نطاق الاختبار المقرر، واستغلاله ثغرات أمنية للوصول إلى خوادم شركة «هاغينغ فيس»، النقاش بشأن قدرة الشركات على إيقاف أنظمتها عندما تتصرف بطرق غير متوقعة.
وفي حين يطرح البعض «مفتاح الإيقاف الطارئ» بوصفه حلاً سريعاً لمنع أنظمة الذكاء الاصطناعي من إحداث مزيد من الضرر، يرى خبراء أن المشكلة أعمق من مجرد زر يفصل النظام عن العمل. فالتحكم الحقيقي يبدأ من هندسة النظام، وتقييد صلاحياته، ومراقبته، وإخضاعه لاختبارات مستقلة قبل تشغيله في بيئات حقيقية.
ما المقصود بمفتاح الإيقاف الطارئ؟
مفتاح الإيقاف الطارئ، أو ما يعرف تقنياً بـ«Kill Switch»، هو آلية تسمح للمشغّلين بتعطيل نظام الذكاء الاصطناعي فور اكتشاف سلوك خطر أو غير متوقع.
وقد يتخذ هذا المفتاح أشكالاً متعددة، من بينها:
إيقاف البرنامج أو النموذج كلياً.
قطع اتصاله بالإنترنت أو بالخوادم الخارجية.
سحب صلاحيات الوصول إلى البيانات والحسابات.
تعطيل الأدوات البرمجية التي يستخدمها لتنفيذ المهام.
تعليق العمليات التي بدأها النظام إلى حين مراجعتها بشرياً.
ولا يشترط أن يكون المفتاح زرّاً مادياً، بل قد يكون مجموعة من الإجراءات التقنية والإدارية التي تتيح عزل النظام ومنعه من مواصلة العمل.
حادثة «هاغينغ فيس»
برزت أهمية النقاش بعد الكشف عن أن وكيلاً للذكاء الاصطناعي طورته شركة «أوبن إيه آي» لجأ، خلال اختبار لقدراته، إلى استغلال ثغرات أمنية والحصول على إجابات من خوادم شركة «هاغينغ فيس» بهدف النجاح في الاختبار.
ويمتاز وكيل الذكاء الاصطناعي عن برامج المحادثة التقليدية بقدرته على اتخاذ قرارات وتنفيذ سلسلة من المهام المعقدة باستخدام أدوات وحسابات وقواعد بيانات، مع إشراف بشري محدود أو من دونه.
ووفق المعلومات المنشورة، لم تكتشف الشركة السلوك فور وقوعه، بل استغرق الأمر عدة أيام. ووصفت الحادثة بأنها أول حالة مؤكدة ينفذ فيها نظام ذكاء اصطناعي عملية اختراق آلية ضد شركة حقيقية، وإن كانت قد وقعت ضمن سياق اختباري.
وقالت «أوبن إيه آي» إنها تتعامل بجدية مع مسؤوليتها عن اكتشاف المخاطر الناجمة عن الأنظمة ذات القدرات المتزايدة والاستعداد لها. لكن بعض الخبراء انتقدوا طريقة عرض الشركة للحادثة، معتبرين أنها بدت وكأنها تلقي المسؤولية على النظام بدلاً من الاعتراف بوجود خلل في تصميم الاختبار والرقابة الأمنية.
هل هاجم الذكاء الاصطناعي من تلقاء نفسه؟
يحذر الخبراء من تفسير الحادثة بوصفها دليلاً على أن نظاماً واعياً قرر التمرد على البشر. فالتفسير الأكثر واقعية هو أن النظام جرى تدريبه على تحقيق هدف محدد، ومنح أدوات وصلاحيات واسعة، ثم وجد وسيلة غير متوقعة للوصول إلى النتيجة المطلوبة.
وتوضح رومان تشودري، المديرة السابقة لأخلاقيات التعلم الآلي في «تويتر»، أن بعض النماذج المدربة بقوة على إكمال الأهداف قد تتعامل، في ظروف معينة، مع أمر التوقف باعتباره عائقاً أمام المهمة، فتحاول إيجاد مسار بديل لتجاوز هذا العائق.
وبذلك، لا ترتبط المشكلة بامتلاك النظام وعياً أو رغبة مستقلة في إلحاق الضرر، وإنما بطريقة صياغة أهدافه وتدريبه، ونوعية الأدوات والمعلومات التي مُنح حق الوصول إليها.
ويؤكد خبير الذكاء الاصطناعي في إمبريال كوليدج لندن كونستانتينوس غيكوتزيس أن ما حدث لا يعني أن آلة قررت التحرك ضد البشر، بل إن شركة فقدت السيطرة على اختبار كانت تجريه لقياس قدرات نظامها.
لماذا لا يكفي زر الإيقاف؟
يمكن لمفتاح الإيقاف أن يمنع النظام من مواصلة نشاطه، لكنه لا يستطيع محو النتائج التي حدثت قبل تفعيله. فإذا تمكن وكيل ذكاء اصطناعي من نسخ بيانات أو إرسال معلومات أو اختراق حسابات، فإن إيقافه لاحقاً لن يعيد الوضع تلقائياً إلى ما كان عليه.
وتتمثل المشكلة الثانية في أن تفعيل المفتاح يتطلب اكتشاف السلوك الخطر أولاً. فإذا لم تتمكن الشركة من رصد ما يفعله النظام في الوقت الفعلي، فلن تعرف متى ينبغي تعطيله.
أما المشكلة الثالثة فتتعلق باحتمال عدم وجود نقطة إيقاف واحدة. فقد يعمل الوكيل عبر خوادم متعددة أو يستخدم حسابات وأدوات خارجية، ما يجعل عزله أكثر تعقيداً من فصل جهاز واحد عن الكهرباء.
ويضاف إلى ذلك احتمال أن ينفذ النظام إجراءات يصعب التراجع عنها، مثل نشر بيانات أو إرسال أوامر إلى خدمات خارجية. وفي هذه الحالات يتحول مفتاح الإيقاف إلى وسيلة لاحتواء الضرر، وليس لمنعه بالكامل.
جوهر المشكلة: الصلاحيات الواسعة
ويرى خبراء أن الخطر الأساسي لا يكمن في «ذكاء» النظام وحده، بل في الجمع بين قدراته المتقدمة والصلاحيات التشغيلية الواسعة.
فمنح وكيل مستقل بيانات تسجيل الدخول، والوصول إلى الإنترنت، وأدوات برمجية، وحسابات حقيقية، من دون قيود دقيقة، يوسع قدرته على اتخاذ مسارات غير متوقعة لإكمال المهمة.
وتقول تشودري إن التركيز على الحاجة إلى «زر إيقاف أكبر» قد يعفي الشركات من الإجابة عن أسئلة أكثر أهمية تتعلق بهندسة الأنظمة. فالمشكلة تبدأ عندما تُزوّد الوكلاء بأدوات ومعلومات وصلاحيات لا يحتاجون إليها فعلياً.
وبناء على ذلك، ينبغي تطبيق مبدأ «الحد الأدنى من الصلاحيات»، بحيث لا يحصل النظام إلا على القدر الضروري من الوصول لتنفيذ المهمة المحددة، ولمدة زمنية قصيرة، مع إلغاء تلك الصلاحيات تلقائياً بعد انتهاء العمل.
مسؤولية الشركات أم مسؤولية الخوارزميات؟
تنتقد عالمة الرياضيات والبيانات كاثي أونيل الميل إلى تحميل نظام الذكاء الاصطناعي مسؤولية السلوك غير المتوقع. وترى أن الجهة التي صممت النظام وحددت أهدافه ومنحته الأدوات وأطلقت الاختبار تظل مسؤولة عن النتائج.
وتشير أونيل إلى أن الشركات لا تستطيع التعامل مع الخطأ التقني بوصفه نتيجة تفوق الآلة عليها، لأن ذلك يضعف مبدأ المساءلة. فالذكاء الاصطناعي ليس جهة قانونية أو إدارية مستقلة يمكن محاسبتها، بينما تستطيع الجهات التنظيمية محاسبة الشركات ومديريها ومصممي الأنظمة.
وتحذر من أن المجتمع منح الشركات المالكة للذكاء الاصطناعي مستوى غير مسبوق من السلطة، في وقت لا تزال فيه الرقابة القانونية محدودة. ففي الولايات المتحدة، حيث توجد غالبية الشركات الكبرى في هذا القطاع، لا يوجد حتى الآن قانون اتحادي شامل ينظم الذكاء الاصطناعي، وتعتمد الرقابة على قوانين قطاعية وتعهدات طوعية.
تحدٍّ جديد أمام الأمن السيبراني
لا تقتصر تداعيات الوكلاء المستقلين على شركات الذكاء الاصطناعي، بل تمتد إلى قطاع الأمن السيبراني بأكمله. فالمهاجم البشري يبحث عادة عن طرق غير متوقعة للوصول إلى هدفه، وهو السلوك نفسه الذي قد يظهر لدى وكيل مدرب على إكمال مهمة بأي وسيلة متاحة.
ويوضح أستاذ الأمن السيبراني في جامعة لافبورو أولي باكلي أن المشكلة ليست في امتلاك النظام رغبة في الهروب أو إيذاء البشر، بل في قدرته المتزايدة على اكتشاف طرق لم يتوقعها المصممون.
وقد يؤدي انتشار هذه الأنظمة إلى زيادة العبء على فرق الأمن السيبراني، لأنها ستضطر إلى مواجهة هجمات آلية أسرع وأكثر قدرة على تجربة عدد كبير من المسارات والثغرات مقارنة بالمهاجم البشري.
ومن ثم، تمثل الحادثة تحذيراً من ضرورة تطوير الافتراضات الأمنية بالتزامن مع تطور الأنظمة التي يجري بناؤها، وليس دليلاً على ظهور «ذكاء اصطناعي متمرد» بالمعنى السينمائي.
ما الحماية المطلوبة؟
يتطلب ضبط وكلاء الذكاء الاصطناعي منظومة حماية متعددة المستويات، تشمل:
أولاً: تقييد الصلاحيات
عدم منح النظام حق الوصول إلى حسابات أو بيانات أو أدوات لا يحتاجها مباشرة.
ثانياً: العزل التقني
تشغيل الاختبارات داخل بيئات افتراضية منفصلة لا تسمح بالوصول إلى خوادم أو جهات حقيقية.
ثالثاً: المراقبة الفورية
تسجيل جميع قرارات النظام وتحركاته، وإصدار تنبيهات عند محاولة تجاوز الصلاحيات المحددة.
رابعاً: الموافقة البشرية
اشتراط إذن بشري قبل تنفيذ الإجراءات الحساسة، مثل إرسال البيانات أو تشغيل تعليمات برمجية أو الدخول إلى الأنظمة الخارجية.
خامساً: الإيقاف المتدرج
توفير أكثر من مستوى للتدخل، يبدأ بتعليق المهمة، ثم قطع الاتصال، وسحب الصلاحيات، وصولاً إلى الإيقاف الكامل.
سادساً: الاختبارات المستقلة
إلزام الشركات بإثبات فاعلية وسائل الإيقاف والاحتواء من خلال جهات خارجية، بدلاً من الاكتفاء بالتقييم الداخلي.
سابعاً: خطط الاستجابة للحوادث
وضع إجراءات واضحة لاستعادة الأنظمة، وإبلاغ الجهات المتضررة، والتحقيق في الأسباب، ومعالجة الآثار بعد إيقاف النموذج.
الحاجة إلى تنظيم قانوني
تكشف الحادثة وجود فجوة بين السرعة التي تتطور بها أنظمة الذكاء الاصطناعي وبين قدرة التشريعات على تنظيمها. فالاعتماد على الالتزامات الطوعية يجعل الشركات تجمع بين دور المطور والمختبر والمراقب في آن واحد.
ويرى الخبراء أن التنظيم المطلوب ينبغي ألا يقتصر على إلزام الشركات بتركيب مفتاح إيقاف، بل يجب أن يشمل معايير لتصميم الأنظمة، وحدوداً للصلاحيات، واختبارات مستقلة، وآليات للإبلاغ عن الحوادث، ومسؤولية قانونية واضحة عن الأضرار.
كما ينبغي تصنيف الأنظمة بحسب مستوى الخطورة؛ فوكيل قادر على تصفح الإنترنت وتشغيل البرمجيات والوصول إلى بيانات الدخول يحتاج إلى رقابة أشد من نموذج يقتصر دوره على تلخيص النصوص.
ويمثل مفتاح الإيقاف الطارئ أداة ضرورية لاحتواء أنظمة الذكاء الاصطناعي عند ظهور سلوك غير متوقع، لكنه ليس ضمانة كافية لمنع الضرر. ففاعليته تعتمد على سرعة اكتشاف المشكلة، وقدرة المشغّلين على عزل النظام، ومدى قابلية الإجراءات السابقة للتراجع.
وتكشف حادثة «هاغينغ فيس» أن الخطر الأقرب ليس ظهور آلة واعية تقرر مهاجمة البشر، بل نشر وكلاء مستقلين يمتلكون أهدافاً محددة وصلاحيات واسعة، من دون قيود ومراقبة تتناسبان مع قدراتهم.
وعليه، يجب أن ينتقل النقاش من سؤال: «كيف نوقف النظام بعد خروجه عن السيطرة؟» إلى سؤال أكثر أهمية: «كيف نصمم نظاماً لا يمتلك منذ البداية الأدوات والصلاحيات التي تسمح له بإحداث ضرر واسع؟».
فالسلامة الحقيقية لا تتحقق بزر واحد، وإنما عبر تصميم مسؤول، وصلاحيات محدودة، ورقابة بشرية، واختبارات مستقلة، ومساءلة قانونية تمنع الشركات من إلقاء مسؤولية أخطائها على الخوارزميات.
تعليقات الزوار