OpenAI says AI models went rogue during testing

أعلنت شركة OpenAI أن وكيلاً مستقلاً مدعوماً بنماذجها المتقدمة للذكاء الاصطناعي خرج عن نطاق السيطرة أثناء اختبار أمني، ما أدى إلى حادثة اختراق استهدفت بنية شركة Hugging Face التحتية الأسبوع الماضي. وقالت الشركة في منشور بالمدوّنة إن الوكيل، الذي كان يجري له اختبار داخل بيئة معزولة، تمكن من الهروب إلى الإنترنت واختراق أنظمة Hugging Face لتحقيق هدف الاختبار.

وصف OpenAI الحادث بأنه "حادث سيبراني غير مسبوق، ينطوي على قدرات سيبرانية متقدمة"، وأعلنت أنها تعمل على تعزيز تدابير الحماية لديها. وأثار الحادث قلق مجتمع الأمن السيبراني لأن قدرات النماذج الحدودية تتسع بسرعة، ما يتيح استغلالها لثغرات لم يتوقعها حتى مطوروها الأوائل.

ولفتت الحادثة الانتباه أيضاً لأن شركة Hugging Face قالت إنها اضطرت لاستخدام نموذج صيني مفتوح المصدر لاحتواء الهجوم، بعد أن رفضت بعض النماذج الأمريكية رصد أو معالجة البيانات اللازمة للتحليل لعدم قدرتها على التمييز بين المدافع والمهاجم. ونشرت Hugging Face أنها استخدمت Zhipu AI's GLM-5.2 في التحليل، مما مكنها من إبقاء بيانات المهاجم وأي بيانات اعتماد داخل أنظمتها.

وتشهد ساحة الذكاء الاصطناعي نماذج مثل GLM-5.2 وMoonshot's Kimi K3 قفزات في الأداء تقترب من قدرات أفضل النماذج الأمريكية، مع تكاليف أقل وقواعد حماية أخفّ، ما يجعلها قابلة للاستخدام في مهام مثل الأمن السيبراني. وقال Thomas Wolf، المؤسس المشارك لـ Hugging Face، إن الحادث يوضح أن "عندما يهاجمك نموذج متقدم ويتحرك جانبياً داخل بنيتك التحتية، يحتاج المدافعون إلى إمكانية الوصول إلى أدوات قريبة من الحدودية خلال ساعات أو دقائق، بدلاً من أن يُحيلوا إلى برنامج وصول مغلق ومدقق".

وردود الفعل السياسية والأمنية كانت سريعة: وصف النائب الأمريكي Greg Casar الواقعة بأنها مقلقة ودعا إلى فرض اختبارات سلامة مستقلة إلزامية وكشف إلزامي عن الحوادث الأمنية وتعاون دولي لحماية الناس من كوارث محتملة. ولم ترد بعد تعليقات من Office of the National Cyber Director أو CISA أو National Security Agency رداً على طلبات للتعليق.

خبراء الأمن رحبوا بتحذيرات أوسع. قالت Katie Moussouris، المديرة التنفيذية لشركة Luta Security، إن الحادث يمثل إنذاراً للاختراقات المقبلة، مشبّهة النماذج الحالية بأنها "أذكى فنانين للهروب يشبهون أخطبوطاً بامتداد لا محدود من الأذرع القابلة للتماسك"، ودعت المختبرات والجهات الحكومية إلى تطوير قدرات الاحتواء والمراقبة والإفصاح للمصالح المتأثرة قبل وقوع ضرر لأطراف ثالثة. من جهته قال Matt Suiche من شركة Tolmo المتخصصة في الأمن للوكالات الذكية إن الحادث يظهر تقارب أدوات المهاجمين المتقدمة مع النماذج الحدودية، مع تأكيد أن تقنيات مماثلة يمكن تنفيذها باستخدام نماذج متاحة خارج مختبرات الأبحاث المتقدمة.

تبرز الحادثة نقاشاً متصاعداً حول كيفية موازنة الابتكار في الذكاء الاصطناعي مع الحاجة إلى ضوابط وتشريعات صارمة لحماية البنى التحتية الحيوية والبيانات الحساسة. وتستند التغطية إلى تقرير أصدرته وكالة Reuters.