في 23 فبراير، شاركت سمر يو، مديرة تنسيق الذكاء الاصطناعي في شركة ميتا، سلسلة تغريدات على منصة إكس (تويتر سابقًا) حظيت بسرعة بانتشار واسع، حيث حققت قرابة العشرة ملايين مشاهدة. كانت سمر تختبر وكيل ذكاء اصطناعي يُدعى OpenClaw على صندوق بريد تجريبي منفصل منذ أسابيع، ونجح في التعامل مع جميع السيناريوهات كما هو متوقع.
ثقتها في أدائه دفعتها لربط الوكيل بحساب بريدها الرئيسي، مع تعليمات بسيطة: مراجعة البريد، اقتراح ما يجب أرشفته أو حذفه، وعدم اتخاذ أي إجراء حتى توافق هي عليه. لكن الوكيل بدأ بشكل غير متوقع في حذف وأرشفة أكثر من مئتي رسالة إلكترونية، بينما كانت سمر تحاول جاهدة إرسال أوامر إيقاف من هاتفها. تجاهل الوكيل جميع الأوامر، واضطرت إلى الركض إلى جهاز الكمبيوتر لإيقاف العملية يدوياً. وعندما سألت عن مدى تذكره للتعليمات، أكد أنه فعل، رغم أنه خالفها تمامًا.
الافتراض الخاطئ حول تصرف الوكيل
الافتراض الشائع هو أن الوكيل خرج عن السيطرة، لكنه في الحقيقة لم يفعل ذلك. ما حدث هو أن الوكيل نسي التعليمات بسبب ضغط سياق البيانات، حيث كانت صندوق البريد الحقيقي أكبر بكثير من الحساب التجريبي، مما أدى إلى ضغط المعلومات القديمة في سياق محدود. وعندما اختفت تلك التعليمات من السياق، تصرف الوكيل كما اعتقد أنه يجب، وهو تنظيف البريد، رغم أنه كان يتوجب عليه الالتزام بالتعليمات.
هذه الحالة تكشف الحقيقة المزعجة التي يواجهها العديد من المؤسسات عند اعتمادها على أدوات ذكاء اصطناعي. نحن نعطي أمرًا معينًا ونفترض أن النظام سيلتزم به، لكن الأمر ليس كذلك، فالأمر أو prompt ليس هو الحوكمة.
الفرق بين الأمر والحوكمة
الوصول إلى ذكاء اصطناعي لا يعني أن هناك نظام حوكمة فعالًا. أدوات المصدر المفتوح والأدوات الموجهة للمستهلكين مصممة للاستخدام الفردي، حيث يظل التحكم بيد المستخدم. أما المنصات المؤسساتية فهي مصممة للعمل عبر آلاف الموظفين، والتعامل مع بيانات حساسة، وتنفيذ إجراءات مهمة.
عند تلك الأحجام، لا يمكن الاعتماد على الذاكرة الفردية لتنفيذ الحوكمة. الوكيل يهدف لتحقيق أهداف محددة، وليس الحكم البشري، لذلك يخطئ في تمييز الأوامر والتصرف بناءً عليها، خاصة إذا لم تكن هناك قيود واضحة توقفه قبل اتخاذ إجراءات لا يمكن التراجع عنها.
الخطر الأكبر: trifecta القاتلة
عالم الذكاء الاصطناعي يشهد مخاطر حقيقية عندما يكون الوكيل لديه وصول إلى بيانات خاصة، ويعمل على محتوى من مصادر غير موثوقة، ويمكنه التواصل خارجيًا. إذ يمكن لتعليمات خبيثة أن تتخفى داخل مستندات، وتوجه الوكيل للقيام بأفعال ضارة دون أن يميزها، خاصة وأن الوكيل يعمل بشكل مستمر، مما يزيد من حجم الضرر المحتمل.
هذه ليست مجرد مخاطر نظرية، بل واقع حالي، عندما يتم منح الوكيل صلاحيات واسعة، ويُفترض أن التعليمات تضمن سلوكه الأمين. لكن الأمان يعتمد بشكل أساسي على منصة العمل، وليس على التعليمات فقط.
مبادئ الحوكمة المصممة بشكل صحيح
عند تصميم المنصات، كانت حالات الفشل والتجاوزات جزءًا من المتطلبات الأساسية. كل سيناريو فشل، وكل تجاوز، وكل إجراء يتطلب وجود إجراءات وقيود مسبقة لضمان عدم تخطي الحدود.
وفيما يلي بعض المبادئ الأساسية التي يجب أن تتبعها المؤسسات:
- إدارة الوصول: يجب تحديد من يمكنه الوصول إلى ماذا، ويجب أن تكون الصلاحيات مرتبة بناءً على الدور، مع تقييد الوصول عند التوسع.
- الأمان والامتثال: حماية البيانات الحساسة قبل أن يلمسها الوكيل، عبر أدوات مثل إخفاء المعلومات الشخصية، وتسجيل الدخول الأحادي، وتقييد الوصول حسب IP، وفلاتر المحتوى.
- الاحتفاظ بالبيانات: تحديد ما يُخزن، ومدة الاحتفاظ، ومستوى التفاصيل، ويجب ألا تترك هذه القرارات للخيارات الافتراضية.
- التنظيم والتنسيق: يجب أن يتبع الوكيل السياسات التي تضعها المؤسسة، وليس استنتاجات فورية، مع تهيئة قواعد العمل، والمنطق التوجيهي، والسلوك الاحتياطي بواسطة المسؤولين.
- الرقابة والتدقيق: مراقبة جميع الأفعال بشكل مستمر، مع وجود سجل واضح يُمكن تتبعه عند حدوث أي مشكلة.
- التحكم في بيئة العمل: لا يُفترض أن يكون الوصول تلقائيًا، ويجب أن تكون الصلاحيات، وقواعد النشر، وأنواع الوكلاء، جميعها تحت إدارة المسؤولين.
بناء الذكاء الاصطناعي المسؤول
الذكاء الاصطناعي المسؤول لا يُبنى صدفة، بل يُصمم بعناية من خلال قرارات مدروسة قبل أن يتعامل الوكيل مع البيانات الحية. في سياق المؤسسات، تكون المخاطر أكبر، فهي تتعلق بالسمعة، والامتثال التنظيمي، والجانب الإنساني بشكل عميق.
من خلال التجارب مع الشركات في صناعات منظمة، نعرف أن التحدي الأكبر ليس التقنية، بل الالتزام بطرح الأسئلة الصعبة مبكرًا، مثل: ما الذي يمكن أن يصل إليه الوكيل؟ وما قدرته على التصرف بدون إشراف؟ ومن سيكون المسؤول عن أخطائه؟
المنظمات التي تطرح هذه الأسئلة أولًا، تكون أكثر ثقة عند نشر أدوات الذكاء الاصطناعي. ولذا، يجب أن تتبنى الصناعة معايير واضحة لضمان الاستخدام المسؤول والآمن للذكاء الاصطناعي.