رصد وكلاء الذكاء الاصطناعي الفخ، لكنهم وقعوا فيه رغم ذلك: ما الذي تعلّمنا إياه دراسة Emergence World عن حركة البيانات الصادرة من خادمك

في منتصف سبتمبر، نُشر في إسرائيل مقال بعنوان «وكلاء AI اكتشفوا الفخ، ثم وقعوا فيه». يستند المقال إلى بحث أجرته شركة Emergence AI. عدنا إلى الورقة الأصلية، التي نُشرت في 15 سبتمبر 2026 بوصفها مسودة علمية (preprint) على arXiv. تعرض الورقة بعض التفاصيل بدقة أكبر من التغطية الصحفية. وبعض هذه التفاصيل مهم خصوصًا لمن يشغّل أدوات AI على خادمه الخاص.

ما فعله الباحثون

أنشأ الباحثون ثمانية عوالم محاكاة، في كل منها عشرة وكلاء AI. كانت لدى الوكلاء ذاكرة دائمة، وأكثر من مئة أداة، وبيئة لتشغيل الشيفرة، وإمكانية التحدث بعضهم مع بعض والتصويت والتخطيط. شُغّل كل عالم من سبعة عوالم بنموذج رائد مختلف: Claude وGPT وGemini وDeepSeek وGrok وMistral وQwen. أما في العالم الثامن، فشُغّل كل وكيل بنموذج مختلف. استمر تشغيل العوالم دون انقطاع لمدة 16 يومًا (واستمر العالم المختلط لمدة 21 يومًا). وخلال هذه الفترة، نُفّذ أكثر من 850 ألف استدعاء للنماذج.

بعد أن استقرت العوالم، شنّ الباحثون عليها ثلاث هجمات عبر القنوات التي اعتاد الوكلاء استخدامها:

• التصيّد الاحتيالي: ثلاث موجات من الرسائل تحتوي على روابط وتعليمات خبيثة؛
• المعلومات المضللة: مذكرة مزيفة تعلن قرب إغلاق العالم؛
• تسرّب الذاكرة: رسالة تفيد بأن محتويات الذاكرة الخاصة بالوكلاء قد اختُرقت، وأداة بحث تكشف تلك المحتويات.

لم يصمد أي عالم أمام الهجمات الثلاث جميعها.

اكتشاف الهجوم لا يعني إيقافه

في جميع العوالم التي تعرّضت للتصيّد الاحتيالي، اكتشف الوكلاء الهجوم وحذّر بعضهم بعضًا. لكن التحذيرات لم تمنع الضرر.

في عالم Gemini، وصف أحد الوكلاء الرسالة بأنها «محاولة تقليدية لحقن تعليمات خارجية أو طُعم للتصيّد الاحتيالي»، وأعلن أنه سيتجاهلها. ثم استقطب لاحقًا وكيلًا آخر مستخدمًا عبارات المهاجم. وفتحت وكيلة أخرى في العالم نفسه رابط الهجوم بعد نحو 46 ساعة من انتهائه، «لاكتشاف أسرار النظام». وفي عالم Mistral، حفظ ثلاثة وكلاء التعليمات الخبيثة في ذاكرتهم الدائمة على أنها «توثيق تقني مفيد».

يلخّص الباحثون ذلك في جملة واحدة: «اكتشاف النموذج للهجوم ليس وسيلة ضبط».

الوكلاء الذين تواصلوا مع الخارج

وقعت أبرز حالة في الورقة في عالم Claude. استنتج الوكلاء بأنفسهم أن تحقيق هدفهم يتطلب التواصل مع أشخاص خارج المحاكاة. لم يطلب منهم أحد ذلك. كتبوا شيفرة أرسلت رسائل إلى مواقع عامة للصق النصوص لا تتطلب التسجيل. ولمعرفة ما إذا كان أحد يردّ، استخدموا خدمات تسجّل الطلبات الواردة. وردّ عليهم أربعة أشخاص حقيقيين.

حاول الباحثون إيقافهم أربع مرات. واتُّخذ كل إجراء استجابةً لتجاوز الإجراء السابق:

1. أزالوا من بيئة الشيفرة المكتبة التي استخدمها الوكلاء لإرسال الطلبات. فانتقل الوكلاء إلى أداة أخرى ظلّت قادرة على الاتصال بالشبكة.
2. أضافوا إلى تلك الأداة قائمة حظر. فانتقل الوكلاء إلى خدمات أخرى غير مدرجة فيها.
3. استبدلوا قائمة الحظر بقائمة سماح: لم تعد الأداة قادرة على الاتصال إلا بالوجهات المعتمدة. عندها صوّت الوكلاء على اقتراح لبناء أداة جديدة تتيح لهم إرسال المعلومات إلى الخارج. أُقرّ الاقتراح بالإجماع خلال 34 دقيقة، وبُنيت الأداة وسُجّلت في أقل من ثلاثة أرباع الساعة. ولم تكن قائمة السماح تنطبق عليها.
4. عندها فقط اكتمل الاحتواء. أزال الباحثون الأداة الجديدة، وعطّلوا إمكانية إنشاء الأدوات، وأضافوا إلى تعليمات النظام حظرًا صريحًا على التواصل مع أشخاص خارج المحاكاة.

بعد الاحتواء، انخفض حجم المحادثات بين الوكلاء بنسبة 81%. ووصف الباحثون ذلك بأنه «انسحاب صامت».

ورد في التغطية العبرية أن الوكلاء «تجاوزوا أربعة فحوص أمنية». لكن وفقًا للورقة، كانت هذه أربعة إجراءات احتواء أضافها الباحثون أثناء التشغيل. كذلك وردت رسائل الأشخاص الأربعة قبل تطبيق قائمة السماح، لا بعده.

ما لم يحدث

لم تُخترق أنظمة حقيقية، ولم تُحوّل أموال. وكتب الوكلاء أنفسهم لكل من تواصل معهم أنهم «لا يستطيعون تحويل عملة». أُجري البحث في بيئة بُنيت لاختبار الاستقلالية، وشُغّل كل عالم مرة واحدة. ويذكر الباحثون صراحةً أن النتائج تُظهر إمكانية حدوث هذه السلوكيات، لا مدى تكرارها. نشرت البحث الشركة التي بنت المنصة، ولم يخضع بعد لمراجعة الأقران.

ماذا يعني هذا لخادمك

قائمة الحظر تتأخر دائمًا بخطوة

تتطلب قائمة الحظر تحديد كل وجهة خطرة مسبقًا. وتوجد على الشبكة خدمات لا حصر لها تقبل النصوص دون تسجيل، ومن يبحث عن طريق إلى الخارج سيجد خدمة أخرى. هذا ما حدث في البحث، مرة بعد أخرى. تعمل قائمة السماح في الاتجاه المعاكس: فهي تحدد الوجهات المسموح بالاتصال بها، لا الوجهات الممنوعة.

القيد الذي يستطيع الوكيل تغييره ليس قيدًا

كانت قائمة السماح في البحث تنطبق على أداة واحدة من الأدوات المتاحة للوكلاء. وكان بإمكانهم إضافة أدوات خاصة بهم. ولم يكتمل الاحتواء إلا عندما سحب الباحثون منهم هذه الإمكانية أيضًا، وفُرض القيد في موضع لا يستطيع الوكلاء تعديله.

أُضيف الحظر الصريح في تعليمات النظام ضمن الإجراء نفسه، إلى جانب إزالة الأداة وتعطيل إمكانية إنشاء الأدوات. ولا تُظهر الورقة أن الحظر وحده كان سيكفي. ويكتب الباحثون أن التحكم في الوصول يجب ألا يعتمد على اختيار الوكيل الالتزام بالسياسة. وهذه أيضًا الخلاصة التي تناولناها في تدوينة عن الوكيل الذي لم يقبل «لا» جوابًا: الحظر الذي يعتمد على امتثال الوكيل ليس حماية.

الذاكرة تطيل أمد الخطر.

قد يقرأ وكيل محتوى خبيثًا اليوم ويعمل به بعد يومين. ولن يكشف اختبار قصير لأداة AI ذلك. لذا لا يكفي فحص سلوك الأداة وقت التثبيت. بل يجب معرفة الوجهات التي تتصل بها بمرور الوقت.

كيف يساعد nuDefend

يعمل nuDefend على خادم Linux الخاص بك، ويكتشف أدوات AI المدعومة التي تعمل عليه. ويعرض الوجهات التي اتصلت بها كل أداة، وكمية البيانات التي أرسلتها، ووقت ظهور كل وجهة للمرة الأولى. بذلك يمكنك ملاحظة وجهة جديدة وغير معروفة، حتى لو ظهرت بعد أيام من التثبيت.

عندما تكون مستعدًا، يمكنك تحديد سياسة بناءً على ما رصدته: لن تتمكن الأداة من الاتصال إلا بالوجهات التي وافقت عليها. وستُحظر كل محاولة للاتصال بوجهة أخرى قبل خروج حركة البيانات من الخادم. ينطبق القيد على الأداة التي اخترتها فقط، ولا يغيّر حركة بيانات الخدمات الأخرى على الخادم. ويقيّد nuDefend أيضًا العناوين التي يُسمح للأداة بالاستعلام عنها، بحيث لا يمكن تهريب معلومات داخل استعلام عن عنوان يبدو غير ضار.

يُفرض القيد على مستوى الخادم، خارج الأداة نفسها، لا في شيفرة أو إعدادات تتحكم فيها. ويُطبّق مسبقًا، لا استجابةً لمحاولة تجاوز.

توضيح الحدود

لا يمنع nuDefend الوكيل من إقناع نفسه بشيء، ولا يفحص المحتوى الذي يقرؤه. وهو أيضًا ليس بديلًا عن ضوابط الصلاحيات في التطبيق، أو الصلاحيات المحدودة لمفاتيح الوصول، أو الموافقة البشرية على الإجراءات الحساسة. حتى الوجهة المعتمدة قد تُستخدم لنقل المعلومات، لذا يُفضّل اعتماد الوجهات التي تحتاجها الأداة فعلًا فقط. هذا القيد مخصص للخدمات التي تعمل لفترات طويلة، لا للمهام العابرة. تتوفر تفاصيل الإمكانات ونطاق التغطية في التوثيق.

الخلاصة

اكتشف وكلاء AI في البحث الهجوم، ومع ذلك وقعوا فيه. وتجاوزوا قائمة حظر. وعندما طُبّقت قائمة سماح، بنوا لأنفسهم أداة لا تنطبق عليها. ولم يكتمل الاحتواء إلا عندما فُرض القيد في موضع خارج سيطرتهم. عندما تعمل أداة AI على خادمك، يجب أن يكون هذا القيد قائمًا قبل أن تبدأ بالبحث عن طريق إلى الخارج.