خللان في LiteLLM خلال أسبوع واحد: كيف تبني قائمة وجهات للاتصالات الصادرة من خادم يشغّل بوابة AI
إذا كنت تشغّل LiteLLM أو بوابة مشابهة توجّه الطلبات إلى مزوّدي النماذج، فغالبًا ما يحتفظ الخادم بكل مفاتيح API الخاصة بالمزوّدين، والمفتاح الرئيسي للوكيل، وكلمة مرور قاعدة البيانات. خلال أسبوع واحد، نشرت LiteLLM معلومات عن خللين. الأول إصدار ملغّم نُشر عبر عملية إصدار البرمجيات لدى الشركة. والثاني ثغرة حرجة في الوكيل نفسه. تتضمن إرشادات LiteLLM استبدال المفاتيح وتثبيت إصدارات محددة. هذه خطوات ضرورية، لكنها استجابة لحادث وقع بالفعل. قبل الحادث التالي، يجدر طرح سؤال آخر: ما الوجهات التي يحتاج الخادم إلى الاتصال بها، وماذا يحدث حين يحاول الاتصال بوجهة أخرى؟
أسبوع واحد، ثلاثة منشورات
21 أكتوبر: إصدار ملغّم. وفقًا لـتقرير الحادث الصادر عن LiteLLM، اختُرقت منظومة إصدار البرمجيات لدى الشركة. ونُشر من خلالها litellm==1.107.0 على PyPI وفي مستودعات الحاويات. احتوى الإصدار على برمجية خبيثة مُصرَّفة تسرق بيانات الاعتماد وتحمّل أدوات لتنفيذ التعليمات البرمجية عن بُعد. كانت الحزمة متاحة على PyPI بين 11:39 و13:23 UTC. وأشارت الوسوم v1.107.0 وlatest وmain-latest وmain-stable في Docker Hub إلى الصورة المصابة بين 11:46 و14:20 UTC. وفقًا للشركة، على من ثبّت إصدارًا دون تقييده بإصدار محدد، أو شغّل أحد هذه الوسوم خلال تلك الفترة، أن يفترض أن بيئته قد اختُرقت. لم يتأثر عملاء Enterprise الذين سحبوا الصور من المستودع الخاص.
23 أكتوبر: سلسلة الهجوم. يحلّ تحليل أسباب الحادث الذي نشرته الشركة محل الفرضيات الأولية. في 27 مايو، أُضيف إلى مستودع عام ملف إعدادات يحتوي على مفتاح إدارة لنسخة داخلية من LiteLLM Agent Platform. وهي منصة تجريبية تفتح فيها وكلاء سحابية طلبات سحب. حُذف الملف بعد نحو ثلاث ساعات، لكن المفتاح لم يُلغَ بسبب خطأ بشري. في 10 أكتوبر، استخدمه المهاجم، وأعادت إليه واجهة API الخاصة بالمنصة إعدادات الوكلاء. تضمنت الإعدادات رمز GitHub CLI لأحد مالكي المؤسسة في GitHub. استخدم المهاجم الرمز لتشغيل سير عمل مؤقت أرسل أسرار CI إلى نقطة نهاية على webhook.site. كان من بين الأسرار رموز وصول لاثنين آخرين من القائمين على الصيانة. في 21 أكتوبر، عدّل المهاجم سير عمل الإصدار ليُجري البناء من مستودع في مؤسسة تحمل الاسم المشابه Berri-AI. وافق على الانتقال إلى بيئة الإنتاج باستخدام رمز، وحذف سجلات التشغيل باستخدام رمز آخر. وفقًا للشركة، ركّز المهاجم في الأنظمة الداخلية الأخرى على البحث عن رموز API الخاصة بمزوّدي النماذج.
ما زالت بعض التغطيات المبكرة، مثل Help Net Security، تتحدث عن رموز أُخذت من سجلات نشر نسخة داخلية من LiteLLM. كانت هذه الفرضية الأولية. أما التحليل اللاحق فيقرر أن الرمز الأول أُعيد عبر واجهة API الخاصة بـAgent Platform.
27 أكتوبر: ثغرة بدرجة 10. يصف التنبيه الأمني GHSA-w4c7-34wj-hqm8 ثغرة في وكيل LiteLLM الذي يعمل بترخيص Enterprise. قد يتسبب طلب دون مصادقة إلى أي مسار LLM في الوكيل في قراءة ملف محلي وإرسال محتواه إلى عنوان يختاره المهاجم. وفقًا للتنبيه، تكشف قراءة ملف مثل /proc/self/environ عن LITELLM_MASTER_KEY ومفاتيح المزوّدين، وتمنح المهاجم صلاحيات إدارة كاملة للوكيل. في بعض الإعدادات، يستطيع المهاجم بعد ذلك تنفيذ شيفرة Python بصلاحيات root. درجة CVSS هي 10.0. الإصدارات المصححة هي 1.103.10 و1.104.8 و1.105.6 و1.106.5. لا تتأثر النسخ مفتوحة المصدر التي تعمل دون ترخيص. أشار تقرير الحادث الصادر في 21 أكتوبر إلى أن المستودع الخاص يوزّع إصدارًا يصلح ثغرة حُدد موعد الكشف عنها في 27 أكتوبر. وهو التاريخ الذي نُشر فيه التنبيه الأمني.
العامل المشترك: اتصال صادر إلى وجهة يختارها المهاجم
في كلا الخللين، لم يستفد المهاجم إلا إذا استطاع الخادم الذي يشغّل البوابة فتح اتصال صادر إلى وجهة يختارها. في الثغرة، هذا جزء من آلية الاستغلال: يُرسل محتوى الملف إلى عنوان يحدده المهاجم. أما بشأن الإصدار الملغّم، فتذكر LiteLLM ذلك صراحة في إرشادات التنظيف: إذا ثُبّت 1.107.0 في أي وقت على خادم يستطيع الاتصال بالإنترنت، فيجب افتراض أن تسريب البيانات قد نجح.
تضيف التغطية تفاصيل عن قنوات الاتصال. وفقًا لتحليل Socket الوارد في Help Net Security، شُفّرت البيانات المجمّعة وأُرسلت إلى عنوان «healthcheck» في النطاق litellm[.]dev. وكان مكوّن ثانٍ يفحص ملفًا على GitHub بصورة متكررة، ليتلقى منه نطاقًا لتنزيل شيفرة Python إضافية وتشغيلها. وفقًا لـWiz، كما ورد في التغطية نفسها، بدأ المهاجم اختبار بيانات اعتماد AWS المسروقة بعد نحو أربع ساعات ونصف من خروج البيانات من أنظمة الضحايا. واختبر أيضًا إمكانية استخدامها للوصول إلى النماذج في Amazon Bedrock.
ترد هذه الخلاصة أيضًا في التنبيه الأمني نفسه. توصي LiteLLM بعدة إجراءات للدفاع متعدد الطبقات: تحميل المفتاح الرئيسي من مدير أسرار بدلًا من متغيرات البيئة، وإعداد LITELLM_SALT_KEY منفصل، وقصر حركة البيانات الصادرة من الوكيل على نقاط نهاية معروفة للمزوّدين.
هناك أيضًا درس يتعلق بتثبيت إصدارات محددة. في 21 أكتوبر، أوصت الشركة بالتقييد بالإصدار 1.106.2. ووفقًا للتنبيه الأمني، فإن الإصدار المصحح في هذا الفرع هو 1.106.5. لذلك، فإن من يشغّل الوكيل بترخيص Enterprise وقيّده بالإصدار 1.106.2 يستخدم إصدارًا ضمن نطاق الإصدارات المتأثرة بالثغرة. حماه هذا التقييد من خلل، وأبقاه عرضة للآخر. أما قائمة وجهات الاتصالات الصادرة فلها دور في الحالتين.
بندًا بندًا: ما الذي كانت قائمة الوجهات ستغلقه؟
النطاق المشابه. يتضمن النطاق litellm[.]dev اسم LiteLLM. لم تكن قائمة مبنية على أسماء المضيفين الدقيقة للمزوّدين الذين أعددتهم لتشمله، إلا إذا وافق عليه شخص لأنه بدا تابعًا لـLiteLLM. ظهر النمط نفسه على GitHub: Berri-AI بدلًا من BerriAI. لا تسمح إلا باسم مضيف تحققت منه، لا باسم يشبه اسمًا مألوفًا فحسب.
الملف على GitHub. من السهل السماح بالوصول إلى GitHub كله على افتراض أن البوابة تحتاج إلى جلب التحديثات منه. كان هذا السماح سيُبقي قناة تعليمات المكوّن الثاني مفتوحة. تحقق مما إذا كانت البوابة، بعد تشغيلها، تحتاج أصلًا إلى الوصول إلى GitHub. يمكن إجراء البناء والتحديث في مكان آخر. إذا كانت هناك حاجة فعلية، فاسمح باسم المضيف الدقيق. تذكّر أن عناوين خدمة مثل GitHub تشترك في استخدامها عدة خدمات. وفقًا للتغطية، يعمل مكوّن سرقة البيانات حتى دون هذا الملف. لذلك يجب إغلاق القناتين، لا إحداهما فقط.
webhook.site. في هذا الحادث، استخدمه المهاجم من مشغّلات GitHub Actions، لا من بوابة. ومع ذلك، يوضح استخدامه نوع القنوات التي يفضّلها المهاجمون: خدمة عامة تستقبل المحتوى من كل من يتصل بها. لا تحتاج بوابة AI إلى خدمة كهذه. وتندرج ضمن الفئة نفسها مواقع لصق النصوص وخدمات التقاط الطلبات. إذا كنت تدير مشغّلات خاصة بك، فتذكّر أنها أيضًا خوادم تحتفظ بأسرار، وتحتاج إلى قوائم وجهات خاصة بها.
العنوان الذي يختاره المهاجم عند استغلال الثغرة. عند فرض قائمة وجهات، يُحظر الاتصال بأي عنوان غير مدرج فيها. لذلك لن يستطيع الوكيل إرسال محتوى ملف البيئة مباشرة إلى العنوان الذي اختاره المهاجم. لكن هذا القيد لا يستبعد تسريب البيانات عبر وجهة مسموح بها أو عبر DNS. ويظل الطلب نفسه يصل إلى الوكيل إذا كان متاحًا للوصول، لذا فإن تقليل تعرّضه للاتصالات الواردة جزء من العمل نفسه.
استعلامات DNS. يمكن إخفاء بيانات داخل اسم يُرسل في استعلام DNS. قائمة الاتصالات وحدها لا تكشف ذلك، لذا يجب أيضًا قصر الاستعلامات على الأسماء التي سمحت بها.
حدود قائمة الوجهات
قائمة الوجهات طبقة حماية واحدة. لإعداد البيئة على نحو صحيح، يجب أن تعرف ما لا تعالجه القائمة:
- يمر التثبيت عبر قناة مسموح بها. لذلك ابنِ الصورة في مرحلة منفصلة، وثبّتها باستخدام digest، وشغّل البوابة دون وصول إلى PyPI.
- تظل الشيفرة التي تعمل قادرة على القراءة. تحدد القائمة ما يخرج من الخادم، لا ما يُقرأ من القرص والبيئة. بعد التعرّض للاختراق، يظل التنظيف واستبدال المفاتيح ضروريين.
- يجب أن يشمل القيد البيئة كلها. وفقًا لـSocket، كما ورد في Help Net Security، وُضعت الشيفرة الخبيثة في ملفات بدء تشغيل Python. وتعمل في كل مرة يبدأ فيها Python داخل البيئة المصابة، حتى إن لم يحمّل التطبيق LiteLLM. شغّل البوابة في حاوية أو بيئة venv خاصة بها، دون أدوات Python إضافية إلى جانبها.
- ما حدث خارج خادمك يحتاج إلى معالجة خارجه. بدأت سلسلة الهجوم بمفتاح كُشف في مستودع عام وواجهة API داخلية تمكّن المهاجم من الوصول إليها. الحل هنا هو استبدال المفاتيح المكشوفة فورًا، واستخدام رموز وصول بصلاحيات محدودة، وحظر الوصول إلى الواجهات من الإنترنت.
خطوات عملية
- تحقق مما إذا كنت قد تعرّضت للاختراق. شغّل
pip show litellmفي كل بيئة، وتحقق مما إذا كانت الصورة ذات digest المصاب قد شُغّلت لديك. ابحث أيضًا عنlitellm-1.107.0.dist-infoوcook.pthوsitecustomize.py. وفقًا لـLiteLLM، يؤكد العثور على أحد هذه المؤشرات التعرّض، لكن غيابها لا يثبت أن البيئة سليمة. إذا تعرّضت للاختراق، فلا تبدأ بـpip install. اتبع إرشادات التنظيف، واستبدل كل مفتاح كان الخادم قادرًا على الوصول إليه: دور IAM، ومفاتيح المزوّدين في قاعدة بيانات الوكيل، والمفتاح الرئيسي والمفاتيح الافتراضية، وكلمة المرور فيDATABASE_URL. - إذا كان لديك ترخيص Enterprise، فحدّث إلى الإصدار المصحح في الفرع الذي تستخدمه.
- وثّق قبل إعداد القائمة. راقب على مدى فترة الوجهات التي تتصل بها عملية البوابة، وحجم حركة البيانات إلى كل وجهة.
- أعدّ القائمة. ضمّن فيها أسماء المضيفين الدقيقة للمزوّدين الذين أعددتهم فعلًا، وقاعدة البيانات (ويُفضّل أن تكون على عنوان خاص)، ومدير الأسرار إذا كنت تحمّل منه المفتاح الرئيسي، وخدمات السجلات التي أعددتها عن قصد. لا تستخدم أحرف البدل.
- اترك خارج القائمة السماح الشامل لـGitHub، والوصول إلى PyPI ومستودعات الحاويات أثناء التشغيل، وخدمات webhook والتقاط الطلبات، ومواقع لصق النصوص، وأي نطاق لا يفعل سوى التشابه مع اسم المزوّد.
- افرض القيود على مستوى الشبكة ولكل عملية، لا في إعدادات البوابة. في Linux، يمكنك مثلًا استخدام
IPAddressAllowفي systemd أو قاعدة nftables تعتمد على cgroup الخاص بالخدمة. - قيّد استعلامات DNS أيضًا بالأسماء التي سمحت بها.
- قيّد الاتصالات الواردة. لا تُتح مسارات الوكيل على الإنترنت العام. حمّل المفتاح الرئيسي من مدير أسرار، وأعدّ
LITELLM_SALT_KEYمنفصلًا، كما يوصي التنبيه الأمني. - قلّل صلاحيات رموز الوصول على خوادم الوكلاء. في حالة LiteLLM، احتفظت منصة الوكلاء برمز GitHub CLI لمالك المؤسسة، بدلًا من رمز مقيّد بالمستودعات والإمكانات المطلوبة. يجب إلغاء أي رمز مكشوف فورًا.
كيف يساعد nuDefend
ما الذي يعمل، وإلى أين يتصل. يعرض nudefend workloads أدوات AI التي تعمل على الخادم، سواء على المضيف أو داخل حاوية، والأساس الذي استُخدم للتعرّف على كل منها. يسجّل nuDefend الوجهات التي تتصل بها كل أداة AI، وحجم حركة البيانات المرسلة إلى كل وجهة، ووقت رصد الوجهة لأول مرة. عندما يُتعرّف على الوجهة، تظهر باسمها إلى جانب وصف لنوع النشاط. يعرض nudefend egress review <workload> كل وجهات أداة واحدة، ويبيّن ما إذا كانت الفترة قد خضعت للمراقبة بالكامل. بذلك تبرز الوجهة غير المعتادة بدلًا من أن تضيع في قائمة أرقام.
قائمة مبنية على حركة البيانات الفعلية. في المرحلة الأولى، يكتفي nuDefend بالتسجيل. وفي نهاية فترة المراقبة، تتكوّن قائمة مبنية على حركة البيانات المرصودة. في شاشة Outbound، توافق على الوجهات التي تحتاج إليها الأداة فعلًا. فقد يُستخدم عنوان خاص بـGitHub، مثلًا، لخدمات أخرى أيضًا. لا توافق على عنوان كهذا إلا بعد التحقق منه.
فرض القيود في طبقة أدنى من الأداة. بعد تفعيل القيد، لا تستطيع الأداة الاتصال إلا بالوجهات التي وافقت عليها. تُحظر كل محاولة للاتصال بوجهة أخرى قبل أن تغادر حركة البيانات الخادم. ينطبق القيد على الأداة التي اخترتها فقط، ويستمر باقي الخادم في العمل كالمعتاد. ويمكن تطبيقه على معظم الأدوات التي يتعرّف عليها النظام. تعرض الشاشة حالة تقييد كل أداة. إذا لم تؤكد القيد نهائيًا خلال عشر دقائق، يُلغى تلقائيًا. بذلك يمكنك تفعيله على بوابة تعمل بالفعل، والتحقق من استمرار عملها، ثم تأكيده.
استعلامات DNS الخاصة بالأداة أيضًا. لا تستطيع الأداة المقيّدة إرسال استعلامات DNS إلا للأسماء التي وافقت عليها. يُوقف أي استعلام آخر قبل أن يغادر الخادم. ويظهر كل استعلام أُوقف بجانب اسم الأداة. غالبًا ما تكون هذه أول علامة على أن أداة تحاول الوصول إلى وجهة لم توافق عليها.
طبقة التهديدات والاتصالات الواردة. تحظر قائمة تهديدات موقّعة، تُحدَّث كل 30 دقيقة، حركة البيانات من العناوين والنطاقات الخبيثة وإليها. في لوحة التحكم، تتحول بطاقة حركة البيانات الصادرة المحظورة إلى اللون الأحمر، كتحذير مبكر من أن شيئًا ما على الخادم حاول الاتصال بوجهة خبيثة. يعرض nudefend expose كل خدمة تستمع على الخادم، ومن يستطيع الوصول إليها. ينبّه nuDefend عندما تصبح خدمة كانت داخلية قابلة للوصول من الخارج. ويمكن إغلاق منفذ لا يُفترض أن يكون مفتوحًا باستخدام nudefend block add، بعد معاينة تُظهر بدقة ما سيُحظر. تبقى التقارير على الخادم.
مزيد من التفاصيل في صفحة حركة البيانات الصادرة، وصفحة الانكشاف، والتوثيق.
الخلاصة
خلال أسبوع واحد، نشرت LiteLLM معلومات عن خللين مختلفين. اعتمد كلاهما على الشرط نفسه: اتصال صادر من البوابة إلى وجهة يختارها المهاجم. وحتى LiteLLM نفسها توصي الآن بتقييد حركة البيانات الصادرة من الوكيل. يعالج تثبيت إصدارات محددة واستبدال المفاتيح الحادث السابق. أما قائمة وجهات لكل عملية فتعالج الشرط نفسه. ابنِها استنادًا إلى حركة البيانات المرصودة فعلًا، بأسماء مضيفين دقيقة، ودون خدمات ترحيل عامة أو سماح شامل لـGitHub. وقيّد استعلامات DNS أيضًا.
يعرض nuDefend الوجهات التي تتصل بها أدوات AI على خادمك، وحجم حركة البيانات المرسلة إلى كل وجهة. ويتيح قصر اتصالات أداة على الوجهات التي وافقت عليها. تُحظر أي وجهة أخرى قبل أن تغادر حركة البيانات الخادم.