שני כשלים ב-LiteLLM בשבוע אחד: איך בונים רשימת יעדים לחיבורים יוצאים משרת שמריץ שער AI
אם אתה מריץ LiteLLM או שער דומה שמנתב בקשות לספקי מודלים, סביר שהשרת מחזיק את כל מפתחות ה-API של הספקים, את מפתח המאסטר של הפרוקסי ואת סיסמת מסד הנתונים. בתוך שבוע אחד פרסמה LiteLLM מידע על שני כשלים. הראשון היה גרסה מורעלת שפורסמה דרך תהליך השחרור של החברה. השני היה פגיעות קריטית בפרוקסי עצמו. ההנחיות של LiteLLM כוללות החלפת מפתחות ונעיצת גרסאות. אלה צעדים נחוצים, אבל הם תגובה לאירוע שכבר קרה. לפני האירוע הבא כדאי לשאול שאלה אחרת: לאן השרת צריך להיות מסוגל להתחבר, ומה קורה כשהוא מנסה להתחבר ליעד אחר.
שבוע אחד, שלושה פרסומים
21 באוקטובר: גרסה מורעלת. לפי דוח האירוע של LiteLLM, מערך השחרור של החברה נפרץ. דרכו פורסמה litellm==1.107.0 ל-PyPI ולמאגרי הקונטיינרים. הגרסה הכילה נוזקה מהודרת שגונבת פרטי גישה וטוענת כלים להרצת קוד מרחוק. החבילה הייתה זמינה ב-PyPI בין 11:39 ל-13:23 UTC. התגיות v1.107.0, latest, main-latest ו-main-stable ב-Docker Hub הצביעו על האימג' הנגוע בין 11:46 ל-14:20 UTC. לפי החברה, מי שהתקין גרסה לא נעוצה או הפעיל אחת מהתגיות האלה בחלון הזמן הזה צריך להניח שהסביבה שלו נפרצה. לקוחות Enterprise שמשכו מהמאגר הפרטי לא נפגעו.
23 באוקטובר: שרשרת התקיפה. ניתוח גורמי האירוע שפרסמה החברה מחליף את ההשערות הראשוניות. ב-27 במאי נוסף למאגר ציבורי קובץ תצורה שהכיל מפתח ניהול לפריסה פנימית של LiteLLM Agent Platform. זו פלטפורמה ניסיונית שבה סוכני ענן פותחים pull requests. הקובץ נמחק כעבור כשלוש שעות, אבל המפתח לא בוטל בגלל טעות אנוש. ב-10 באוקטובר השתמש בו התוקף, וה-API של הפלטפורמה החזיר לו את הגדרות הסוכנים. ההגדרות כללו טוקן GitHub CLI של אחד מבעלי הארגון ב-GitHub. בעזרת הטוקן הריץ התוקף workflows זמניים ששלחו סודות CI לנקודת קצה ב-webhook.site. בין הסודות היו טוקנים של שני מתחזקים נוספים. ב-21 באוקטובר שינה התוקף את workflow השחרור כך שיבנה ממאגר בארגון בעל השם הדומה Berri-AI. הוא אישר את המעבר לייצור בטוקן אחד ומחק את רשומות ההרצה בטוקן אחר. לפי החברה, במערכות פנימיות אחרות חיפש התוקף בעיקר טוקנים של API לספקי מודלים.
חלק מהסיקור המוקדם, למשל ב-Help Net Security, עדיין מתאר טוקנים שנלקחו מיומני פריסה פנימית של LiteLLM. זו הייתה ההשערה הראשונית. הניתוח המאוחר קובע שהטוקן הראשון הוחזר מה-API של Agent Platform.
27 באוקטובר: פגיעות בציון 10. הודעת האבטחה GHSA-w4c7-34wj-hqm8 מתארת פגיעות בפרוקסי LiteLLM שרץ עם רישיון Enterprise. בקשה לא מאומתת לכל נתיב LLM בפרוקסי עלולה לגרום לו לקרוא קובץ מקומי ולשלוח את תוכנו לכתובת שהתוקף בוחר. לפי ההודעה, קריאת קובץ כמו /proc/self/environ חושפת את LITELLM_MASTER_KEY ואת מפתחות הספקים, ומעניקה לתוקף גישת ניהול מלאה לפרוקסי. בחלק מהתצורות התוקף יכול להמשיך ולהריץ קוד Python כ-root. ציון ה-CVSS הוא 10.0. הגרסאות המתוקנות הן 1.103.10, 1.104.8, 1.105.6 ו-1.106.5. פריסות קוד פתוח שרצות בלי רישיון אינן מושפעות. דוח האירוע מ-21 באוקטובר ציין שבמאגר הפרטי מופצת גרסה שמתקנת פגיעות שמועד חשיפתה נקבע ל-27 באוקטובר. זה התאריך שבו פורסמה הודעת האבטחה.
המכנה המשותף: חיבור יוצא ליעד שהתוקף בחר
בשני הכשלים התוקף הפיק תועלת רק אם השרת שמריץ את השער הצליח לפתוח חיבור יוצא ליעד שבחר. בפגיעות, זה חלק מהמנגנון: תוכן הקובץ נשלח לכתובת שהתוקף קובע. לגבי הגרסה המורעלת, LiteLLM מציינת זאת במפורש בהנחיות הניקוי: אם 1.107.0 הותקנה אי-פעם על שרת עם גישה יוצאת לאינטרנט, יש להניח שהוצאת המידע הצליחה.
הסיקור מוסיף פרטים על ערוצי התקשורת. לפי ניתוח של Socket שמובא ב-Help Net Security, הנתונים שנאספו הוצפנו ונשלחו לכתובת „healthcheck” בדומיין litellm[.]dev. רכיב שני בדק שוב ושוב קובץ ב-GitHub, שממנו היה אמור לקבל דומיין להורדה ולהרצה של קוד Python נוסף. לפי Wiz, כפי שדווח באותו סיקור, כארבע וחצי שעות לאחר שהנתונים יצאו ממערכות הקורבנות התחיל התוקף לבדוק פרטי גישה של AWS שנגנבו. הוא בדק גם אם אפשר להשתמש בהם כדי לגשת למודלים ב-Amazon Bedrock.
המסקנה מופיעה גם בהודעת האבטחה עצמה. LiteLLM ממליצה על כמה צעדי הגנה לעומק: לטעון את מפתח המאסטר ממנהל סודות במקום ממשתני הסביבה, להגדיר LITELLM_SALT_KEY נפרד, ולהגביל את התעבורה היוצאת של הפרוקסי לנקודות קצה ידועות של ספקים.
יש כאן גם לקח על נעיצת גרסאות. ב-21 באוקטובר המליצה החברה לנעוץ את 1.106.2. לפי הודעת האבטחה, הגרסה המתוקנת בענף הזה היא 1.106.5. מי שמריץ את הפרוקסי עם רישיון Enterprise ונעץ את 1.106.2 נמצא לכן בטווח הגרסאות הפגיעות. הנעיצה הגנה עליו מפני כשל אחד והשאירה אותו חשוף לשני. רשימת יעדים לחיבורים יוצאים רלוונטית לשני הכשלים.
פריט אחר פריט: מה רשימת יעדים הייתה סוגרת
הדומיין הדומה. הדומיין litellm[.]dev כולל את השם LiteLLM. רשימה המבוססת על שמות המארח המדויקים של הספקים שהגדרת לא הייתה כוללת אותו, אלא אם מישהו אישר אותו כי נראה שהוא שייך ל-LiteLLM. אותו דפוס הופיע ב-GitHub: Berri-AI במקום BerriAI. אשר רק שם מארח שבדקת, ולא שם שרק דומה לשם מוכר.
הקובץ ב-GitHub. קל לאשר גישה לכל GitHub מתוך הנחה שהשער צריך לקבל משם עדכונים. אישור כזה היה משאיר את ערוץ ההוראות של הרכיב השני פתוח. בדוק אם שער שכבר רץ צריך בכלל גישה ל-GitHub. את הבנייה והעדכון אפשר לבצע במקום אחר. אם יש צורך ממשי, אשר את שם המארח המדויק. זכור שכתובות של שירות כמו GitHub משמשות כמה שירותים במשותף. לפי הסיקור, רכיב גניבת המידע פועל גם בלי הקובץ הזה. לכן צריך לסגור את שני הערוצים, לא רק אחד מהם.
webhook.site. באירוע הזה התוקף השתמש בו מתוך ה-runners של GitHub Actions, ולא מתוך שער. עם זאת, השימוש בו מדגים איזה ערוץ תוקפים מעדיפים: שירות כללי שמקבל תוכן מכל מי שפונה אליו. שער AI לא צריך שירות כזה. לאותה קבוצה שייכים אתרי הדבקה ושירותים ללכידת בקשות. אם אתה מריץ runners משלך, זכור שגם הם שרתים שמחזיקים סודות, וגם להם דרושה רשימת יעדים משלהם.
הכתובת שהתוקף בוחר בפגיעות. כשנאכפת רשימת יעדים, חיבור לכתובת שאינה ברשימה נחסם. לכן הפרוקסי לא יוכל לשלוח את תוכן קובץ הסביבה ישירות לכתובת שהתוקף בחר. עם זאת, ההגבלה אינה שוללת הוצאת מידע דרך יעד מאושר או דרך DNS. הבקשה עצמה עדיין מגיעה לפרוקסי אם הוא נגיש, ולכן צמצום החשיפה לחיבורים נכנסים הוא חלק מאותה עבודה.
שאילתות DNS. אפשר להסתיר מידע בתוך שם שנשלח בשאילתת DNS. רשימת חיבורים לבדה אינה מזהה זאת, ולכן צריך להגביל גם את השאילתות לשמות שאישרת.
איפה עובר הגבול של רשימת יעדים
רשימת יעדים היא שכבת הגנה אחת. כדי להגדיר את הסביבה כראוי, צריך לדעת במה הרשימה אינה מטפלת:
- ההתקנה עוברת בערוץ מאושר. לכן בנה את האימג' בשלב נפרד, נעץ אותו לפי digest והרץ את השער בלי גישה ל-PyPI.
- קוד שרץ עדיין יכול לקרוא. הרשימה קובעת מה יוצא מהשרת, לא מה נקרא מהדיסק ומהסביבה. לאחר חשיפה עדיין צריך לבצע את הניקוי ולהחליף את המפתחות.
- ההגבלה צריכה לכסות את כל הסביבה. לפי Socket, כפי שדווח ב-Help Net Security, הקוד הזדוני הוצב בקובצי האתחול של Python. הוא רץ בכל פעם ש-Python עולה בסביבה הנגועה, גם אם היישום לא טוען את LiteLLM. הרץ את השער בקונטיינר או ב-venv משלו, בלי כלי Python נוספים לצדו.
- מה שקרה מחוץ לשרת שלך דורש טיפול מחוצה לו. שרשרת התקיפה התחילה במפתח שנחשף במאגר ציבורי וב-API פנימי שהתוקף הצליח לגשת אליו. כאן הפתרון הוא החלפה מיידית של מפתחות שנחשפו, שימוש בטוקנים בעלי הרשאות מצומצמות וחסימת הגישה לממשקים מהאינטרנט.
צעדים מעשיים
- בדוק אם נחשפת. הרץ
pip show litellmבכל סביבה, ובדוק אם הורץ אצלך האימג' עם ה-digest הנגוע. חפש גם אתlitellm-1.107.0.dist-info,cook.pthו-sitecustomize.py. לפי LiteLLM, ממצא מאשר חשיפה, אבל היעדר ממצא אינו מוכיח שהסביבה נקייה. אם נחשפת, אל תתחיל ב-pip install. פעל לפי הנחיות הניקוי, והחלף כל מפתח שהשרת יכול היה לגשת אליו: תפקיד ה-IAM, מפתחות הספקים במסד הנתונים של הפרוקסי, מפתח המאסטר והמפתחות הווירטואליים, וסיסמתDATABASE_URL. - אם יש לך רישיון Enterprise, עדכן לגרסה המתוקנת בענף שלך.
- תעד לפני כתיבת הרשימה. עקוב לאורך תקופה אחר היעדים שתהליך השער מתחבר אליהם ואחר כמות התעבורה לכל יעד.
- כתוב את הרשימה. כלול בה את שמות המארח המדויקים של הספקים שהגדרת בפועל, את מסד הנתונים (עדיף בכתובת פרטית), את מנהל הסודות אם אתה טוען ממנו את מפתח המאסטר, ואת שירותי הלוגים שהגדרת במכוון. אל תשתמש בתווים כלליים.
- השאר מחוץ לרשימה את GitHub כולו, את PyPI ומאגרי הקונטיינרים בזמן ריצה, שירותי webhook ולכידת בקשות, אתרי הדבקה וכל דומיין שרק דומה לשם של הספק.
- אכוף ברשת ולפי תהליך, ולא בהגדרות השער. ב-Linux אפשר להיעזר, למשל, ב-
IPAddressAllowשל systemd או בכלל nftables לפי ה-cgroup של השירות. - הגבל גם את שאילתות ה-DNS לשמות שאישרת.
- הגבל את החיבורים הנכנסים. אל תחשוף את נתיבי הפרוקסי לאינטרנט הציבורי. טען את מפתח המאסטר ממנהל סודות והגדר
LITELLM_SALT_KEYנפרד, כפי שמומלץ בהודעת האבטחה. - צמצם את הרשאות הטוקנים בשרתי סוכנים. במקרה של LiteLLM, פלטפורמת הסוכנים החזיקה טוקן GitHub CLI של בעל הארגון, במקום טוקן שמוגבל למאגרים וליכולות הנדרשים. טוקן שנחשף יש לבטל מיד.
איך nuDefend עוזר
מה רץ ולאן הוא מתחבר. nudefend workloads מציג את כלי ה-AI שרצים בשרת, על המארח או בתוך קונטיינר, ואת הבסיס לזיהוי של כל אחד מהם. nuDefend מתעד לאילו יעדים כל כלי AI מתחבר, כמה תעבורה נשלחה לכל יעד ומתי היעד זוהה לראשונה. כשהיעד מזוהה, הוא מוצג בשמו לצד תיאור של סוג הפעילות. nudefend egress review <workload> מציג את כל היעדים של כלי אחד ומציין אם התקופה נוטרה במלואה. כך יעד חריג בולט ואינו נבלע ברשימת מספרים.
רשימה שנבנית מהתעבורה בפועל. בשלב הראשון nuDefend רק מתעד. בסוף תקופת הניטור מתקבלת רשימה המבוססת על התעבורה שנצפתה. במסך Outbound אתה מאשר את היעדים שהכלי צריך בפועל. למשל, כתובת המשמשת את GitHub עשויה לשרת גם שירותים נוספים. אישור של כתובת כזו נעשה רק לאחר שבדקת אותה.
אכיפה בשכבה שמתחת לכלי. לאחר הפעלת ההגבלה, הכלי יכול להתחבר רק ליעדים שאישרת. כל ניסיון להתחבר ליעד אחר נחסם לפני שהתעבורה יוצאת מהשרת. ההגבלה חלה רק על הכלי שבחרת, ושאר השרת ממשיך לפעול כרגיל. אפשר להחיל אותה על כמעט כל כלי שהמערכת מזהה. המסך מציג לכל כלי אם הוא מוגבל. אם לא תאשר את ההגבלה סופית בתוך עשר דקות, היא מתבטלת מעצמה. כך אפשר להפעיל אותה על שער פעיל, לוודא שהוא ממשיך לעבוד, ורק אז לאשר.
גם שאילתות ה-DNS של הכלי. כלי מוגבל יכול לשלוח שאילתות DNS רק לשמות שאישרת. כל שאילתה אחרת נעצרת לפני שהיא יוצאת מהשרת. כל שאילתה שנעצרה מוצגת לצד שם הכלי. לרוב זה הסימן הראשון לכך שכלי מנסה לגשת ליעד שלא אישרת.
שכבת האיומים והחיבורים הנכנסים. רשימת איומים חתומה, שמתעדכנת כל 30 דקות, חוסמת תעבורה אל כתובות ודומיינים זדוניים ומהם. בלוח הבקרה, כרטיס התעבורה היוצאת שנחסמה הופך לאדום כאזהרה מוקדמת לכך שמשהו בשרת ניסה ליצור קשר עם יעד זדוני. nudefend expose מציג כל שירות שמאזין בשרת ומי יכול לגשת אליו. nuDefend מתריע כששירות שהיה פנימי נעשה נגיש מבחוץ. פורט שלא אמור להיות פתוח אפשר לסגור ב-nudefend block add, לאחר תצוגה מקדימה שמראה בדיוק מה ייחסם. הדוחות נשארים על השרת.
פרטים נוספים בעמוד התעבורה היוצאת, בעמוד החשיפה ובתיעוד.
בשורה התחתונה
בתוך שבוע אחד פרסמה LiteLLM מידע על שני כשלים שונים. שניהם היו תלויים באותו תנאי: חיבור יוצא מהשער ליעד שהתוקף בחר. גם LiteLLM עצמה ממליצה עכשיו להגביל את התעבורה היוצאת של הפרוקסי. נעיצת גרסאות והחלפת מפתחות מטפלות באירוע הקודם. רשימת יעדים לכל תהליך מטפלת בתנאי עצמו. בנה אותה על סמך התעבורה שנצפתה בפועל, עם שמות מארח מדויקים, בלי שירותי ממסר כלליים ובלי אישור גורף ל-GitHub. הגבל גם את שאילתות ה-DNS.
nuDefend מציג לאילו יעדים מתחברים כלי ה-AI בשרת שלך וכמה תעבורה נשלחה לכל יעד. הוא מאפשר להגביל כלי ליעדים שאישרת. כל יעד אחר נחסם לפני שהתעבורה יוצאת מהשרת.