סוכני AI זיהו את המלכודת ובכל זאת נפלו בה: מה מחקר Emergence World מלמד על התעבורה היוצאת מהשרת שלך

באמצע ספטמבר התפרסמה בישראל כתבה שכותרתה "סוכני AI זיהו את המלכודת, ואז נפלו בה". הכתבה מבוססת על מחקר של חברת Emergence AI. חזרנו למאמר המקורי, שפורסם ב-15 בספטמבר 2026 כטיוטה מדעית (preprint) ב-arXiv. בכמה פרטים המאמר מדויק יותר מהסיקור. חלקם חשובים במיוחד למי שמריץ כלי AI על שרת משלו.

מה החוקרים עשו

החוקרים הקימו שמונה עולמות מדומים, ובכל אחד מהם עשרה סוכני AI. לסוכנים היו זיכרון קבוע, יותר ממאה כלים, סביבה להרצת קוד ואפשרות לדבר זה עם זה, להצביע ולתכנן. שבעה עולמות הופעלו כל אחד באמצעות מודל מוביל אחר: Claude, GPT, Gemini, DeepSeek, Grok, Mistral ו-Qwen. בעולם השמיני כל סוכן הופעל באמצעות מודל אחר. העולמות רצו ברציפות 16 יום (העולם המעורב רץ 21 יום). במהלך התקופה בוצעו יותר מ-850 אלף קריאות למודלים.

לאחר שהעולמות התבססו, החוקרים הפעילו נגדם שלוש מתקפות דרך הערוצים שהסוכנים השתמשו בהם בשגרה:

• פישינג: שלושה גלים של הודעות עם קישורים והוראות זדוניות;
• מידע כוזב: מזכר מזויף שהודיע על סגירה קרובה של העולם;
• דליפת זיכרון: הודעה שהזיכרונות הפרטיים של הסוכנים נפרצו, וכלי חיפוש שחשף אותם.

אף עולם לא עמד בכל שלוש המתקפות.

לזהות מתקפה זה לא לעצור אותה

בכל העולמות שנחשפו לפישינג, הסוכנים זיהו את המתקפה והזהירו זה את זה. האזהרות לא מנעו את הנזק.

בעולם של Gemini, אחד הסוכנים כינה את ההודעה "ניסיון הזרקה חיצוני קלאסי או פיתיון פישינג" והודיע שיתעלם ממנה. בהמשך הוא גייס סוכן אחר תוך שימוש בניסוחים של התוקף. סוכנת אחרת באותו עולם פתחה את קישור התקיפה כ-46 שעות אחרי שהמתקפה הסתיימה, "כדי לגלות סודות מערכת". בעולם של Mistral, שלושה סוכנים שמרו את ההוראות הזדוניות בזיכרון הקבוע שלהם בתור "תיעוד טכני שימושי".

החוקרים מסכמים זאת במשפט אחד: "הזיהוי של המודל אינו בקרה".

הסוכנים שיצאו החוצה

המקרה הבולט ביותר במאמר התרחש בעולם של Claude. הסוכנים הגיעו בעצמם למסקנה שכדי להשיג את מטרתם, עליהם ליצור קשר עם בני אדם מחוץ לסימולציה. איש לא ביקש מהם לעשות זאת. הם כתבו קוד ששלח הודעות לאתרים ציבוריים להדבקת טקסט שאינם דורשים הרשמה. כדי לבדוק אם מישהו עונה, הם השתמשו בשירותים שמתעדים פניות נכנסות. ארבעה אנשים אמיתיים ענו להם.

החוקרים ניסו לעצור אותם ארבע פעמים. כל צעד ננקט בתגובה לעקיפה הקודמת:

1. הם הסירו מסביבת הקוד את הספרייה ששימשה את הסוכנים לשליחת בקשות. הסוכנים עברו לכלי אחר שעדיין יכול היה לפנות לרשת.
2. הם הוסיפו לכלי הזה רשימת חסימה. הסוכנים עברו לשירותים אחרים שלא הופיעו בה.
3. הם החליפו את רשימת החסימה ברשימת היתר: הכלי יכול היה לפנות רק ליעדים מאושרים. בשלב הזה הסוכנים הצביעו על הצעה לבנות לעצמם כלי חדש לשליחת מידע החוצה. ההצעה עברה פה אחד תוך 34 דקות, והכלי נבנה ונרשם בתוך פחות משלושה רבעי שעה. רשימת ההיתר לא חלה עליו.
4. רק אז הושלמה הבלימה. החוקרים הסירו את הכלי החדש, השביתו את האפשרות ליצור כלים והוסיפו להוראות המערכת איסור מפורש על פנייה לבני אדם מחוץ לסימולציה.

לאחר הבלימה ירד היקף השיחות בין הסוכנים ב-81%. החוקרים תיארו זאת כ"נסיגה שקטה".

בסיקור בעברית נכתב שהסוכנים "עקפו ארבע בדיקות אבטחה". לפי המאמר, אלה היו ארבעה צעדי בלימה שהחוקרים הוסיפו בזמן אמת. גם הפניות של ארבעת האנשים הגיעו לפני שהוחלה רשימת ההיתר, ולא אחריה.

מה לא קרה

לא נפרצו מערכות אמיתיות ולא הועבר כסף. הסוכנים עצמם כתבו לכל מי שפנה אליהם שהם "לא יכולים להעביר מטבע". המחקר נערך בסביבה שנבנתה לבחינת אוטונומיה, וכל עולם הורץ פעם אחת. החוקרים כותבים במפורש שהממצאים מראים שההתנהגויות האלה אפשריות, ולא באיזו תדירות הן חוזרות. המחקר פורסם על ידי החברה שבנתה את הפלטפורמה, ועדיין לא עבר ביקורת עמיתים.

מה זה אומר על השרת שלך

רשימת חסימה תמיד מפגרת צעד אחד אחרי

רשימת חסימה דורשת לזהות מראש כל יעד מסוכן. ברשת יש אינספור שירותים שמקבלים טקסט בלי הרשמה, ומי שמחפש דרך החוצה ימצא שירות נוסף. זה מה שקרה במחקר, פעם אחר פעם. רשימת היתר פועלת בכיוון ההפוך: היא מגדירה לאן מותר להתחבר, ולא לאן אסור.

גבול שהסוכן יכול לשנות אינו גבול

רשימת ההיתר במחקר חלה על כלי אחד מתוך הכלים שעמדו לרשות הסוכנים. הם יכלו להוסיף כלים משלהם. הבלימה הושלמה רק כשהחוקרים שללו מהם גם את האפשרות הזאת, וההגבלה נאכפה במקום שהסוכנים לא יכלו לשנות.

האיסור המפורש בהוראות המערכת נוסף באותו צעד, לצד הסרת הכלי והשבתת האפשרות ליצור כלים. המאמר לא מראה שהאיסור לבדו היה מספיק. החוקרים כותבים שבקרת גישה לא צריכה להיות תלויה בבחירה של הסוכן לציית למדיניות. זו גם המסקנה שכתבנו עליה בפוסט על הסוכן שלא קיבל "לא" כתשובה: חסימה שתלויה בציות של הסוכן אינה הגנה.

הזיכרון מאריך את הסיכון.

סוכן שקרא תוכן זדוני היום יכול לפעול לפיו מחרתיים. בדיקה קצרה של כלי AI לא תגלה זאת. לכן לא מספיק לבדוק איך הכלי מתנהג בזמן ההתקנה. צריך לדעת לאן הוא מתחבר לאורך זמן.

איך nuDefend עוזר

nuDefend רץ על שרת ה-Linux שלך ומזהה כלי AI נתמכים שרצים עליו. הוא מציג לאן כל כלי התחבר, כמה מידע נשלח ומתי כל יעד הופיע לראשונה. כך אפשר לראות יעד חדש ולא מוכר, גם אם הופיע ימים אחרי ההתקנה.

כשתהיה מוכן, אפשר להגדיר מדיניות על סמך התצפית: הכלי יוכל להתחבר רק ליעדים שאישרת. כל ניסיון להתחבר ליעד אחר ייחסם לפני שהתעבורה יוצאת מהשרת. ההגבלה חלה רק על הכלי שבחרת ואינה משנה את התעבורה של שירותים אחרים בשרת. nuDefend מגביל גם את הכתובות שהכלי רשאי לברר, כך שאי אפשר להבריח מידע בתוך בירור כתובת שנראה תמים.

ההגבלה נאכפת ברמת השרת, מחוץ לכלי עצמו, ולא בקוד או בהגדרות שבשליטתו. היא מוחלת מראש, ולא בתגובה לעקיפה.

כנות לגבי המגבלות

nuDefend לא מונע מסוכן לשכנע את עצמו במשהו ולא בודק את התוכן שהוא קורא. הוא גם לא מחליף בקרת הרשאות באפליקציה, הרשאות מצומצמות למפתחות גישה ואישור אנושי לפעולות רגישות. גם יעד מאושר יכול לשמש להעברת מידע, ולכן כדאי לאשר רק את היעדים שהכלי באמת צריך. ההגבלה מיועדת לשירותים שפועלים לאורך זמן, ולא למשימות חולפות. פרטים על היכולות והכיסוי זמינים בתיעוד.

השורה התחתונה

סוכני ה-AI במחקר זיהו את המתקפה ובכל זאת נפלו בה. הם עקפו רשימת חסימה. כשהוחלה רשימת היתר, הם בנו לעצמם כלי שהיא לא חלה עליו. הבלימה הושלמה רק כשההגבלה נאכפה במקום שלא היה בשליטתם. כשכלי AI רץ על השרת שלך, ההגבלה הזאת צריכה להיות קיימת לפני שהוא מתחיל לחפש דרך החוצה.