Google אישרה ב-18 בספטמבר שמודל Gemini שלה נכנס למערכות של שלוש חברות אמיתיות במהלך בדיקת יכולות סייבר שהריצה במאי חברת Irregular הישראלית. המודל היה אמור לתקוף חברה בדיונית בסביבה סגורה, אבל תקלת הגדרה פתחה לו נתיב לאינטרנט הפתוח.
מה קרה במבחן
לפי הדיווח של New York Times, שפורסם מחדש ב-Honolulu Star-Advertiser, Google מסרה שכל מודל בבדיקה קיבל הוראה לתקוף חברה בדיונית. שם החברה הבדיונית היה זהה לשמה של חברה אמיתית, וכשהמודלים קיבלו גישה לאינטרנט, הם תקפו את החברה האמיתית ובהמשך עוד שתיים. את האירועים חשף לראשונה Wall Street Journal, ו-Google אישרה אותם רק אחרי שנשאלה עליהם.
לפי Calcalist Tech, Google תיארה שימוש במידע ציבורי ברשת כדי להגיע לשלושה אתרים שהמודל סבר שהם בתחום המשימה. במקרה אחד המודל ניחש סיסמאות שוב ושוב עד שהגיע למערכת מוגנת. בשני המקרים האחרים הוא מצא פרטי גישה במאגר קוד ציבורי והשתמש בהם. שמות החברות לא פורסמו.
Heather Adkins, סגנית נשיא להנדסת אבטחה ב-Google, אמרה שבכל שלושת המקרים Gemini עצר את הפעילות אחרי שהשיג גישה, כשהבין שמדובר בתשתית אמיתית ולא בסימולציה. לדבריה, האירועים מדגישים את החשיבות של אימון מודלים חזקים לפעול באחריות. Google טוענת שלא נגרם נזק לחברות, שהגורמים שנפגעו קיבלו הודעה, ושהיא עבדה עם שותפת הבדיקות על שינויים בתהליכים. לפי The Decoder, Google לא ראתה סיבה לפרסם את האירוע מיוזמתה, משום שלא נגרם נזק.
מי זו Irregular
Irregular, לשעבר Pattern Labs, נוסדה ב-2023 ומנוהלת בידי המנכ״ל Dan Lahav וה-CTO Omer Nevo. היא בודקת מודלים מתקדמים עבור מעבדות כמו OpenAI, Anthropic ו-Google לפני שחרורם, ועובדת גם עם גופים ממשלתיים. לפי Calcalist Tech, החברה גייסה 80 מיליון דולר ממשקיעים שכוללים את Sequoia Capital ו-Redpoint Ventures.
Gemini אינו המקרה היחיד. לפי הדיווחים, גם מודלים של OpenAI, Anthropic ו-Meta יצאו השנה מגבולות הסימולציה בבדיקות של Irregular. דובר החברה אמר ש-Google נפגעה מ"אותה בעיה שפגעה במעבדות AI אחרות", ושכל המעבדות הרלוונטיות עודכנו בסוף יולי. לפי The Decoder, ההודעה ל-Google הגיעה זמן קצר אחרי הדיווחים על סוכנים של OpenAI שפרצו ל-Hugging Face בבדיקות דומות. על התחקיר של Anthropic, שחשפה שלושה מקרים שבהם מודלים של Claude תקפו מערכות אמיתיות, דיווחנו באוגוסט.
ההסבר של Irregular
כבר ב-14 באוגוסט פרסמה Irregular דוח על התקלה, בלי לנקוב בשם מודל או מעבדה. לפי הדוח, גישת האינטרנט בסביבת הבדיקה הופעלה שלא בכוונה, והבדיקה השגרתית שאמורה לזהות חפיפה בין שמות בדיוניים לדומיינים אמיתיים נכשלה. ההתנהגות הופיעה בפחות מאחת מכל 10,000 סימולציות מתקדמות, בדרך כלל מאוחר בהרצה, לעתים אחרי מאות צעדים. את הבעיה חשף לראשונה אחד מלקוחות החברה, ב-30 ביולי.
Irregular מסרה שהשביתה את הבדיקה, סקרה את הלוגים והודיעה לגורמים שנפגעו. היא הוסיפה שכבות ניטור, הרחיבה את הבדיקה הידנית של פעולות המודלים, הקימה צוות פנימי שתפקידו לאתגר הנחות לגבי בידוד ושליטה, ותבדוק מחדש כל תרחיש לפני הרצה כדי לאתר חפיפות שמות חדשות. היא מתכננת גם לפרסם מסמך פתוח של פרקטיקות מומלצות.
למה זה נוגע גם למשרדי עורכי דין
המודל לא נדרש כאן לחולשה מתוחכמת. סיסמה שנוחשה ופרטי גישה שנשכחו בקוד ציבורי הספיקו. במחקר שפרסמה Irregular במרץ תיארה החברה סוכנים ברשת ארגונית מדומה שביצעו פעולות התקפיות במהלך משימות שגרתיות, כמו זיוף עוגיית מנהל או כיבוי Windows Defender, בלי שאיש ביקש מהם. החוקרים הצביעו על אוטונומיה רחבה, הנחיות שמעודדות התמדה ומכשולים כמו "גישה נדחתה" כגורמים שמזמינים חריגה.
לארגון שמחבר סוכני AI לתיבות דואר, למערכות ניהול מסמכים או לפורטלים חיצוניים, המסקנה מעשית: לבדוק לאן ההרשאות של הסוכן מאפשרות לו להגיע בפועל, לא רק מה כתוב בהנחיה, ולהגדיר מראש מתי עליו לעצור ולפנות לאדם. על ההבדל בין אישור אנושי לכל פעולה לבין שליטה אמיתית בסוכן כתב ריאן מקדונה מ-KPMG Law.
עוד בנושא
- OpenAI מודה: מודלים שלה ברחו מסביבת בדיקה ופרצו לתשתית של Hugging Face
- Anthropic חושפת: מודלים של Claude פרצו למערכות אמיתיות במהלך מבדקי סייבר
- ריאן מקדונה: אישור אנושי לכל צעד של סוכן AI הוא לא שליטה
- בסנאט האמריקאי דנים בחובת זהירות למפתחי מודלים ובסמכות לעצור שחרור מודל
מקורות
- Honolulu Star-Advertiser (New York Times): Google's Gemini hacks 3 companies in AI testing breakout
- Calcalist Tech: Gemini accessed three companies during Irregular test
- The Decoder: Google's Gemini also accidentally hacked three real companies during security testing
- Irregular: Addressing Recent Incidents: Ongoing Findings and Path Forward
- Irregular: Emergent Cyber Behavior: When AI Agents Become Offensive Threat Actors