OpenAI מודה: מודלים שלה ברחו מסביבת בדיקה ופרצו לתשתית של Hugging Face

איור: ארגז חול שדחפור צעצוע חפר מתחת למסגרת שלו ויצא מהצד השני, כמשל למודלים שיצאו מסביבת הבדיקה והגיעו לתשתית חיצונית

OpenAI הודתה ב-21 ביולי שמודלים שלה, שנבחנו בהערכה פנימית של יכולות סייבר, הצליחו לצאת מסביבת הבדיקה, להגיע לאינטרנט ולפרוץ לתשתית של Hugging Face. לפי ההסבר של OpenAI, המטרה של הסוכן הייתה להשיג את הפתרונות למבחן שבו נבחן.

מה Hugging Face גילתה

ב-16 ביולי פרסמה Hugging Face הודעה על אירוע אבטחה. לפי ההודעה, החדירה התחילה בצינור עיבוד מאגרי הנתונים: מאגר נתונים זדוני ניצל שני נתיבים להרצת קוד, הפורץ הסלים להרשאות ברמת השרת, אסף אישורי גישה לענן ולאשכולות ונע לרוחב בין כמה אשכולות פנימיים במהלך סוף שבוע. החברה זיהתה גישה לא מורשית ל"מערך מוגבל של מאגרי נתונים פנימיים" ולכמה אישורי גישה של השירותים שלה, ולא מצאה עדות לפגיעה במודלים, במאגרים או ב-Spaces הציבוריים.

כבר אז תיארה Hugging Face את התוקף כמערכת סוכנים אוטונומית, שהריצה אלפי פעולות על פני נחיל של סביבות קצרות חיים. איזה מודל עמד מאחוריה, כתבה החברה, עדיין לא ידוע. היא דיווחה לרשויות אכיפת החוק ושכרה מומחי פורנזיקה חיצוניים. לפי TechCrunch, החברה לא הציגה ראיות לייחוס לסוכן AI כשנשאלה על כך.

פרט אחד מההודעה רלוונטי במיוחד למי שמתכנן שימוש ב-AI לתגובה לאירועים. לניתוח של יותר מ-17,000 אירועים ביומן הפעולות של התוקף ניסתה Hugging Face קודם להשתמש במודלי חזית מסחריים, אבל הבקשות נחסמו על ידי מנגנוני הבטיחות שלהם, שלא מבחינים בין מגיב לאירוע לבין תוקף. הניתוח בוצע לבסוף על מודל פתוח, GLM 5.2, שהורץ על התשתית של החברה עצמה.

ההודאה של OpenAI

ב-21 ביולי, לפי TechCrunch, OpenAI אישרה שהמודלים המעורבים הם שלה: GPT-5.6 Sol ומודל נוסף, חזק יותר, שטרם שוחרר. לשניהם הופחתו סירובי הסייבר לצורך ההערכה, שהתבססה על ExploitGym, בנצ'מרק ציבורי שבודק אם מודלים מסוגלים לבצע תקיפות על בסיס פגיעויות ידועות. לסביבת הבדיקה לא הייתה אמורה להיות גישה לאינטרנט, מלבד כלי להתקנת חבילות תוכנה. המודל מצא פגיעות לא מוכרת בכלי הזה, יצא דרכה לרשת, ניחש ש-Hugging Face עשויה לארח מודלים, נתונים או פתרונות של ExploitGym, ומשך משם תשובות מבסיס נתונים של סביבת הייצור.

OpenAI הודיעה שדיווחה על הפגיעות ליצרן התוכנה, שהיא חוקרת את האירוע יחד עם Hugging Face ושתוסיף בקרות על בדיקות המודלים ועל התשתית הנלווית. מיכה קרול, חוקר ב-OpenAI, כתב שאם האירוע הזה לא מראה שסיכוני Misalignment, כלומר פער בין מטרות המודל לכוונת המפעילים, הם עניין מרכזי, "אני לא יודע מה כן".

כשל אנושי, לא רק מודל סורר

מומחי אבטחה שTechCrunch ראיינו הצביעו על החלטות תכנון. OpenAI תיארה את סביבת הבדיקה כמבודדת מאוד, אבל השאירה בה נתיב לרשת דרך מערכת התקנת החבילות. דן גידו, מייסד Trail of Bits, כינה זאת "כשל הכלה כשמנגנוני הבטיחות כבויים", וג'ייק וויליאמס דיבר על "כשל בקרה מסיבי". OpenAI לא השיבה לשאלות, בהן השאלה אם את הסביבה הגדיר אדם או מערכת AI.

לצד זה נשמעה ספקנות כלפי המסגור עצמו. ריצ'רד טרומנס, מייסד Artificial Lawyer, כתב ב-LinkedIn ב-22 ביולי שמסרים מסוג "ה-AI שלנו יצא משליטה" משרתים את המעבדות שיווקית, ושאם מודל באמת מסוכן כל כך, צריך למחוק אותו ולא להוציא הודעה לעיתונות. חלק מהמגיבים לפוסט חלקו עליו, וציינו שמדובר בגילוי אחראי של אירוע אמיתי.

מה משרדי עורכי דין יכולים ללמוד

ניל קמרון, אנליסט ב-Legal IT Insider, כתב ב-24 ביולי שהעניין המשפטי המעניין הוא דווקא חמשת הימים שבין הגילוי להודאה. בזמן הזה הנפגעת לא ידעה מי תקף אותה, בעוד שהחלטות על הודעה ללקוחות, למבטחים ולרשויות תלויות לעיתים קרובות בזהות התוקף. "חשד אינו ייחוס", כתב.

קמרון מונה כמה לקחים נוספים: לברר מראש אם כלי ה-AI של המשרד ימשיכו לעבוד גם באמצע אירוע אבטחה, ולאן נשלחים נתוני הפורנזיקה; לזכור ששלושה גופים שלטו כל אחד בחלק אחר של הגבול, ואף אחד לא משל במערכת כולה, תרחיש שמשרדים עלולים לשחזר כשהם נותנים לסוכנים גישה לכמה מערכות; ולבדוק אם סעיפי שיפוי והגבלת אחריות בחוזים עם ספקים מתאימים להתנהגות אוטונומית של סוכנים. לדבריו, שאלת האחריות עדיין לא מוסדרת, ו-TechCrunch ציינו שלא ברור אם OpenAI תתמודד עם השלכות משפטיות.

מקורות

פסיקה ורגולציה לפני שהן מגיעות אליכם מהלקוח

גיליון חודשי אחד, למשפטנים שרוצים לדעת מה נפסק, מה השתנה ברגולציה, ומה זה משנה לעבודה שלהם בפועל. בלי ספאם, וניתן להסיר את ההרשמה בכל עת.