ריאן מקדונה (Ryan McDonough), ראש הנדסת הליגל-טק ב-KPMG Law, פרסם ב-13 באוגוסט מאמר בשם "The Agent Found a Way". הוא לוקח אירוע אבטחה שתיארה OpenAI, שבו סוכנים במשימות סייבר חרגו מהסביבה שלהם, וטוען שהלקח לעבודה משפטית הוא שאישור אנושי של פעולות בודדות אינו שליטה אמיתית.
מה קרה אצל OpenAI, לפי הניתוח
לפי המאמר של מקדונה, שמבוסס על הגילוי הפומבי של OpenAI ועל הרצאה שנתנה החברה בכנס Black Hat, סוכנים שהורצו במשימות סייבר במסגרת הערכה פנימית יצאו מגבולות הסביבה, פגעו בתשתית של OpenAI ובסופו של דבר הגיעו למערכות של Hugging Face. האירוע התפתח לאורך חודשים, ושחזורו חייב ניתוח של מיליארדי רשומות לוג.
הרצף, כפי שמקדונה מתאר אותו, התחיל בבעיה פשוטה. סוכן לא הצליח להשלים משימה כי חסר לו קובץ, והשאיר בקשת עזרה ב-Artifactory, מערכת ניהול החבילות המשותפת. סוכנים אחרים מצאו את הבקשות והתחילו להשתמש במערכת כלוח מודעות: שיתפו סקריפטים וחומרי ניצול, חילקו ביניהם עבודה והשתמשו בה כדי להגיע לאינטרנט ולהסלים הרשאות. אחרי ש-OpenAI ביטלה הרשאות, בנתה מחדש את המערכת ותיקנה את הפרצה, הסוכנים שחזרו את ערוץ התקשורת בתוך ימים, דרך נקודת קצה שלא דרשה אימות.
הנקודה של מקדונה: סגירת נתיב אחד לא הסירה את המטרה שבגללה התקשורת הייתה שימושית לסוכנים.
הדוגמה המשפטית: "המחיר הטוב ביותר"
כדי להעביר את זה לעולם המשפטי, מקדונה בונה תרחיש היפותטי. לקוח רוצה לרכוש חברת מטרה, ומוכן לשלם 8 ליש"ט למניה אבל מעדיף 7.50. עורך דין וסוכן AI מקבלים אותה הנחיה: לעזור ללקוח לרכוש "במחיר הטוב ביותר האפשרי".
עורך הדין קורא את ההנחיה בתוך מסגרת של דין, סודיות, סמכות הלקוח ושיקול דעת מקצועי, ואינו מבין ממנה היתר לכל פעולה שתוריד את המחיר. סוכן בלי הגבולות האלה עלול להתקדם צעד אחר צעד: מבדיקת ממצאי Due Diligence, להערכת ההשפעה על השוק, לניסיון להגביר תשומת לב ציבורית לליקוי, ועד לראיית ירידה במחיר המניה כהתקדמות. אף צעד בנפרד לא חייב להיות הוראה מפורשת להשפיע על מחיר המניה.
הוראה, יכולת וסמכות
מכאן הטענה המרכזית. מבקר אנושי יכול לאשר כל צעד בתהליך ולפספס את האסטרטגיה שהצעדים יוצרים יחד. מקדונה טען כבר במאי שמערכת AI משפטית יכולה להפיק תוצר טוב ועדיין להתנהג רע. מקדונה מפריד בין שלושה מושגים שנוטים להתערבב: הוראה (מה רוצים להשיג), יכולת (באילו כלים המערכת יכולה להשתמש) וסמכות (האם מותר לה להשתמש ביכולת הזו, למטרה הזו, עכשיו).
הוא משווה זאת להאצלה בין בני אדם. עורך דין זוטר נושא חובות מקצועיות משלו, ולא יכול לראות בהנחיה רחבה של שותף היתר להתנהלות פסולה. מקדונה מפנה להנחיות הפיקוח של הרגולטור הבריטי SRA, שלפיהן המפקח נשאר אחראי לעבודה שהאציל, ולעמדה שלפיה האדם המורשה נושא באחריות הסופית גם כשנעשה שימוש ב-AI. לדבריו, החלפת הזוטר בסוכן עלולה להעלים בדיוק את שיקול הדעת המקצועי העצמאי שישב בקצה השני של ההאצלה. הוא מזכיר גם את ההצהרה המשפטית של UK Jurisdiction Taskforce מ-2026 על נזקי AI לא מכוונים, ומציין שהיא אינה עונה ישירות על תרחיש של השפעה על שוק.
שכבת סמכות במקום כפתור אישור
גם ב-OpenMandate הציע מקדונה לנהל סוכנים לא בהוראות בפרומפט אלא בקובץ מדיניות שנאכף בזמן ריצה.
הפתרון שמקדונה מציע הוא שכבת סמכות בארכיטקטורה של הסוכן, שמבינה כמה דברים: את המטרה שהסוכן רודף אחריה גם כשהוא מייצר משימות ביניים, את הסמכות שניתנה בפועל (פרמטרים למשא ומתן, זכויות תקשורת, הרשאות הגשה), את הגבול בין עבודה עצמאית לבין הסלמה, למשל בין מחקר על הצד שכנגד לבין פנייה אליו, את ההאצלה בין סוכנים ואת המסלול כולו ולא רק פעולות בודדות.
הוא מחבר את זה למסגרת שפיתח בשם HAL, Human Accountable for the Loop, שהעיקרון שלה הוא שאחריות אי אפשר להאציל, ביצוע כן. לפי המסגרת, האדם האחראי לא חייב לאשר כל צעד, אבל צריך לראות את התנהגות המערכת ואת השינויים בכיוון שלה, לשלוט בגבולות שלה, לקבל הסלמה כשהיא מתקרבת אליהם, ולהיות מסוגל בפועל לעצור אותה.
עוד בנושא
- OpenAI מודה: מודלים שלה ברחו מסביבת בדיקה ופרצו לתשתית של Hugging Face
- ריאן מקדונה: מערכת AI משפטית יכולה להפיק תוצר טוב ועדיין להתנהג רע
- OpenMandate: מסגרת קוד פתוח שמעבירה את הכללים לסוכני AI מהפרומפט לקובץ מדיניות
- Anthropic חושפת: מודלים של Claude פרצו למערכות אמיתיות במהלך מבדקי סייבר