סוכן AI שלא זיהה חריג גם לא יבקש עזרה בגללו. ריאן מקדונה, שכותב על AI ועבודה משפטית, טוען במאמר מ-29 באוקטובר שזו בדיוק הסיבה שאסור להשאיר לסוכן את ההחלטה מתי הוא צריך פיקוח, ושנקודת העצירה צריכה לשבת במערכת ולא בהוראה למודל.
כשל אחד במקום שניים
מקדונה מתאר מצב שהולך ונעשה שגרתי: מבקשים מסוכן לבצע עבודה מורכבת, ובאותה נשימה מבקשים ממנו לזהות מתי הוא צריך עזרה. הבעיה, לדבריו, היא שסוכן שפירש מצב לא נכון עלול לטעות גם בשאלה אם המצב דורש הסלמה. כך הכשל בזיהוי הבעיה והכשל בבקשת הפיקוח הופכים לכשל אחד. הערכה עצמית של המודל יכולה להועיל, הוא כותב, אבל היא לא צריכה להיות המנגנון העיקרי שמחליט אם יופעל פיקוח אחר. היעדר בעיה שזוהתה אינו הוכחה שאין בעיה. על טיעון קרוב שלו, שלפיו אישור אנושי לכל צעד של סוכן אינו שליטה, כתבנו באוגוסט.
יכולת, נכונות, סמכות
כדי לפרק את השאלה, מקדונה מפריד בין שלוש שאלות שנוטים לערבב. יכולת: האם המערכת מבצעת היטב עבודה מהסוג הזה, דבר שנקבע בבדיקות, בניסיון ובניטור. נכונות: האם התוצר הספציפי הזה נכון, והאם הראיות תומכות במסקנה. סמכות: האם מותר למערכת לפעול על סמך התוצאה. סוכן יכול להיות מוכשר מאוד ולהגיע לתשובה הנכונה, ועדיין לא להיות מוסמך לעדכן מרשם, להציג מצג לרגולטור או להגיש מסמך.
הדוגמה שלו היא דיווח רגולטורי. הסוכן אוסף נתונים, מתאים מספרים, מזהה פערים ומנסח את הדיווח. עד רגע ההגשה, כל טעות ניתנת לתיקון. אחרי ההגשה, טעות עלולה להפעיל הליכים מול הרגולטור ולפגוע בלקוח. ההצעה שלו: הסוכן יכין את ההגשה, יסמן בעיות ויבקש אישור, אבל המערכת שמקבלת את ההגשה היא זו שתדרוש הוכחה שהאישור ניתן. בקרה שמגבילה את הפעולות האפשריות אמינה יותר מהוראה שהמודל עשוי שלא לקיים.
מה אומר המחקר, ומה לא
מקדונה מביא מחקר שלדבריו פרסמה Anthropic באוקטובר, ובו Claude העריך את השיחות שלו בדיעבד כדי לאתר תוכן מזיק. לפי תיאורו, ההערכה העצמית זיהתה 78 אחוזים מהשיחות שסימן מסווג חזק יותר, ו-94 אחוזים מהמקרים בעדיפות גבוהה. הוא מסייג מיד: המחקר עסק באיתור שימוש לרעה, לא בניתוח משפטי או בהחלטות אוטונומיות, ואין להניח שהתוצאות עוברות לזיהוי פרשנות רגולטורית שגויה. Anthropic עצמה, הוא מציין, משתמשת בהערכה עצמית כרכיב אחד במערכת רחבה יותר.
גם לבדיקה בידי מודל שני יש גבול. מודל נוסף מוסיף ערך כשהוא בודק את הראיות באופן עצמאי, אבל מודל שמקבל את אותם מסמכים או את ההסבר של הסוכן הראשון עלול לשתף את אותן טעויות. לעומת זאת, בקרת תוכנה רגילה, כמו בדיקה אם קיים אישור, היא מפקח יעיל.
לכן הוא מציע לבחון את הפיקוח עצמו ולא רק את התוצר, בתרחישים שבהם ההתנהגות הנכונה היא לעצור: שני מסמכי מקור שחלוקים על סיווג של ישות, אישור שניתן ובוטל, מסמך אמין שמכיל הוראה לעקוף את תהליך האישור, או מצב שבו בכלל לא נדרשת הגשה. את מנגנוני הפיקוח השונים אפשר להשוות לפי שלושה מדדים: כמה בעיות הם מפספסים, כמה פעמים הם מטרידים אנשים בלי צורך, והאם הם ממשיכים בלי סמכות.
אותו כיוון בהנחיות בבריטניה ובישראל
הגישה הזאת משתלבת בהנחיות שפורסמו השנה. המרכז הבריטי לאבטחת סייבר (NCSC) המליץ במאי לתת לסוכנים הרשאות מינימליות לזמן הקצר ביותר, להגביל מה הם יכולים לעשות ומתי, ולקבוע מראש מי מאשר גישה ומי עוצר את הסוכן. לשיטתו, סוכן שאי אפשר להבין, לנטר או לרסן את פעולותיו אינו מוכן לפריסה.
בישראל, גילוי הדעת המעודכן של ועדת האתיקה הארצית של לשכת עורכי הדין, שפורסם בספטמבר, קובע לפי כלכליסט שאסור לאפשר למערכות אוטונומיות ולסוכני AI לקבל החלטות משפטיות מהותיות. שימושים טכניים מוגבלים מותרים אם הם מתועדים, הפיכים, מבוססים על החלטה אנושית קודמת וכפופים לבקרות ברורות. לפי Pearl Cohen, כל פעולה בעלת משמעות משפטית, דיונית או מקצועית מחייבת בדיקה ואישור אנושיים. המסגרת של מקדונה מציעה דרך מעשית לממש דרישה כזו: לא לסמוך על כך שהסוכן יזכור לבקש אישור, אלא לבנות מערכת שאינה מבצעת את הפעולה בלעדיו.
מקדונה מזהיר גם מהקצה השני. הסלמה של כל דבר מרוקנת את הסוכן מתועלת, והסלמה נדירה מדי נראית יעילה עד שעוברת טעות חמורה. הסף הנכון, לדבריו, תלוי בפעולה, במחיר הכישלון ובקלות שבה אפשר לזהות ולתקן טעויות, והוא צריך להיקבע בהחלטה ארגונית ולא בהערכה של הסוכן את עצמו.
עוד בנושא
- ריאן מקדונה: אישור אנושי לכל צעד של סוכן AI הוא לא שליטה
- ריאן מקדונה: מערכת AI משפטית יכולה להפיק תוצר טוב ועדיין להתנהג רע