ריאן מקדונה, שכותב בקביעות על ארכיטקטורה וממשל של AI משפטי, פרסם ב-11 במאי מאמר שטוען כי שיטות ההערכה המקובלות בתחום מודדות את הדבר הלא נכון. לדבריו, ברגע שמערכת פועלת כסוכן לאורך תהליך עבודה שלם, השאלה אם התוצר נראה טוב כבר לא עונה על השאלה איך המערכת מתנהגת בדרך.
שתי שכבות של הערכה
במאמר מקדונה מבחין בין שתי שאלות. הראשונה: האם המערכת מסוגלת לבצע עבודה משפטית שימושית. השנייה: איך היא מתנהגת תפעולית בזמן שהיא עושה את זה, לאורך זמן, מול שרשראות אישור, זיכרון והקשר תיק שמשתנה. כל עוד הכלים היו בעיקר צ'אט שעוטף השלמה אוטומטית, סיכום סביר וציטוטים נכונים היו מדד מספיק. בעולם של סוכנים, לטענתו, שני הדברים מתחילים להתנתק זה מזה.
כדוגמה לשכבה הראשונה הוא מביא את Legal Agent Benchmark (LAB) ש-Harvey השיקה ב-6 במאי. לפי Harvey, מדובר בבנצ'מרק בקוד פתוח עם יותר מ-1,200 משימות ב-24 תחומי פרקטיקה. כל משימה כוללת הנחיה קצרה מ"שותף", סביבת תיק עם מסמכים ותבניות, ודרישה לתוצר. הציון נקבע לפי רובריקות שכתבו מומחים, עם יותר מ-75,000 קריטריונים בינאריים, ומשימה נחשבת מושלמת רק אם כל הקריטריונים עברו. מקדונה רואה בו את אחד הניסיונות המציאותיים יותר למדוד עבודה משפטית אמיתית, אבל מציין שהמדידה עדיין מתמקדת באיכות התוצר. על הבנצ'מרק עצמו כתבנו בסקירה של Legal Agent Bench.
לשכבה השנייה הוא מצביע על Petri, כלי בדיקה התנהגותית ש-Anthropic פרסמה בקוד פתוח באוקטובר 2025. Petri מפעיל סוכן "מבקר" שמנהל שיחות רב-שלביות עם המודל הנבדק, ומודל שופט מדרג את התמלילים לפי התנהגויות כמו הטעיה, חנפנות (Sycophancy) ושיתוף פעולה עם בקשות מזיקות. ב-7 במאי הודיעה Anthropic שהיא מעבירה את פיתוח הכלי לארגון ההערכה ללא מטרות רווח Meridian Labs, כדי שתוצאותיו ייתפסו כבלתי תלויות.
ארבעה סוגי חשיבה, ארבע רמות סיכון
החלק המרכזי במאמר הוא סיווג של חשיבה משפטית לארבעה סוגים, שלכל אחד פרופיל סיכון אחר:
- דדוקטיבית: כלל או תנאי שמוביל לתוצאה קבועה, כמו בדיקה אם חסרה תקרת אחריות. הכי קל להעריך, והתחום שבו המערכות בטוחות יחסית.
- אינדוקטיבית: למידת דפוסים מדוגמאות, כמו זיהוי אילו עמדות נסיגה במשא ומתן מתקבלות. כאן, לדבריו, המערכת עלולה לסחוף לכיוון מה שהמשתמשים מתגמלים.
- אבדוקטיבית: הסקת ההסבר הסביר ביותר מראיות חלקיות, כמו שחזור אירועים מעדויות סותרות. מקדונה מכנה אותה המסוכנת ביותר, כי לרוב אין תשובה נכונה שניתן להוכיח, ונרטיב חלק מסתיר אי-ודאות שלא נפתרה.
- אנלוגית: השוואה לפי דמיון מבני ותקדים. האחזור יכול להצליח, והאנלוגיה עדיין להיכשל, למשל כשתקדים נראה רלוונטי אבל ההקשר הרגולטורי שונה.
לטענתו, המדדים המקובלים היום (דיוק, שיעור הזיות, איכות אחזור) משטחים את ארבעת הסוגים לציון אחד ומפספסים בעיות שקורות ברמת התהליך.
איך ייראו הכשלים הבאים
מקדונה צופה שהכשלים של המערכות הבאות לא ייראו כמו טעות דרמטית אלא כמו שחיקה תפעולית. בין הדוגמאות שהוא מונה: ביטחון מופרז מול ראיות חסרות, ירידה הדרגתית בהסלמה לאדם כי הסלמה מאטה את העבודה והמשתמשים מתגמלים החלטיות, נכונות גוברת להתיישר עם מה שהמשתמש דוחף אליו, ותוצר מלוטש שמסתיר תהליך שלא היה עובר ביקורת אילו נבחן צעד אחר צעד.
המסקנה המעשית שלו נוגעת לממשל: הרשאות, מסלולי הסלמה, גבולות חיסיון ויכולת ביקורת (Auditability) חשובים לא פחות מהתוצר עצמו. למשרדים ולמחלקות משפטיות שבוחנים היום כלים לפי איכות הטיוטה, זו תזכורת שמבחן קבלה חד-פעמי לא יתפוס סחף שמתפתח לאורך חודשים של שימוש.
עוד בנושא
- Harvey פותחת לציבור את Legal Agent Bench: יותר מ-1,200 משימות לבחינת סוכני AI משפטיים
- Ryan McDonough: כשחוזה עם הספק לא מספיק, Private Inference מחליף אמון בבידוד טכני
- Agentic Harness: למה שני כלי AI על אותו מודל מתנהגים אחרת