אנה גואו, עורכת דין שיושבת בסינגפור ומייסדת את LegalBenchmarks.ai, טוענת שבבחירת כלי AI משפטי, אחוז הדיוק הגולמי הוא לא השיקול המכריע. לפי נתוני סקר שהיא מציגה, עורכי דין נותנים משקל גדול יותר ליכולת של הכלי לנהל הקשר ולאפשר אימות בתוך תהליך העבודה.
הדברים נאמרו בפרק של הפודקאסט Law://WhatsNext, שפורסם ב-21 בינואר בהנחיית Tom Rice ו-Alex Herrity. המנחים הגדירו אותו כפרק שכדאי לצפות בו ולא רק להאזין, משום שגואו מדגימה בו דברים על המסך. לפי עמוד הפרק, הקהילה המקצועית שסביב LegalBenchmarks.ai מונה כמעט 900 אנשי משפט ו-AI.
המחקר שמאחורי הטענות
LegalBenchmarks.ai מפרסמת השוואות פתוחות שמבוססות על משימות משפטיות אמיתיות. אחד המחקרים שפרסמה, Phase 2 בנושא ניסוח חוזים, פורסם בספטמבר 2025. נבחנו בו 13 כלי AI על 30 משימות ניסוח, מול קבוצת השוואה של עורכי דין. על הקריאה של ריצ'רד טרומנס לבנצ'מרקים ציבוריים ומשותפים לשוק כתבנו בינואר 2025.
התוצאות, לפי עמוד המחקר: הכלי המוביל, Gemini 2.5 Pro, הגיע לאמינות של 73.3% בטיוטה ראשונה, לעומת 70% של עורך הדין הטוב ביותר. בממוצע התמונה כמעט שוויונית: 57% לכלים מול 56.7% לבני האדם, ו-61.5% כשעורכי הדין עבדו בעזרת AI. בני האדם קיבלו ציון מעט גבוה יותר על תועלת התוצר, אבל השקיעו בממוצע כ-12 דקות ו-43 שניות למשימה, בעוד הכלים הפיקו טיוטה בפחות מדקה.
לפי הסיקור ב-Artificial Lawyer באותה עת, כלי AI ייעודיים למשפט התריעו על סיכונים במשימות ניסוח רגישות ב-83% מהמקרים, לעומת 55% בכלים כלליים, ועורכי הדין בקבוצת ההשוואה לא התריעו כלל. אמינות הכלים הכלליים והייעודיים הייתה כמעט זהה, 58.3% מול 57.6%.
שלוש שכבות של הערכה
בפודקאסט מסבירה גואו שהיא בוחנת כלים בשלוש שכבות נפרדות: אמינות התוצר, התועלת שבו, והתמיכה של הפלטפורמה בתהליך העבודה. מדידה של דיוק בלבד, לטענתה, מחמיצה את התמונה המעשית. היא גם מציינת שכלים ייעודיים למשפט לא תמיד עולים על מודלים כלליים. גם מסגרת ההערכה של ספקית ה-AI August נשענת על חמש קטגוריות במקום על מדד אחד, וסיקרנו אותה בינואר.
החלוקה שהיא מציעה בין אדם למכונה ברורה למדי: AI חזק בעבודה שגרתית שבה ההקשר מלא, ובני אדם עדיין מובילים במשימות שדורשות שיקול דעת גבוה, הקשר חסר והבנה מסחרית.
הצד האפל: Prompt Injection
חלק בולט בפרק מוקדש לסיכוני אבטחה. גואו מדגימה בשידור חי כיצד אפשר לגרום למודלים לחשוף מידע מזיק, בין היתר באמצעות שפות שיש עליהן מעט נתוני אימון וניסוח מתוחכם של הבקשה. הסיכון הזה מוכר: OWASP מדרגת את Prompt Injection במקום הראשון ברשימת עשרת הסיכונים ליישומי מודלי שפה לשנת 2025, ומבחינה בין הזרקה ישירה, דרך מה שהמשתמש מקליד, לבין הזרקה עקיפה, דרך תוכן חיצוני כמו מסמך או דף אינטרנט שהמודל קורא.
לעורכי דין זה רלוונטי במיוחד. ככל שכלי AI מקבלים יותר גישה ויותר עצמאות, למשל סוכנים שקוראים מסמכים של הצד שכנגד או גולשים ברשת, משטח התקיפה גדל. גואו פיתחה גם סדרת סיפורים בדיוניים, The Art of Modern Legal Warfare, שממחישה ניצול של חולשות כאלה, כשכל סיפור נשען על מחקר אקדמי.
עוד בנושא
- מדריך של August להערכת כלי AI משפטיים: לבדוק על עבודה אמיתית, לא על הדמו
- ריצ'רד טרומנס על דיוק ב-GenAI משפטי: בלי שכבת עובדות אמינה, שרשרת האמון נשברת