ריצ'רד טרומנס, מייסד אתר Artificial Lawyer, טוען שדיוק הוא השאלה שתכריע אם GenAI יהפוך לחלק מובנה מהעבודה המשפטית. במאמר We Need To Talk About GenAI Accuracy, שפרסם ביוני 2024, הוא דוחה את הטענה שמספיק "לבדוק את הפלט" וקורא לספקים הגדולים להוביל בנצ'מרקים ציבוריים.
הדיון הזה כבר היה פעם
טרומנס פותח בזיכרון מ-2016, אז שותף במשרד גדול פסל כלים לסקירת חוזים בטענה ש"כלי AI לא עובדים", כי ציפה שיהיו מדויקים בכל פעם. טרומנס עצמו ראה בהם כלים שימושיים גם כשאינם מושלמים. לדבריו, המחלוקת אז ועכשיו נובעת בין השאר מכך שאנשים שונים מגדירים אחרת מה זה "עובד".
הוא מוסיף שגם המדדים המקובלים, Recall (כמה מהתוצאות הנכונות נמצאו) ו-Precision (כמה מהתוצאות שהוחזרו נכונות), לא בהכרח מתאימים ל-GenAI. במאמר מצוטט Tim Pullan, מנכ"ל ThoughtRiver, שלפיו הזיה היא מטבעה בעיית Precision, ושנתון כללי של "כ-90% דיוק" יכול להסתיר Precision של 60% בלבד, כלומר ארבע מכל עשר תוצאות שאינן רלוונטיות או שגויות. טרומנס שואל אם לא כדאי למדוד גם את מידת התועלת של התשובה כמדד בפני עצמו.
לא כל משימה דורשת אותו דיוק
אחת ההבחנות המרכזיות במאמר היא בין סוגי עבודה. ציטוט של פסק דין צריך להיות נכון במדויק. טיוטת סקירה או מייל שיווקי נשפטים אחרת. סיכום מסמך ארוך או ניסוח מחדש של סעיף לפי Playbook נמצאים באמצע, כי ההחלטה מה חשוב ומה איכותי היא במידה רבה סובייקטיבית. מכאן שגם בנצ'מרק אחד לא יספיק, וצריך מדדים שמותאמים לסוג המשימה.
"שרשרת האמון"
החלק החד במאמר עוסק בטענה הנפוצה שיש להתייחס ל-GenAI כמו לעוזר משפטי זוטר ולבדוק את עבודתו. טרומנס לא מקבל אותה. לדבריו, שותף בכיר בודק ניסוח, סגנון ומוסיף ידע, אבל נשען על כך שהעובדות שהביא המתמחה נכונות. הוא משווה זאת לעורך בעיתון, שלא חוזר על כל הראיונות של הכתב. אם שכבת העובדות הבסיסית אינה אמינה, כל שרשרת האמון בתוך המשרד, ובין המשרד ללקוח, מתפרקת, ושיפור היעילות מתאדה כי צריך לבדוק הכל מחדש.
ברקע המאמר עמד מחקר של Stanford RegLab ו-HAI שפורסם במאי 2024. החוקרים הריצו יותר מ-200 שאלות משפטיות שנבנו מראש ומצאו ש-Lexis+ AI ו-Ask Practical Law AI הניבו מידע שגוי ביותר מ-17% מהמקרים, ו-Westlaw AI-Assisted Research ביותר מ-34%. הם הבחינו בין תשובה שגויה לבין תשובה "שעוגנה לא נכון", כזו שמנסחת את הדין נכון אבל מפנה למקור שלא תומך בה, וטענו שהסוג השני מסוכן במיוחד כי הוא נראה מבוסס. טרומנס מזכיר את המחקר, מציין שגם לו יש חולשות, וכן את העובדה ש-Thomson Reuters חלקה על ממצאיו. על השקת Lexis+ AI באוסטריה, שבה צוות אקדמי בוחן את איכות התשובות, דיווחנו בדצמבר.
מי יקבע את הסטנדרט
ההמלצה של טרומנס היא בנצ'מרקים ציבוריים ומשותפים, שיתחשבו בהבדלים בין משימות. הוא מציע ש-Thomson Reuters ו-LexisNexis, שיש להן את המשאבים, יובילו, בהנחה ששאר השוק ירגיש לחץ להצטרף. הוא גם מזכיר שב-2016 חברות AI מובילות סירבו להשוואת דיוק פומבית מחשש שמתחרים ייראו טוב יותר, ומעיר ש-Harvey כמעט שלא מדברת עם התקשורת על ביצועים. גם חוקרי סטנפורד הגיעו לאותו כיוון: הם כתבו שהספקים מספקים מעט גישה שיטתית ומעט נתוני הערכה, ושהיעדר שקיפות מקשה על עורכי דין לעמוד בחובות הפיקוח שלהם.
לעורכי דין שבוחנים כלים, ההבחנות של טרומנס מתורגמות לשאלה פרקטית לפני כל פיילוט: באיזו משימה בדיוק משתמשים בכלי, כמה דיוק המשימה הזו דורשת, ואיך הספק מודד אותו.
עוד בנושא
- Lexis+ AI הושקה באוסטריה, עם צוות אקדמי שבוחן את איכות התשובות
- מה קראו בליגל-טק ב-2024: 24 מתוך 40 הידיעות הנקראות ב-LawSites עסקו ב-AI גנרטיבי