Vals AI פרסמה ב-14 באוקטובר את דוח VLAIR למחקר משפטי, שבדק ארבעה מוצרי AI מול קבוצת עורכי דין על כ-200 שאלות מחקר אמריקאיות. כל ארבעת המוצרים קיבלו ציון גבוה יותר מהקבוצה האנושית, וההפתעה העיקרית הייתה ש-ChatGPT הגנרי השתווה לכלים המשפטיים הייעודיים בדיוק.
מי נבחן ואיך
הדוח הוא המשך לדוח VLAIR הראשון מפברואר 2025, שהשאיר את המחקר המשפטי בחוץ והבטיח מחקר נפרד בהמשך השנה. על ממצאי הדוח הראשון דיווחנו כאן במרץ. הפעם השתתפו שלושה כלים משפטיים, Alexi, Counsel Stack ו-Midpage, ולצידם ChatGPT בגרסת Team של OpenAI. את ה"בסיס האנושי" סיפקו עורכי דין ממשרד אמריקאי שלא נחשף בשמו, שעבדו בלי AI גנרטיבי וקיבלו שבועיים לענות.
את השאלות ואת תשובות הייחוס כתבו שישה משרדים: Reed Smith, Fisher Philips, McDermott Will & Emery, Ogletree Deakins, Paul Hastings ו-Paul Weiss. ההערכה נעשתה בעיוורון ובאופן ידני, בידי מעריכים מ-LegalBenchmarks.ai, מ-Vanderbilt AI Law Lab ומהפקולטה למשפטים של BYU, ולצידם מעריכים אנונימיים. כל תשובה דורגה בשלושה מדדים: דיוק (50% מהציון), סמכותיות המקורות (40%) והתאמת התשובה (10%).
המספרים
לפי הסיקור ב-LawSites, ציון הדיוק של עורכי הדין עמד על 71%. Counsel Stack הגיע ל-81%, Alexi ו-ChatGPT ל-80%, ו-Midpage ל-79%. בציון המשוקלל הכולל המוצרים נעו בין 74% ל-78%, מול 69% לעורכי הדין. Counsel Stack קיבל את הציון הגבוה ביותר בכל שלושת המדדים.
הפער בין הכלים המשפטיים ל-ChatGPT הופיע בסמכותיות. לפי הדוח, הכלים הייעודיים קיבלו בממוצע 6 נקודות יותר מ-ChatGPT במדד הזה, ו-Vals ייחסה את ההבדל לגישה למאגרים משפטיים ולמקורות ציטוט מסודרים. ChatGPT הוביל רק בסוג השאלות שדרש את המידע העדכני ביותר, ולפי הדוח הסיבה היא שהוא משתמש בחיפוש ברשת כברירת מחדל.
עוד ממצאים מהדוח:
- ה-AI גבר על עורכי הדין ב-150 שאלות, 75% מהמדגם, ובשאלות האלה הפער הממוצע היה 31 נקודות.
- עורכי הדין הובילו בארבעה מתוך עשרה סוגי שאלות, בעיקר כאלה שדרשו ניתוח פרשני עמוק.
- שאלות שחצו כמה תחומי שיפוט היו קשות לכולם, עם ירידה ממוצעת של 14 נקודות. סקר של 50 מדינות היה קשה לכל המשתתפים.
- לעורכי הדין לקח בממוצע כ-1,400 שניות לשאלה, יותר מ-20 דקות. הכלים ענו בתוך שניות או דקות.
מה חסר בתמונה
שלושת השחקנים הגדולים בשוק המחקר המשפטי לא מופיעים בתוצאות. לפי LawSites, Thomson Reuters ו-LexisNexis לא הצטרפו, ו-vLex, שעסקת רכישתה בידי Clio הוכרזה ביוני, הסכימה בהתחלה ופרשה לפני הפרסום בטענה שהמבחן לא נבנה עבור כלים ארגוניים.
הדוח עצמו מפרט מגבלות: השאלות נשלחו כפנייה בודדת בלי המשך שיחה, ההנחיות כללו רמזים לתחום השיפוט, ומשימות כמו מציאת תימוכין לטיעון או הפקת ציטוטים בפורמט מלא לא נבדקו. Vals גם מציינת שיש לה קשר עסקי עם אחד המשתתפים או יותר.
ב-Artificial Lawyer הזכירו שהנתונים נאספו ביולי, כשלושה חודשים לפני הפרסום. ריאן קרישנן מ-Vals אמר שם שהמודלים "השתפרו מהר מאוד", וטרה ווטרס, יועצת שעובדת עם Vals, ציינה שהמבחן לא בדק הכנת חומר להגשה לבית משפט, התחום שבו לדבריה צ'טבוטים כלליים מתקשים במיוחד.
למה זה מעניין משרדים
לעורכי דין שבוחנים כלי מחקר, הדוח נותן שתי נקודות עבודה. הראשונה: בדיוק הגולמי ההבדל בין כלי משפטי בתשלום לבין צ'טבוט כללי היה קטן במבחן הזה. השנייה: ההבדל הופיע באיכות המקורות ובציטוטים, וזה בדיוק החלק שעורך דין צריך לאמת לפני שהוא מגיש משהו. הדוח מתייחס לדין האמריקאי בלבד, ולא בדק מחקר בדין הישראלי או בעברית.
עוד בנושא
- הבנצ'מרק הראשון של Vals: ארבעה כלי AI משפטיים מול עורכי דין בשבע משימות
- Midpage: מחקר פסיקה בטבלה, עם שאלות כן או לא על כל פסק דין
- ריצ'רד טרומנס על דיוק ב-GenAI משפטי: בלי שכבת עובדות אמינה, שרשרת האמון נשברת