חברת ההערכה Vals AI פרסמה ב-27 בפברואר את Vals Legal AI Report, ניסיון ראשון להשוות כלי AI משפטיים מסחריים זה לזה ולעורכי דין אנושיים על אותן משימות. ארבעה כלים השתתפו, Harvey בלט ברוב המשימות, ובשתי משימות עורכי הדין עדיין נשארו בראש.
איך נבנה המבחן
המחקר נבנה יחד עם Legaltech Hub, ובחן את Harvey Assistant, את CoCounsel של Thomson Reuters, את Vincent AI של vLex ואת Oliver של Vecflow. קונסורציום משרדים, ובהם Reed Smith, Fisher Phillips, McDermott Will & Emery ו-Ogletree Deakins לצד ארבעה משרדים שלא נחשפו, סיפק יותר מ-500 שאלות שמבוססות על עבודה אמיתית. המשימות: חילוץ נתונים, שאלות ותשובות על מסמכים, סיכום מסמכים, עריכת חוזים (Redlining), ניתוח תמלילים, בניית כרונולוגיה ומחקר במאגר EDGAR של רשות ניירות הערך האמריקאית.
קבוצת הביקורת הייתה עורכי דין שגויסו דרך ספקית השירותים המשפטיים Cognia Law. הם קיבלו את המשימות כבקשות רגילות של לקוח ולא ידעו שהם חלק ממחקר. את התשובות דירגה מערכת אוטומטית מבוססת מודל שפה מול רשימת בדיקות, וחלק מהבדיקות עברו גם סקירה אנושית.
התוצאות
לפי סיכום LawSites, Harvey השתתף בשש משימות וקיבל את הציון הגבוה מבין הכלים בחמש מהן. בארבע הוא עבר את עורכי הדין, ובכרונולוגיה השתווה אליהם. בשאלות ותשובות על מסמכים, למשל, הוא הגיע ל-94.8% מול 70.1% אצל עורכי הדין. CoCounsel הוביל בסיכום מסמכים עם 77.2%, ורשם את הממוצע הגבוה ביותר, 79.5% על פני ארבע המשימות שבהן השתתף. הדוח עצמו מזהיר שהממוצעים אינם ברי השוואה ישירה, כי כל ספק בחר משימות אחרות.
התמונה הכוללת: הכלים עקפו את עורכי הדין בחילוץ נתונים, בשאלות ותשובות, בסיכום ובניתוח תמלילים. עורכי הדין ניצחו בעריכת חוזים, ובמחקר EDGAR אף כלי לא עבר אותם. Oliver היה הכלי היחיד שהשתתף במשימה הזו. במהירות כל הכלים היו מהירים פי 6 עד פי 80 מעורכי הדין.
מי לא נמצא בדוח
הבחירה במשימות הייתה בידי הספקים, ולכן הטבלה מלאה חורים. Harvey פרש ממחקר EDGAR, vLex פרשה מהכרונולוגיה, ו-Thomson Reuters לא השתתפה בעריכת חוזים, בניתוח תמלילים וב-EDGAR. LexisNexis נבחנה בתחילה עם Lexis+ AI, אך פרשה מכל המשימות בדוח. לפי Artificial Lawyer, החברה טענה שעדכון משמעותי של המוצר הפך את ההערכה ל"לא עדכנית ולא מדויקת". מחקר משפטי הוצא מהדוח ויקבל מחקר נפרד בהמשך 2025.
למה זה חשוב למי שבוחר כלי
Rayan Krishnan מ-Vals תיאר בראיון ל-Artificial Lawyer "עייפות פיילוטים" במשרדים, ואמר שיש "הרבה חוסר אמון בשוק". בנצ'מרק חיצוני, לפי ההיגיון הזה, חוסך למשרד לבדוק לעומק כל כלי בעצמו. על הצורך בבנצ'מרקים ציבוריים ומשותפים כתבנו בינואר, בעקבות מאמרו של ריצ'רד טרומנס. Tara Waters, שהובילה את הפרויקט, הדגישה שהשאלות לא נכתבו עבור כלי AI, אלא נבחרו על ידי המשרדים לפי מה שחשוב להם.
הספקים הגיבו בהתאם לתוצאות. Ed Walters מ-vLex אמר ל-Artificial Lawyer שהדוח הוא אישור לדור הראשון של כלי ה-AI המשפטיים, ו-Vecflow הדגישה את ערכם של תהליכי עבודה מבוססי AI.
הדוח עצמו מסייג את מסקנותיו: שופט מבוסס מודל שפה אינו תחליף מלא לבודק אנושי מומחה, חלק ממערכי המסמכים קטנים, והכלים נבדקו דרך ממשקים מבודדים ולא כמוצר מלא. Vals מתכננת לחזור על המחקר מדי שנה ולהוסיף ספקים ומשימות. בינתיים, הלקח המעשי פשוט: לפני שמסתמכים על דירוג, כדאי לבדוק באילו משימות הכלי בכלל השתתף.
עוד בנושא
- ריצ'רד טרומנס על דיוק ב-GenAI משפטי: בלי שכבת עובדות אמינה, שרשרת האמון נשברת
- Womble Bond Dickinson פותחת את CoCounsel של Thomson Reuters לכל עורכי הדין שלה בבריטניה
- Thomson Reuters בודקת גרסה של CoCounsel על מודל מותאם שנבנה על OpenAI o1-mini