Harvey פרסמה ב-6 במאי את Legal Agent Bench (LAB), בנצ'מרק בקוד פתוח לבחינת סוכני AI על עבודה משפטית. בניגוד למבחנים קודמים, שבודקים בעיקר תשובה לשאלה ממוקדת על חוזה או פסק דין, LAB נותן לסוכן תיק שלם ומצפה לתוצר עבודה שאפשר לבדוק.
מה נבדק
לפי הפוסט של Harvey, כל משימה כוללת הנחיה קצרה ותיק לקוח עם החומרים הרלוונטיים, והסוכן צריך להפיק תוצר עבודה שאפשר לבדוק. החברה מתארת את המבנה כחיקוי של האופן שבו משימות מוקצות, מבוצעות ונבדקות במשרדים גדולים.
הגרסה הראשונה כוללת יותר מ-1,200 משימות ב-24 תחומי משפט, ויותר מ-75,000 קריטריונים לבדיקה שנכתבו על ידי מומחים. כל קריטריון הוא בדיקה בינארית של עובדה, מסקנה, הפניה, דרגת חומרה, המלצה, מועד, סכום או עיצוב, והוא קשור לקובץ תוצר מסוים.
הדוגמה שמביאה Harvey היא משימת M&A סביב רכישה בדויה של חברה בשם Crestview Software Solutions בתמורה ל-458 מיליון דולר. במשימה הוטמנו תשע סוגיות משפטיות, והיא נבדקת לפי 57 קריטריונים.
בלי ניקוד חלקי
ההחלטה המתודולוגית הבולטת היא שיטת "all-pass": משימה נחשבת כהושלמה רק אם כל הקריטריונים שלה עברו. כלשון הפוסט, אין ניקוד חלקי על איתור רוב הסוגיות. זו דרישה מחמירה בהרבה ממבחנים שמחשבים אחוז תשובות נכונות, והיא קרובה יותר לאופן שבו שותף בודק עבודה של עורך דין זוטר.
את הקריטריונים אפשר להפעיל באמצעות מודל שופט (LLM judge), להשוות באמצעותם בין מודלים ובין סביבות הרצה, ולהשתמש בהם כאות תגמול באימון מודלים.
Harvey ממקמת את LAB לצד מבחנים קיימים, ובהם BigLaw Bench שלה עצמה, LegalBench, CUAD ו-LEXam, וטוענת שאלה בודקים בעיקר משימות קצרות. LAB נועד למדוד עבודה ארוכה ופתוחה, מהסוג שסוכנים אמורים לבצע.
קוד פתוח, עדיין בלי טבלת דירוג
Harvey מגדירה את LAB כבנצ'מרק הראשון שלה בקוד פתוח מלא. המאגר ב-GitHub כולל את מאגר המשימות, סביבת הרצה ומערכת ניקוד, ומופץ ברישיון MIT.
בעמוד ההשקה מופיעים לוגואים של גופי מחקר שתרמו לבנצ'מרק או למחקר שהוא מאפשר, ובהם Anthropic, OpenAI, Nvidia, Google DeepMind ו-Mistral, לצד LangChain, Snorkel, Mercor ואחרים. הפוסט לא מפרט מה הייתה תרומתו של כל גוף.
בהשקה לא פורסמו תוצאות. Harvey הודיעה שתפרסם בשבועות הקרובים תוצאות בסיס למודלים פתוחים וסגורים מובילים, וכללים לנרמול הגשות. לדבריה, הצוותים הפנימיים שלה כבר משתמשים ב-LAB להערכת המוצר, וחוקרים חיצוניים משתמשים בו למחקר על אימון מודלים ושיפור סביבות הרצה. בהמשך החברה מתכננת להרחיב את הבנצ'מרק לתחומי משפט נוספים, לעבודה של מחלקות משפטיות בחברות ולתחומים סמוכים כמו בנקאות וניהול נכסים.
למה זה רלוונטי
לבנצ'מרק שמפרסם ספק מסחרי יש אינטרס מובנה, וכדאי לקרוא אותו כך. הפתיחה של המשימות והקריטריונים לציבור מאפשרת לאחרים להריץ ולבדוק, וזה יתרון על פני טענות ביצועים סגורות. למשרדים ולמחלקות משפטיות, הערך המיידי הוא דווקא בשיטה: פירוק משימה משפטית לקריטריונים בינאריים הוא מודל שימושי גם לבדיקה פנימית של כלי AI לפני רכישה. על Spectre, הסוכן הפנימי של Harvey, כתבנו כבר באפריל.
עוד בנושא
- Spectre, הסוכן הפנימי של Harvey, ומה Gabe Pereyra מכנה "World Model" של משרד עורכי דין
- Harvey משלבת את Deep Research של OpenAI ובונה סוכן מחקר משפטי רב-שלבי
- Harvey מתכננת לאמץ את MCP: חיבור כלים פנימיים של משרדים ופתיחת היכולות שלה למערכות אחרות