Ivo, חברה שמפתחת כלי AI לסקירת חוזים, פרסמה באוקטובר יחד עם micro1 מבחן השוואתי של 350 משימות סקירה שכתבו עורכי דין. שבעה מודלים מובילים נבחנו, ואף אחד מהם לא עבר 60 אחוזים. הפירוט מעניין יותר מהטבלה: המודלים יודעים מצוין מתי לא לגעת בסעיף, ומתקשים מאוד כשצריך לנסח תיקון חדש.
איך המבחן בנוי
ContractBench כולל 350 משימות ב-35 תרחישים, על פני חמישה סוגי הסכמים: הסכם מסגרת לשירותים (MSA), רישוי קניין רוחני, שיתוף פעולה מחקרי, שכירות מסחרית והסכם שיווק. 30 תרחישים כפופים לדין האמריקאי וחמישה לדין האנגלי. המשימות מחולקות לשני סבבים: סימון ראשוני של החוזה (redline), ותגובה לסימון של הצד שכנגד. מבחן ציבורי אחר, Legal Agent Bench של Harvey, בוחן סוכנים על יותר מ-1,200 משימות ב-24 תחומי משפט.
בסבב הראשון חמישה עורכי דין סימנו כל חוזה באופן עצמאי. לכל משימה נכתבה רשימה של 10 עד 20 קריטריונים של עובר או נכשל, וכל קריטריון סומן לפי הפעולה הנדרשת (לתקן, להשאיר, להעיר או להסלים) ולפי חשיבות. כל מודל הורץ שלוש פעמים על כל קלט, 630 הרצות בסך הכול. את הבדיקה ביצעו שלושה מודלים שופטים מספקים שונים, Opus 4.8, GPT-5.5 ו-Gemini 3.5 Flash, וההכרעה נקבעה ברוב. לפי Ivo, השופטים הסכימו פה אחד ב-83.4 אחוזים מהפריטים.
הטבלה
בראש הדירוג Grok 4.7 של xAI עם 58.3 אחוזים, ומיד אחריו Opus 5.5 של Anthropic עם 58.1. אחריהם Kimi K3 עם 57.1, Gemini 3.8 Flash ו-GLM-5.3 עם כ-55 כל אחד, DeepSeek V4 Pro עם 48.4 ו-GPT-6 Astra עם 45.6.
הציון של Opus 5.5 מחושב רק על הרצות שהושלמו, והוא השלים 80.8 אחוזים מהן. ב-121 הרצות המודל הגיע למגבלת הפלט של 128 אלף טוקנים לפני שכתב תיקון, כי שלב החשיבה כילה את התקציב. גם העלות משנה את התמונה: הרצה שהושלמה עלתה ב-Opus 5.5 בממוצע 5.84 דולר, ב-Grok 4.7 כ-3.63 דולר, וב-DeepSeek V4 Pro כ-56 סנט. לפי micro1, Kimi K3 נמוך מהמוביל ב-1.2 נקודות בלבד, זול ממנו ב-38 אחוזים ומהיר ב-13 אחוזים.
לדעת מתי לא לגעת, ולא לדעת לתקן
כשהתשובה הנכונה הייתה להשאיר את הנוסח כמו שהוא, כל המודלים קיבלו יותר מ-96 אחוזים. כשנדרש תיקון חדש, הטווח היה 15.1 אחוזים (GPT-6 Astra) עד 36.5 אחוזים (Grok 4.7). בקבלת תיקון של הצד שכנגד הציונים נעו בין 60.2 ל-81.3 אחוזים.
גם סגנון העבודה שונה. עורכי הדין ביצעו בממוצע כ-125 שינויים במשימה, באורך ממוצע של 93 תווים, ו-63.5 אחוזים מהם היו תיקונים נקודתיים בתוך המשפט. המודלים ביצעו כ-41 שינויים באורך ממוצע של 300 תווים, ורק 22 אחוזים מהם היו נקודתיים. Opus 5.5 היה המדויק ביותר מבין המודלים, עם 36.6 אחוזים. מספר הפסקאות שנגעו בהן היה כמעט זהה (18.5 אצל עורכי הדין, 19 אצל המודלים). ההבדל הוא באופן התיקון: עורך הדין משנה מילה או ביטוי, המודל כותב את הפסקה מחדש. בסבב התגובה הפער גדל: כ-63 שינויים אצל עורכי הדין לעומת כ-9 אצל המודלים.
הסתייגויות
ראשית, Ivo מוכרת כלי לסקירת חוזים, והמבחן פורסם על ידה. גם ההשוואה הקודמת שלה, מול Claude for Word ומול עורך דין, נערכה בידי צד מעוניין. שנית, את הבדיקה ביצעו מודלים של Anthropic, OpenAI ו-Google, חלק מאותן חברות שהמודלים שלהן נבחנו. Ivo מדווחת שהשופטים כמעט לא העדיפו את המודלים של היצרן שלהם, אבל זה עדיין דירוג של מכונות על ידי מכונות. שלישית, Ivo עצמה מציינת שעורכי הדין חלקו זה על זה בכ-14 אחוזים מהפסקאות שסומנו, שמדגם הדין האנגלי קטן, ושמידת הדיוק של התיקונים לא נכללת בציון בטבלה. מנגד, הנתונים והקוד פורסמו בפומבי דרך micro1, כך שאפשר לבדוק אותם.
עוד בנושא
- Ivo העמידה את עצמה מול Claude for Word ומול עורך דין: מה הניסוי מראה ומה הוא לא מראה
- Sage של Ivo ו-Jev של TypeSafe: שני ניסיונות להוזיל את ה-AI המשפטי בסדרי גודל
- Harvey פותחת לציבור את Legal Agent Bench: יותר מ-1,200 משימות לבחינת סוכני AI משפטיים
- Claude Fable 5 קבע שיא בבנצ'מרק הסוכנים המשפטי של Harvey: 13.3% משימות שהושלמו במלואן