Claude Fable 5, המודל ש-Anthropic השיקה ב-9 ביוני, רשם לפי Harvey ציון של 13.3% ב-Legal Agent Benchmark, השיא של הבנצ'מרק עד כה. המודל הקודם בראש, Claude Opus 4.8, עמד על 10.4%. המספרים נראים צנועים, אבל הם מודדים משימות משפטיות שהושלמו בלי אף פספוס.
מה Harvey מדדה
ביום ההשקה פרסמה Harvey הודעה על זמינות Fable 5 בפלטפורמה שלה, ובה התוצאות. ב-Legal Agent Benchmark (LAB), שבודק השלמה של משימות משפטיות מורכבות מקצה לקצה, Fable 5 הגיע ל-13.3%, לעומת 10.4% של Opus 4.8. Niko Grupen, ראש המחקר היישומי ב-Harvey, אמר שהמודל הגיע לשיא חדש בבנצ'מרק, והצביע על חוזק בניסוח ובעבודה סוכנית לאורך משימות ארוכות.
ב-BigLaw Bench, ההערכה הפנימית הוותיקה של Harvey, המודל קיבל 93.4%, שלפי החברה הוא הציון הגבוה ביותר שנמדד למודל ממשפחת Anthropic. הבודקים ציינו לטובה ניסוח, ניתוח של סימוני שינויים (Markup) ועבודה על משימות שכוללות מסמכים רבים. בצד השני, הביצועים בניתוח כמותי מורכב, כמו חישובי מס רב-שלביים ומודלים של מפל חלוקה (Waterfall) בקרנות, הוגדרו "מעורבים יותר".
חשוב לזכור ששני הבנצ'מרקים נבנו בידי Harvey עצמה, והתוצאות מגיעות ממנה. אלה מדידות של ספק, לא בדיקה בלתי תלויה.
למה 13.3% זה שיא
את LAB השיקה Harvey ב-6 במאי, בקוד פתוח. הוא כולל יותר מ-1,200 משימות סוכניות ב-24 תחומי עיסוק, עם יותר מ-75 אלף קריטריונים שכתבו מומחים. כל משימה מגיעה עם הנחיה ותיק לקוח, והסוכן נדרש להפיק תוצר עבודה.
השיטה היא all-pass: משימה נחשבת שהושלמה רק אם כל הקריטריונים ברובריקה שלה התקיימו. מספיק קריטריון אחד שלא עבר כדי שהמשימה כולה תיחשב כישלון, גם אם הסוכן איתר את רוב הסוגיות. לכן ציון של 13.3% אומר שקצת יותר ממשימה אחת מכל שמונה הושלמה ברמה שלא השאירה אף פער מול הרובריקה.
הרף הקודם נקבע רק שבועיים קודם. בהודעת ההשקה של Opus 4.8 מ-28 במאי צוטט Grupen, שאמר ש-Opus 4.8 הוא המודל הראשון שעבר 10% בסך הכול בתקן ה-all-pass. הקפיצה מ-10.4% ל-13.3% היא שיפור של כשלוש נקודות אחוז בתוך פחות מחודש.
מה Anthropic עצמה אומרת
הודעת ההשקה של Anthropic לא מזכירה את LAB. היא מציגה את Fable 5 כמודל החזק ביותר שלה שזמין לציבור, לצד Claude Mythos 5, אותו מודל בסיס עם פחות מגבלות שמיועד בשלב זה לגופי הגנת סייבר ותשתיות. המחיר: 10 דולר למיליון טוקנים בקלט ו-50 דולר למיליון טוקנים בפלט. ההתייחסות המשפטית היחידה בהודעה היא ציטוט של לקוח, Aveek Duttagupta, שלפיו בבדיקה עיוורת עורכי הדין שלהם מצאו שה-Redlines של המודל השתוו או עלו על אלה של המודל הנוכחי שלהם בכל פעם.
תנאי השימוש ב-Harvey, וההשעיה
ב-Harvey המודל הוצע בגישה מוקדמת שהלקוח צריך לבחור בה במפורש, ולא הופעל כברירת מחדל. Harvey עצמה מציינת שהמודל חורג מהתחייבויות המידע הרגילות שלה: Anthropic שומרת את הקלטים, הפלטים והמסמכים ועשויה לעיין בהם מטעמי בטיחות, המידע נמחק בדרך כלל אחרי 30 יום, והעיבוד כולו מתבצע בארה״ב, ללא אפשרות לעיבוד אזורי. למשרד שבוחן את המודל על חומרי לקוח, אלה פרטים שצריך לבדוק לפני שמפעילים.
שלושה ימים אחרי ההשקה, ב-12 ביוני, הודיעה Anthropic שהיא משעה את הגישה ל-Fable 5 ול-Mythos 5 לכל הלקוחות, בעקבות הוראת פיקוח על ייצוא של ממשל ארה״ב שמחייבת להשעות גישה של אזרחים זרים לשני המודלים. מודלים אחרים של החברה לא הושפעו. Anthropic טוענת שמדובר באי-הבנה ושהיא עובדת על החזרת הגישה, אבל נכון לתאריך הכתבה לא נמסר מתי זה יקרה. כך שהמודל שקבע את השיא המשפטי אינו זמין כרגע לשימוש.
עוד בנושא
- Claude Opus 4.8 הושק: אותו מחיר, דגש על כנות ושיא בבנצ'מרק הסוכנים המשפטי
- Harvey פותחת לציבור את Legal Agent Bench: יותר מ-1,200 משימות לבחינת סוכני AI משפטיים
- Harvey עוברת למודלים מרובים: Anthropic ו-Google מצטרפות ל-OpenAI בפלטפורמה