Anthropic השיקה ב-28 במאי את Claude Opus 4.8, שדרוג למודל הדגל שלה במחיר זהה לזה של Opus 4.7. מבחינת עולם המשפט, הנתון הבולט מגיע מ-Harvey: לפי ציטוט בהודעת ההשקה, זה המודל הראשון שעובר 10% בתקן ה-all-pass של בנצ'מרק הסוכנים המשפטי שלה.
מה הושק
לפי הודעת החברה, Opus 4.8 זמין מיום ההשקה ב-claude.ai, ב-Claude Code, ב-Cowork וב-API. המחיר נשאר 5 דולר למיליון טוקנים בקלט ו-25 דולר למיליון טוקנים בפלט. מצב Fast, שבו המודל עובד במהירות גבוהה פי 2.5, מתומחר ב-10 וב-50 דולר בהתאמה, ולפי Anthropic הוא זול פי שלושה ממה שהיה.
החברה מציינת שיפור בבנצ'מרקים של קוד, עבודה סוכנית, הסקה ועבודת ידע, ומפנה לכרטיס המערכת של המודל לפירוט המלא. בודקים מוקדמים, לפי ההודעה, מתארים אותו כאמין יותר ובעל שיקול דעת חד יותר במשימות סוכניות.
הבנצ'מרק המשפטי
הציטוט על התחום המשפטי מגיע מ-Niko Grupen, ראש המחקר היישומי, שחתום ראשון על פוסט ההשקה של Legal Agent Benchmark בבלוג של Harvey. לדבריו, Opus 4.8 רשם את הציון הגבוה ביותר שנמדד אי פעם ב-LAB, והוא המודל הראשון שעובר 10% בסך הכול בתקן ה-all-pass. ההודעה לא מפרסמת את הציון המספרי עצמו.
כדי להבין מה המספר הזה אומר צריך להכיר את הבנצ'מרק. Harvey הציגה את LAB ב-6 במאי כבנצ'מרק בקוד פתוח להערכת סוכני AI בעבודה משפטית ארוכת טווח. הגרסה הראשונה כוללת יותר מ-1,200 משימות ב-24 תחומי פרקטיקה, מעסקאות ורגולציה ועד ליטיגציה. כל משימה כוללת הנחיה, תיק לקוח עם קבצים, ודרישה להפיק תוצר עבודה.
התוצרים נבדקים מול רובריקות שכתבו מומחים, עם יותר מ-75 אלף קריטריונים בינאריים של עבר או נכשל: עובדות, מסקנות, אסמכתאות, מועדים ועיצוב. בתקן ה-all-pass משימה נחשבת שהושלמה רק אם כל הקריטריונים שלה עברו, בלי ניקוד חלקי. כלומר, גם המודל המוביל השלים עד הסוף, לפי התקן המחמיר הזה, רק קצת יותר ממשימה אחת מכל עשר. Harvey השיקה את LAB בלי טבלת דירוג, והודיעה שתוצאות בסיס יפורסמו בהמשך.
כנות וסימון אי-ודאות
Anthropic מציגה את הכנות כאחד השיפורים הבולטים במודל. לפי החברה, בודקים מוקדמים דיווחו ש-Opus 4.8 נוטה יותר לסמן אי-ודאות לגבי העבודה שלו ופחות לטעון טענות שאין להן ביסוס. בהערכות הפנימיות שלה, המודל נמצא בסבירות נמוכה בערך פי ארבעה מקודמו להשאיר בלי הערה פגמים בקוד שכתב בעצמו.
עבור משתמשים משפטיים זו טענה שכדאי לבדוק בפועל. מודל שמצביע על מה שהוא לא בטוח בו מקל על הבקרה של עורך הדין, אבל הנתון הכמותי שפורסם נוגע לקוד ולא לטקסט משפטי, והוא מבוסס על הערכות של החברה עצמה. שאלה קרובה, האם מערכת שמפיקה תוצר טוב גם מתנהגת נכון, עלתה בטיעון של ריאן מקדונה.
עוד בהשקה
לצד המודל הוכרזו כמה יכולות נוספות:
- בקרת מאמץ ב-claude.ai וב-Cowork, בכל התוכניות: בחירה כמה מאמץ המודל משקיע בתשובה. ברירת המחדל היא גבוהה, ו-Anthropic ממליצה על רמת "extra" למשימות קשות וארוכות.
- Dynamic workflows ב-Claude Code, כתצוגה מקדימה במסלולי Enterprise, Team ו-Max: תכנון עבודה והרצה של מאות תתי-סוכנים במקביל.
- שינוי ב-Messages API שמאפשר לשלב הנחיות מערכת בתוך רצף ההודעות, כך שאפשר לשנות הוראות באמצע משימה בלי לשבור את ה-cache.
Anthropic הוסיפה שהיא מפתחת מודלים זולים יותר עם חלק מיכולות Opus, וגם מחלקה של מודלים מעל Opus ברמת Mythos, שכיום משמשים ארגונים מסוימים לעבודת סייבר. לדבריה, המודלים האלה דורשים קודם הגנות סייבר חזקות יותר, והיא מצפה להנגיש אותם לכל הלקוחות בשבועות הקרובים.
עוד בנושא
- Harvey פותחת לציבור את Legal Agent Bench: יותר מ-1,200 משימות לבחינת סוכני AI משפטיים
- ריאן מקדונה: מערכת AI משפטית יכולה להפיק תוצר טוב ועדיין להתנהג רע