Thomson Reuters פרסמה ב-31 ביולי נתוני בנצ'מרק ראשונים למודל השפה הייעודי שלה, Thomson, שנבנה על בסיס מודל קוד פתוח ואומן על תוכן Westlaw, Practical Law, Checkpoint ו-Reuters. לפי Law.com, החברה השקיעה עד כה כ-20 מיליון דולר בכוח מחשוב, והשתמשה לאימון בפחות מ-10% מהתוכן שלה.
מה החברה פרסמה
המודל, ששמו הטכני Thomson-1-Large, פותח בתוך החברה מאז רכישת מעבדת המחקר Safe Sign Technologies ב-2024, לפי סקירה מפורטת של LawSites מ-4 באוגוסט. מודל הבסיס לא נחשף בשמו, וגם גודל המודל ועלות ההפעלה שלו לא פורסמו. החברה טוענת שהמודל הוא חלק קטן מהגודל והעלות של המודלים המובילים, ושנתוני לקוחות לא שימשו לאימון. לדבריה, מאות מומחי תוכן בדקו את הפלטים ומיפו דפוסי כשל.
השילוב הראשון מתוכנן לאוגוסט: Thomson אמור להפוך למודל ברירת המחדל של Tabular Analysis ב-CoCounsel Legal, הכלי שמנתח מסמכים רבים בתצוגה טבלאית. במהלך השנה הקרובה מתכננת החברה לשלב אותו במוצרי המשפט והמס שלה.
המספרים
החברה השוותה את Thomson ל-Gemini 3.1 Pro, ל-Claude Opus 4.8 ול-GPT-5.5 בשבע קטגוריות. לפי הנתונים שפרסמה:
- LegalBench של סטנפורד: Thomson קיבל 0.823, מאחורי Gemini (0.843) ו-GPT-5.5 (0.832), ומעט לפני Opus 4.8 (0.818).
- PrBench Legal Hard: Thomson במקום הראשון עם 0.352, לפני GPT-5.5 (0.333).
- Harvey Legal Agent Benchmark: Thomson עם 0.857, אחרי Opus 4.8 (0.869).
- מעקב אחר הוראות והקשר ארוך: Thomson במקום הראשון בשתי הקטגוריות.
- הסקה (Reasoning): 0.684, מאחורי Gemini ו-Opus.
- קוד: מקום אחרון, 0.399 מול 0.598 של Opus.
בסך הכול Thomson הוביל בשלוש מתוך שבע השורות. ה-CTO ג'ואל הרון (Joel Hron) וראש מחקר ה-AI ג'ונתן שוורץ (Jonathan Schwarz) כתבו שהמודלים המסוגלים ביותר כבר לא מגיעים רק ממעבדות החזית.
מבחן נוסף כלל 53 שאילתות מחקר משפטי שכתבו מומחי החברה. Thomson, כשהוא מחובר ל-Westlaw ול-Practical Law, הקדים מודלי חזית שעבדו עם חיפוש רשת במדדי שלמות ודיוק עובדתי.
הסייגים
רוברט אמברוג'י (Robert Ambrogi) מ-LawSites מציין שכל התוצאות מדווחות על ידי החברה עצמה, בלי אימות של גורם שלישי. הוא מזכיר ש-GPT-5.5 נבדק במצב ללא Reasoning, בעוד Gemini ו-Opus רצו במצב Reasoning. הרון אמר שתוצאות המצב המלא לא היו מוכנות בזמן ויפורסמו בדוח טכני. לגבי מבחן המחקר, אמברוג'י כותב שהניצחון אינו מפתיע, כי הוא מודד בעיקר את ערך התוכן של Westlaw ו-Practical Law ולא את המודל עצמו, ושהוא היה רוצה לראות מודלי חזית נבדקים עם אותה גישה לתוכן. עם זאת, בהתחשב בגודל ובעלות שהחברה מצהירה עליהם, הוא רואה בתיאור התוצאות, אם לוקחים אותן כפשוטן, תיאור הוגן.
למה TR בונה מודל משלה
ביוני אמר המנכ"ל סטיב הסקר (Steve Hasker) בראיון ל-LawSites שחלק גדול מ-CoCounsel נשען היום על Claude של Anthropic, ושהמודל הפנימי נותן לחברה גמישות: אפשר להריץ חלק מהמוצר על Thomson וחלק על Claude, בלי לוותר על השותפות. באותו ראיון אמר שהחברה עוד לא החליטה מה תעשה עם המודל. על הכוונה להשיק מודל משלה דיווחנו כאן כבר במרץ. הבנצ'מרקים שפורסמו עכשיו הם הניסיון הראשון של החברה לגבות את הטענה במספרים, וההחלטה לשלב את Thomson דווקא ב-Tabular Analysis מצביעה על המקום שבו היא מעריכה שהוא כבר מוכן לעבודה.
עוד בנושא
- Thomson Reuters מכינה מודל שפה משפטי משלה, בשם Thomson
- ה-CTO של Thomson Reuters: כך בנוי CoCounsel Legal על Claude, סוכן אחד ומאות כלים
- Claude בתוך CoCounsel ו-Protégé: Anthropic הופכת לשכבת תשתית אצל ענקיות המידע המשפטי
- Thomson Reuters פותחת בטא לדור הבא של CoCounsel Legal, סוכן משפטי שבנוי על Claude Agent SDK