חברת סקירת החוזים Ivo פרסמה באפריל השוואה בין המוצר שלה, התוסף Claude for Word של Anthropic ועורך דין אנושי, על סט של 19 חוזים. לפי התוצאות ש-Ivo מציגה, הכלי שלה קיבל ציון כמעט זהה לזה של עורך הדין, ו-Claude for Word פיגר אחרי שניהם. מדובר בממצא של ספק שהוא גם אחד המתחרים במבחן, וחשוב לקרוא אותו בהתאם.
מה נבדק
לפי דף המחקר של Ivo, שלושה משתתפים קיבלו את אותם חוזים: הגרסה העדכנית של Ivo, Claude for Word שהופעל על המודל Claude Opus 4.6, ועורך דין בדרגת Special Counsel במשרד מקבוצת Am Law 25, עם ותק של שמונה שנים. החוזים היו 19 חוזים אמיתיים שעברו התממה, בהם הסכמי סודיות (NDA), הסכמי מסגרת לשירותים (MSA) והסכמי עיבוד מידע (DPA).
את התוצרים בדקו שופטים, עורכי דין עם ניסיון עדכני במשרדי Am Law 100 או במחלקות משפטיות של חברות טכנולוגיה, כשהתוצרים הוצגו להם בלי סימני זיהוי. הציון ניתן בסולם של 1 עד 10 בחמישה קריטריונים: איתור סוגיות, סימון שינויים ממוקד (Surgical Redlining), שמירה על העיצוב, שיקול דעת והערות.
התוצאות לפי Ivo
הציון הממוצע של עורך הדין עמד על 4.56, של Ivo על 4.52 ושל Claude for Word על 3.50. Ivo כותבת שהביצועים שלה היו "כמעט בלתי ניתנים להבחנה" מאלה של עורך הדין, ושהכלי שלה עקף את Claude בפער משמעותי.
גם בזמנים יש פער. לפי Ivo, הכלי שלה השקיע כ-2 דקות ו-45 שניות בחוזה, Claude for Word כ-4 דקות ו-52 שניות, ועורך הדין כ-32 דקות לחוזה, כ-10 שעות בסך הכל. Ivo מציינת בעצמה ששמירת העיצוב היא התחום החלש שלה, ושהיתרון שלה בולט בסימון שינויים ממוקד ובשיקול דעת. הדף מציג גם דוגמאות ציון לפי קטגוריה, אבל אלה דוגמאות בודדות ולא ממוצעים.
Claude for Word הוא תוסף של Anthropic שעובד בתוך מסמך ה-Word. לפי דף המוצר, הוא עורך עם מעקב שינויים, משיב לשרשורי הערות ושומר על סגנונות הכותרות והמספור של המסמך. הוא כלי כללי ולא מוצר ייעודי לסקירת חוזים, וזה בדיוק הפער ש-Ivo מבקשת להדגיש.
המגבלות, גם לפי Ivo
הניסוי מוצג כמחקר השוואתי עצמאי, אבל Ivo היא שערכה אותו והיא גם אחד המשתתפים בו. החברה עצמה מונה כמה מגבלות: נקודת זמן אחת (אפריל 2026), עורך דין אחד כבסיס השוואה, תצורת הנחיה אחת בלבד ל-Claude for Word, ו-19 חוזים בלבד.
המגבלה החשובה ביותר נוגעת להשוואה עצמה. ה-Playbook, מסמך עמדות המשא ומתן שמנחה את הסקירה, הוגדר ב-Ivo כחלק מתצורת המערכת, ואילו ל-Claude הוא ניתן כהנחיה של משתמש. Ivo מודה שלכן זו לא השוואה מבוקרת בין מודלים. במילים אחרות, ייתכן שחלק מהפער נובע מהאופן שבו הוזנו ההוראות ולא מהיכולת של הכלי.
יש גם פרט שמעורר שאלה לגבי הקפדנות של הפרסום: בפרק המתודולוגיה נכתב ששלושה שופטים בדקו את התוצרים, ובשאלות הנפוצות באותו דף מוזכרים "כל חמשת השופטים".
מה אפשר לקחת מזה
גם עם כל ההסתייגויות, הממצאים מתיישבים עם הבחנה שרבים בתחום מעלים: מודל כללי שמחובר ל-Word, בלי Playbook מובנה ובלי כוונון לעבודה החוזית, לא בהכרח יפיק סקירה ברמה של כלי ייעודי. מצד שני, ציון ממוצע של 4.56 לעורך דין מנוסה בסולם של 10 מלמד שהשופטים החמירו עם כל המשתתפים, ושגם לתוצר האנושי היו חולשות.
למשרד שבוחן כלים, הדרך הנכונה להשתמש בבדיקה כזו היא כתבנית ולא כפסק דין: לקחת סט חוזים מהעבודה של המשרד, להגדיר קריטריונים דומים, לתת את אותו Playbook לכל הכלים באותה צורה, ולבדוק בעיוורון.
עוד בנושא
- Claude נכנס ל-Word: תוסף בטא של Anthropic שמסמן כל שינוי כ-Tracked Change
- התוסף המשפטי של Anthropic ל-Claude Cowork והירידה החדה במניות חברות המידע המשפטי