נוח וייסברג, מנכ"ל Zuva, פרסם ב-15 בספטמבר תוצאות של שימוש ב-GPT-5.5 Pro לסיכום כ-50 חוזי לקוח בעסקת רכישה אמיתית. בסעיף הגבלת האחריות, 58% מהסיכומים היו שגויים מהותית, ובכל זאת המסקנה שלו היא שהכלי חסך זמן רב ושהחברה תשתמש בו שוב.
עבודה אמיתית, לא מבחן מעבדה
וייסברג, לשעבר עורך דין M&A ב-Weil, Gotshal, הקים ב-2011 את Kira Systems, שנמכרה ל-Litera ב-2021. על חיבור Kira למערכת ניהול העסקאות של Litera דיווחנו בנובמבר 2025. Zuva נולדה מתוך אותה עסקה, עם עותק של טכנולוגיית ה-AI וחלק מהצוות. היא מוכרת כלים לניתוח חוזים, ולכן וייסברג עצמו מציין את ניגוד העניינים האפשרי, ומדגיש שמדובר בעבודה עבור לקוח ולא במחקר שתוכנן מראש.
לפי הפוסט, בקיץ 2026 ליוותה Zuva עסקת רכישה בצד הקונה ונדרשה לסכם כ-50 חוזי לקוח של חברת המטרה. הכלי הפנימי של החברה בנוי לבדיקה אם סעיף קיים או לא, ולא לסיכום, ולכן הצוות הריץ את הסבב הראשון על GPT-5.5 Pro, המודל המתקדם של OpenAI באותה עת, בהגדרת החשיבה האינטנסיבית ביותר. עלות הטוקנים הייתה כ-75 עד 150 דולר.
נבדקו שמונה פריטים: שיפוי, הגבלת אחריות, תנאי ייחודי לענף, תקופת ההסכם וביטול לנוחות הלקוח, תקופת אחריות (warranty), בעלות בקניין רוחני, שינוי שליטה, ותניות הגבלה. עורך דין תאגידי עם ניסיון במשרד גדול, בסיוע עמית מנוסה, בדק את התוצרים מול החוזים המקוריים, ידנית.
איפה זה נשבר
סעיף הגבלת האחריות נמצא ב-72% מהמסמכים, וב-58% מהם הסיכום היה שגוי מהותית. הדוגמה הבולטת: המודל דיווח על תקרת אחריות של 3 מיליון דולר, כשבפועל הסעיף קבע חובה להחזיק ביטוח בסכום הזה. וייסברג מציין ששינה מעט את הסכום מטעמי סודיות, ומזכיר שתקרת אחריות וחובת ביטוח הן שני דברים שונים לגמרי מבחינת הסיכון.
היו גם שגיאות מסוג אחר. במקרה אחד המודל כתב שחוזה ניתן לביטול בהודעה מוקדמת של 15 יום, כשבפועל הלקוח יכול היה לבטל בכל עת בהודעה בכתב. מתוך שני חוזים שכללו סעיף שינוי שליטה, המודל מצא אחד. בתקופת ההסכם נרשם שיעור החטאה של 84%, אבל לדברי וייסברג החומרה נמוכה יותר: המודל החזיר את סעיף הביטול לנוחות ופספס את התקופה עצמה, ובהרצה חוזרת שלף אותה נכון.
וייסברג מוסיף שהסיכומים נראו מלוטשים במבט ראשון, ושגיאות רבות התגלו רק בהשוואה צמודה למקור. המודל תפס יותר מהטעויות שלו כשנאמר לו שיש כאלה, אבל רק אחרי שבני אדם איתרו את הראשונות. לדבריו, עורך דין צעיר שממציא עובדות היה כנראה מפוטר, גם כשהטעות לא מהותית, כי מרגע זה כל מספר דורש אימות ידני.
החשבון של הזמן
סיכום ידני של חוזה באורך 20 עד 50 עמודים לוקח, לפי הערכתו, שעה עד שלוש שעות, כלומר 50 עד 150 שעות לכל המאגר. בפועל הפרויקט כולו דרש כמה ימים של עבודת עורכי דין בכירים, רובם על בדיקה, וחלקם על עבודה מעבר לחוזים האלה. המסקנה: חיסכון משמעותי, בתנאי שיש בדיקה אנושית כבדה.
הוא גם מסייג. ייתכן שפרומפטים טובים יותר או מודלים אחרים היו משיגים תוצאות טובות יותר, ומנגד, משתמשים רבים עובדים עם מודלים חלשים יותר ובהגדרות חשיבה נמוכות. הוא מזכיר את הדיווחים של מנכ"ל Box, אהרון לוי, על שיפורים בחילוץ נתונים בין דורות של מודלים. Box, למשל, דיווחה ש-GPT-4.5 חילץ נכון 19 נקודות אחוז יותר שדות מ-GPT-4o על מאגר של יותר מ-510 חוזים מסחריים. וייסברג מעיר שחילוץ שדות ומשימת סיכום כמו זו אינם אותו מבחן.
את הבדיקה הוא ממקם ב"רמה 4" במסגרת ארבע רמות הבדיקה של AI משפטי שפרסם במרץ: השוואה מול תוצר עבודה אמיתי של עורכי דין, שהוא מכנה את "תקן הזהב". המחיר של רמה כזו הוא שאי אפשר לשחזר אותה, כי העסקה חסויה. על בנצ'מרק פתוח אחר לבדיקת סוכנים משפטיים, Legal Agent Bench של Harvey, דיווחנו במאי.
עוד בנושא
- Litera מחברת את Kira ל-Transact: סטטוס בדיקת החוזים עובר ללוח העסקה
- Harvey פותחת לציבור את Legal Agent Bench: יותר מ-1,200 משימות לבחינת סוכני AI משפטיים