ארבעה עורכי דין ממשרד Redgrave פרסמו החודש נייר עבודה שמשווה סקירת מסמכים מבוססת GenAI לסקירה מנוהלת עם TAR על אותו מאגר של 45,004 מסמכים. לפי הממצאים, הכלי הגנרטיבי מצא 88% מהמסמכים הרלוונטיים לעומת 64%, והשקיע בכך כ-18 שעות עבודה של עורך דין אחד, מול כ-1,123 שעות של צוות בן 24 איש.
מה נבדק
נייר העבודה, Redgrave LLP Working Paper 2026-01, נכתב על ידי Robert Keeling, Ray Mangum, Eli Nelson ו-Kevin Reiss. במקביל פרסמו הכותבים מאמר ב-Legaltech News ב-9 ביוני, ו-Keeling ו-Mangum סיכמו את הממצאים גם בבלוג של Relativity, שהכלים שלה הם מושא ההשוואה.
בצד אחד עמד aiR for Review, כלי הסקירה הגנרטיבי של Relativity. בצד השני עמדה סקירה מנוהלת בשיטת למידה פעילה רציפה (CAL) על גבי Relativity Active Learning, שבוצעה על ידי ספקית שירותי הסקירה Cimplifi. הצוות כלל 21 עורכי דין חיצוניים (Contract Reviewers), מנהלת סקירה, ראש צוות ובודקי בקרת איכות, ועבד שבעה ימי עסקים.
המאגר נלקח מאוסף Mallinckrodt שבארכיון מסמכי תעשיית האופיואידים של UCSF, אוסף ציבורי. הכותבים בחרו במכוון סטנדרט רלוונטיות קשה: מסמך נחשב רלוונטי רק אם יש בו ראיה לעמידה, להפרה או להתעלמות פזיזה מהדינים הפדרליים על שיווק תרופות ועל חומרים מפוקחים. אזכור של מכירות או קידום תרופות לא הספיק. לטענת הכותבים, רוב מבחני ה-TAR מסווגים לפי נושא, והמשימה כאן קשה יותר משמעותית.
המספרים
כדי לקבוע "אמת מידה", דגמו הכותבים באקראי 1,000 מסמכים, ו-Reiss, יועץ במשרד, סיווג אותם בלי לראות את תוצאות שתי השיטות. הוא סימן 73 כרלוונטיים. מול הדגימה הזאת, aiR for Review זיהה 64 מסמכים (Recall של 88%), והסקירה המנוהלת זיהתה 47 (64%). לפי המאמר, רווחי הסמך של שני השיעורים אינם חופפים.
היתרון הגיע במחיר. ה-Precision, שיעור המסמכים שסומנו כרלוונטיים ואכן היו כאלה, עמד על 29% בכלי הגנרטיבי ועל 39% בסקירה המנוהלת. הכותבים מייחסים את השיעורים הנמוכים בשתי השיטות לכך שרק כ-7% מהמאגר היו רלוונטיים. בצד השני של המשוואה, שיעור ה-Elusion, המסמכים הרלוונטיים שנשארו בערימת הנדחים, היה 1% מול 3%.
בצד ההשקעה: Ray Mangum, שותף במשרד, ערך 43 גרסאות של הפרומפט במשך כ-18 שעות, ואז הריץ אותו על כל המאגר בריצה אחת שנמשכה כשעה. בסקירה המנוהלת דווחו כ-1,123 שעות, מתוכן כ-974 שעות של הסוקרים, וזה רק בשלב הלמידה הפעילה. בפוסט בבלוג של Relativity הכותבים מציגים זאת כהפחתה של כ-98% בשעות האדם.
איפה צריך להיזהר
הכותבים עצמם מציינים שזה נייר עבודה שלא עבר ביקורת עמיתים. ההשוואה נעשתה על תיק אחד, סטנדרט אחד וצוות סקירה אחד, ואמת המידה נשענת על מומחה יחיד. הם גם כותבים במפורש שהתוצאה של הסקירה המנוהלת משקפת את היישום הספציפי הזה, כולל הצוות ותהליך הבקרה של הספקית, ולא את יכולתה של למידה פעילה באופן כללי.
נקודה נוספת: אחרי המדידה העיקרית, Reiss חזר ל-151 מסמכים שסיווג כלא רלוונטיים והכלי סימן כרלוונטיים, הפעם כשההנמקה של הכלי מולו. הוא שינה את דעתו ב-10 מהם. הכותבים מציגים זאת כראיה לערך ההנמקה, אך גם מודים שהבדיקה הייתה בכיוון אחד בלבד, ולא בחנה אם הכלי טעה במסמכים שסימן כלא רלוונטיים. נתוני הביצועים העיקריים חושבו מול הסיווג המקורי.
עוד ראוי לזכור שההשוואה כולה התנהלה בתוך פלטפורמה של ספק אחד, ושהסיכום הנרחב ביותר של הממצאים פורסם בבלוג של אותו ספק.
למה זה חשוב למי שמנהל ליטיגציה
TAR זכה להכרה שיפוטית לפני יותר מעשור, וההכרעה בעניין Rio Tinto PLC v. Vale S.A., 306 F.R.D. 125 (S.D.N.Y. 2015), שהמחקר מצטט, היא אחת מאבני היסוד של הלגיטימיות שלו. הכותבים מבקשים למקם את הסקירה הגנרטיבית באותה מסגרת: לפי מודל הייחוס TAR 1 של Sedona Conference, שני הסוגים עוברים את אותם שלבים, ובתי המשפט בודקים אם התהליך היה סביר ומידתי, לא אם היה מושלם. לטענתם, שיעור Recall של 88% עומד בטווח שבתי משפט קיבלו כסביר.
כלומר, המחקר לא מסתפק בשאלה אם אפשר לסמוך על GenAI בגילוי מסמכים. הוא מנסה לבנות את התשתית הראייתית שתאפשר להגן על פרוטוקול כזה מול הצד השני ומול בית המשפט. עד שיופיעו מחקרים בלתי תלויים, על תיקים נוספים ועם יותר ממומחה אחד, זו נקודת פתיחה חשובה, אבל עדיין לא מילה אחרונה. על טענה דומה של שותפים ב-Venable, בהקשר של תיקי פטנטים, דיווחנו כאן בנובמבר.
עוד בנושא
- Relativity מכניסה את כלי ה-AI לסקירה ולחיסיון לחבילה הבסיסית ומציגה את aiR Assist
- שותפים ב-Venable: בינה יוצרת עשויה לשנות את סקירת המסמכים בליטיגציית פטנטים
- Relativity פותחת לכלל הלקוחות את aiR for Case Strategy, כלי AI לבניית תמונת התיק בליטיגציה