חברת הליגל-טק LawDroid השיקה בסוף יוני את CiteCheck AI, אתר שבו מעלים מסמך משפטי ומקבלים דוח שמסמן אילו ציטוטי פסיקה אומתו ואילו לא נמצאו. חמשת הדוחות הראשונים חינם, והחברה מציגה את הכלי כרשת ביטחון אחרונה מפני ציטוטים מומצאים.
איך זה עובד
לפי הסקירה של בוב אמברוג'י ב-LawSites מ-27 ביוני, הבדיקה עוברת ארבעה שלבים. בשלב הראשון המערכת מחלצת את הציטוטים מהמסמך בעזרת מודלי GPT של OpenAI ו-OCR של Google Vision. בשלב השני היא מצליבה אותם מול CourtListener, מאגר פסיקה אמריקאי פתוח. בשלב השלישי היא משווה בין הציטוט לבין מה שנמצא, עם סף ביטחון של 80%. בשלב האחרון מתבצעת בקרת איכות, והמשתמש מקבל תיעוד של הבדיקה.
אפשר להעלות קבצי Word ו-PDF. חמשת הדוחות הראשונים חינם, בתמורה לשם וכתובת מייל ובלי כרטיס אשראי. אחר כך יש שני מסלולים: 25 דולר לחודש עד 100 דוחות, ו-100 דולר לחודש עד 500 דוחות.
הבדיקה על Mata v. Avianca
אמברוג'י העלה לכלי את כתב הטענות מפרשת Mata v. Avianca מ-2023, התיק שבו הוגשו לבית המשפט פסקי דין שלא היו קיימים. הניתוח לקח כ-50 שניות, וכל התיקים המומצאים סומנו כלא תקינים, בין אם משום שהציטוט לא נמצא ובין אם משום ששם התיק לא התאים. אחר כך הכניס ציטוטים מזויפים לכתב ערעור שכתב בעצמו. קובץ ה-Word נבדק בתוך קצת יותר מדקה, וה-PDF בתוך כשלוש דקות כולל OCR. הציטוטים המזויפים סומנו באדום כ"לא נמצא", והאמיתיים בירוק, עם ציון שאומתו מול ה-API של CourtListener ורמת הביטחון.
היו גם התרעות שווא. ציטוטים שהופיעו רק במספור של Westlaw לא אומתו וסומנו כלא תקינים. הבדלים בקיצורים יצרו אי-התאמה בשמות תיקים: תיק אחד קיבל ציון דמיון של 71.7% בלבד, כי במסמך נכתב שם המשרד הממשלתי בקיצור ובמאגר הוא מופיע במלואו. אמברוג'י ראה בזה פשרה סבירה לטובת זהירות. הכלי בודק רק ציטוטי פסיקה, לא חקיקה, תקנות או מאמרים. מגבלה דומה יש גם בבודק כתבי הטענות של Descrybe.ai, שהושק באותו חודש.
טענות ונתונים
מנכ"ל LawDroid, טום מרטין, הציג את הצורך בכלי במספרים: לטענתו, מחקר של סטנפורד הראה שמודלים עשויים לייצר ציטוטים מומצאים בשיעור של עד 88%. "הזמן לתירוצים נגמר", אמר. כדאי לקרוא את הנתון בהקשר. המחקר של Stanford RegLab ומכון HAI, שפורסם בינואר 2024, בדק את GPT-3.5, PaLM 2 ו-Llama 2 ביותר מ-200,000 שאלות משפטיות ספציפיות ומצא שיעורי הזיה של 69% עד 88%. כשנשאלו המודלים על ההלכה שנקבעה בפסק דין, שיעור ההזיות עמד על 75% לפחות. מדובר במודלים כלליים מהדור הקודם, לא בכלים משפטיים ייעודיים.
הסקירה מציינת גם את מאגר תיקי ההזיות של החוקר דמיאן שרלוטן, שעוקב אחרי החלטות של בתי משפט וטריבונלים ברחבי העולם שבהן נמצא שימוש בתוכן מומצא שנוצר ב-AI. בזמן הסקירה הוא מנה לפחות 160 תיקים כאלה. על עורכי דין שנקנסו בגלל ציטוטים מומצאים כתבנו גם בסקירת הידיעות הנקראות ביותר של LawSites ב-2024.
המסקנה של אמברוג'י זהירה: עורך הדין צריך לקרוא כל מקור שהוא מצטט, וכלי כמו CiteCheck AI הוא שכבת הגנה אחרונה ולא תחליף לקריאה. לעורכי דין בישראל הכלי עצמו פחות רלוונטי, כי הוא בודק מול מאגר פסיקה אמריקאי בלבד.
עוד בנושא
- Descrybe.ai מוסיפה חבילה בתשלום: ציטאטור משלה, בודק כתבי טענות וחיפוש לפי סוגיה
- מה קראו בליגל-טק ב-2024: 24 מתוך 40 הידיעות הנקראות ב-LawSites עסקו ב-AI גנרטיבי
- ריצ'רד טרומנס על דיוק ב-GenAI משפטי: בלי שכבת עובדות אמינה, שרשרת האמון נשברת