אחת ההפתעות העקביות בתוכנית הכשרה שעברו בה יותר מ-3,000 עורכי דין הייתה כמה מעט הם הבינו היכן בינה מלאכותית יוצרת נכשלת בפועל, ובמיוחד בהזיות ובחשיבה מספרית. כך כותבים אלכס דניסטון מחברת Factor ופיטר דאפי, מייסד ומנכ"ל TITANS, במאמר שפורסם ב-Bloomberg Law ב-6 במרץ.
הפער בין "צריך לבדוק" לבין "מה לבדוק"
לפי הכותבים, המשתתפים ידעו שאת הפלט של הכלים צריך לבדוק. מה שחסר היה הבנה מתי המודלים צפויים לטעות, ואיך לחקור את החולשות האלה בצורה יעילה. הביטחון של המשתתפים עלה כשהמגבלות הוצגו במפורש וקיבלו דרכים מעשיות לאמת את התוצרים: הצלבת הנחות יסוד, קריאה ביקורתית של הפלט ושילוב שלבי אימות בתוך תהליך העבודה עצמו.
המאמר אינו מפרט כלים או שיטות ספציפיות לבדיקת חישובים, אבל עצם הצבת החשיבה המספרית לצד ההזיות ראויה לתשומת לב. בעבודה משפטית מספרים נמצאים בכל מקום: מועדים, ימי הגשה, סכומים, ריביות ואחוזים. טקסט שמנוסח היטב יכול להכיל חישוב שגוי בלי שום סימן חיצוני לכך, ולכן זו בדיוק הנקודה שבה "לבדוק את הפלט" צריך להפוך לבדיקה ממוקדת.
הרקע: גישה רחבה, ביטחון נמוך
את התוכנית הפעילו הכותבים במהלך השנה האחרונה, בצוותים משפטיים פנימיים ובמשרדים, ובין הארגונים המשתתפים נמנו Atlassian, Workday, Nasdaq ו-CrowdStrike. הם מצטטים ממצאים ראשונים מסקר של Factor בקרב 200 אנשי מקצוע מהשוק: יותר מ-80 אחוז מהצוותים המשפטיים מדווחים על גישה רחבה לכלי AI, אבל פחות משליש אומרים שהם בטוחים מאוד בשימוש בהם לעבודה משפטית. דוח ה-Benchmarking המלא של Factor מבוסס, לפי עמוד הדוח, על 204 מובילים מהשוק. התוכנית הזו היא חלק מגל רחב של תוכניות הכשרה ב-AI לאנשי משפט שסקרנו לאחרונה.
המשתתפים מילאו שאלונים לפני התוכנית ואחריה, שבדקו שיקול דעת: היכן ה-AI עוזר, היכן לא, ואיך מפקחים עליו בעבודה השוטפת.
שאר הלקחים
לצד נושא המגבלות, הכותבים מונים עוד כמה תובנות מהתוכנית:
- מקרים אמיתיים, לא מסרים כלליים. המעורבות עלתה כשההכשרה נבנתה סביב עבודה ממשית, כמו טיוטה ראשונה של NDA, סימון שינויים בסעיפים וניתוח רגולטורי.
- שימוש חסר. רבים ראו ב-AI מתמחה שמכין טיוטות וסיכומים. התועלת הגדולה יותר הגיעה כשהשתמשו בו כשותף חשיבה: לבחון עמדות במשא ומתן, לאתר נקודות חולשה בטיוטה ולפתח טיעונים מתחרים.
- איתות מההנהלה. האימוץ היה גבוה יותר כשהשותפים או היועץ המשפטי הראשי עודדו התנסות בפועל. שתיקה של ההנהלה יצרה היסוס.
- תהליך, לא אירוע. יכולת מתמשכת נבנתה מלמידה רציפה, ולא מסדנה חד פעמית, האקתון או טיפים לכתיבת פרומפטים.
הכותבים מסכמים בדמות של עורך הדין ה"שוטף" ב-AI: מי שמזהה לבד היכן הכלי יכול לעזור, ויש לו המשמעת לאמת את הפלט לפני שהוא מסתמך עליו. ההמלצה שלהם לארגונים היא לאתר את האנשים האלה מוקדם ולתת להם להרים את הרמה של הצוות כולו.
עוד בנושא
- מקורס פרומפטים ועד 500 מקומות למשרד: גל תוכניות ההכשרה ב-AI לאנשי משפט
- דיקנית WashU ב-Bloomberg Law: פקולטה למשפטים בלי הכשרת AI מפקירה את הדור הבא
- סקר מקינזי: אנשי משפט, סיכונים וציות הם הקבוצה הזהירה ביותר כלפי GenAI