מדריך של August להערכת כלי AI משפטיים: לבדוק על עבודה אמיתית, לא על הדמו

איור: זוג נעלי הליכה חדשות שירדו מבמת תצוגה נקייה אל שביל בוצי בשדה, כמשל לבדיקת כלי AI על עבודה אמיתית ולא על הדמו

August, חברת AI שמוכרת סביבת עבודה למשרדי עורכי דין, פרסמה ב-13 בינואר מסגרת להערכת כלי AI משפטיים לקראת החלטות רכש ב-2026. הטענה המרכזית: הדגמות של ספקים לא מנבאות אם הכלי ייקלט בפועל, ולכן צריך לבדוק אותו על העבודה האמיתית של המשרד, במשך כמה שבועות, עם קריטריונים כתובים.

מי כתב ובאיזה הקשר

המאמר פורסם ב-Artificial Lawyer ומסומן במפורש כתוכן ממומן של August. כתב אותו Rutvik Rau, מנכ"ל החברה, והוא משמש גם כהזמנה להורדת מדריך חינמי בשם "2026 Legal AI Planning Guide". לפי המאמר, המדריך המלא כולל רובריקות ניקוד, שאלות לדוגמה, רשימת דגלים אדומים ומסגרת להחלטה. אלה לא מופיעים בטקסט שפורסם.

החברה עצמה, לפי האתר שלה, מציעה סביבת עבודה שמוגדרת לפי התקדימים, התבניות וסגנון הניסוח של כל משרד, עם כלים לסקירה טבלאית של מסמכים ועבודה בתוך Word. ב-August לא מסתירים את הקשר: במאמר נכתב שהארכיטקטורה של המוצר נבנתה כך שתעמוד טוב בקריטריונים האלה, ובמקביל שהמסגרת אמורה להועיל גם למשרד שיגיע למסקנה שכלי אחר מתאים לו יותר.

חמש הקטגוריות

המסגרת מחולקת לחמישה תחומים:

1. דיוק ואמינות. השאלה היא לא אם הכלי טועה, אלא אילו טעויות הוא עושה, באיזו תדירות, והאם עורך דין יכול לזהות אותן בקלות. לפי המאמר, כלי שמפנה למקור של כל טענה קל יותר לניהול מכלי שממציא הפניות. 2. שילוב הידע של המשרד. האם הכלי עובד עם התקדימים, סגנון הניסוח וה-Playbooks של לקוחות ספציפיים, או רק מציע יכולות כלליות. 3. שילוב בפלטפורמות. האם הכלי עובד בתוך Word, Outlook ומערכת ניהול המסמכים (DMS). הנימוק: חיכוך בתהליך העבודה הוא מה שקובע אם עורכי דין ישתמשו בכלי. 4. יכולות מתקדמות. חילוץ מובנה מכמות גדולה של מסמכים, השוואה מול סטנדרט וסקירה עקבית בהיקף. דוגמה מהמאמר: האם הכלי יכול לעבור על מאה חוזים ולסמן סטיות בסעיפים. 5. התנהלות הספק. איך הספק מתנהג בתקופת הבדיקה: זמינות, נכונות להתאמות, שקיפות לגבי מגבלות ומפת דרכים, והאם הוא מבטיח יכולות שעוד לא קיימות.

איך לבדוק בפועל

ההמלצות המעשיות במאמר פשוטות יחסית. לבדוק את הכלי על מסמכים אמיתיים ומבולגנים של המשרד, ולא על חומר שהספק בחר להדגמה. המאמר נותן כדוגמה הסכמי אשראי של 200 עמודים עם עיצוב חריג. להקדיש לבדיקה בין שבועיים לארבעה שבועות, ולשתף ראשי מחלקות כדי לאסוף משוב אחיד. למדוד סוגי טעויות ותדירות שלהן, ולא רק לשאול אם יש טעויות. ולדרוש פרטים מכל ספק שמדבר על פיצ'ר "שיגיע בקרוב".

ההמלצה האחרונה במאמר היא לא למהר: עדיף להשקיע זמן בהערכה מסודרת מאשר לקנות בלחץ. לפי Rau, התהליך צריך להסתיים בהמלצה שמבוססת על ראיות מתועדות מהבדיקה.

קריאה זהירה

הקריטריונים עצמם לא חדשים, ורובם יוכרו לכל מי שעבר תהליך רכש של מערכת משפטית. מה שחשוב לזכור הוא שמדובר במסמך של ספק שמשמש גם כלי שיווקי, ושהקטגוריות שנבחרו תואמות במוצהר את נקודות החוזק שהספק מייחס לעצמו. משרד שרוצה להשתמש במסגרת כזו יכול לאמץ את העיקרון של בדיקה על חומר אמיתי, ולהוסיף לה קריטריונים שלא מופיעים כאן, למשל עלות כוללת, תנאי שמירת מידע ושימוש בנתוני הלקוח.

מקורות

פסיקה ורגולציה לפני שהן מגיעות אליכם מהלקוח

גיליון חודשי אחד, למשפטנים שרוצים לדעת מה נפסק, מה השתנה ברגולציה, ומה זה משנה לעבודה שלהם בפועל. בלי ספאם, וניתן להסיר את ההרשמה בכל עת.