Shaz Aziz, שמוביל את תחום פתרונות הלקוח ב-Neota Logic, פרסם ב-26 באוגוסט טיעון נגד הדרך שבה רוב כלי ה-AI המשפטיים בנויים היום. לדבריו, הסיכון המרכזי אינו תשובה שגויה, אלא מערכת שנותנת לאותן עובדות תשובה אחרת בכל פעם, בלי תיעוד של הסיבה.
חשוב להבהיר מראש מי הכותב: Neota Logic מוכרת פלטפורמת No-code לבניית תהליכי עבודה משפטיים "דטרמיניסטיים", עם מנוע לוגיקה לכללים ולתנאים. כלומר, המסקנה שהוא מגיע אליה היא גם המוצר שהחברה שלו מוכרת.
הכללים יושבים בפרומפט
לפי סיכום הטיעון, Aziz מבחין בין שני סוגי מכונות. מודל שפה הוא הסתברותי, ולכן עשוי לנסח תשובה מעט שונה בכל הרצה. מנוע כללים הוא דטרמיניסטי, ומשאיר מסלול לוגי שאפשר לעקוב אחריו. "מכונה אחת קוראת ומשוחחת. השנייה מקבלת החלטות וזוכרת למה", הוא כותב.
הבעיה, לטענתו, מתחילה כשהכללים העסקיים והמשפטיים נכתבים בתוך הפרומפט. ניהול גרסאות יכול לשמור את נוסח הפרומפט, אבל לא את התנהגות המערכת, והמודל שמתחתיו יכול להשתנות בלי הודעה. אותו פרומפט בינואר וביוני, בלשונו, אינו אותה מערכת.
למה זה עניין של חשיפה משפטית
Aziz מקשר את חוסר העקביות לסיכון ממשי. ארגון כמו חברת ביטוח גדולה עשוי לקבל עשרות אלפי החלטות ביום. אם החלטה אחת נתקפת בהצלחה, כל ההחלטות שהתקבלו באותה דרך עלולות להיפתח מחדש, וזה לדבריו בדיוק הדפוס שעליו נבנות תובענות ייצוגיות.
הוא גם מסתייג מהפתרון המקובל של "אדם בלולאה". לדבריו, בפרשות ההזיות האחרונות היה כמעט תמיד אדם איפשהו בשרשרת. בקרה אמיתית, הוא כותב, מגדירה מה האדם צריך לבדוק, מתעדת שבדק, וחוסמת את השלב הבא עד שעשה זאת.
השאלות שהוא מציע לשאול ספקים
ההצעה שלו היא ארכיטקטורה היברידית: המודל קורא ומחלץ, הכללים מכריעים. במקום להשוות בנצ'מרקים של מודלים, הוא ממליץ לשאול את הספק שלוש שאלות: איפה הכללים יושבים, מי יכול לשנות אותם, והאם המערכת יכולה לשחזר החלטה שהתקבלה לפי הכללים שחלו אז. Neota מקדמת את אותו מסר גם בוובינר שהעביר Aziz, שבו נטען שמודלים נותנים תשובה בטוחה בעצמה ומנוע כללים נותן תשובה שאפשר להגן עליה.
הוא לא הראשון מצד הספקים שמשמיע את הטיעון. באפריל כתב Greg Ingino, ה-CTO של Litera, בטור ממומן ב-Legal Futures שה-AI המשפטי הטוב ביותר לא מחליף מנועים מבוססי כללים אלא משלים אותם, והסתמך על בנצ'מרק פנימי של Litera בהשוואת מסמכים. בשני המקרים מדובר בחברות שיש להן מוצר מבוסס כללים, ואת הנתונים שהן מציגות כדאי לקרוא כטענות שלהן.