שישה חוקרי משפט מאוניברסיטאות אמריקאיות בדקו אם מודלי שפה זמינים, בלי פיתוח או כוונון מיוחד, יכולים לבדוק תשובות בבחינות במשפטים. כשהמודל קיבל מחוון מפורט, הציונים שנתן התואמו לציוני הבוחן האנושי במקדם פירסון של עד 0.93. המסקנה שהחוקרים עצמם מציעים צנועה יותר מהכותרת: לא להחליף את המרצה, אלא לתת לו כלי בקרה ולסטודנטים משוב.
מי עומד מאחורי המחקר
המאמר נקרא "Grading Machines: Can AI Exam-Grading Replace Law Professors?", ופורסם החודש כמאמר עבודה ב-SSRN ובסדרת מאמרי העבודה של מכון Coase-Sandor לחקר משפט וכלכלה באוניברסיטת שיקגו (מספר 25-35). כותביו הם קווין קופ (University of Virginia), ינס פרנקנרייטר (Washington University in St. Louis), סקוט הירסט (Boston University), אריק פוזנר (University of Chicago), דניאל שוורץ (University of Minnesota) ודיין ת'ורלי (Brigham Young University). ב-11 בדצמבר הוא הוצג גם בבלוג TaxProf של איגוד בתי הספר למשפטים האמריקאי.
לפי התקציר, החוקרים מצאו שמחקרים קודמים בדקו בעיקר איך מודלים נבחנים במשפטים, ואף אחד לא בדק באופן שיטתי איך הם בודקים. הנתונים לקוחים מבחינות בארבעה מקצועות שנערכו בבתי ספר למשפטים מבין 30 המובילים בארה״ב, בשאלות ניתוח משפטי מהסוג המוכר: עובדות, זיהוי סוגיות, ניתוח.
מה בדיוק נמדד
החוקרים מבהירים שלא ניסו לבנות מודל טוב יותר. השאלה הייתה אם המודלים הקיימים, אלה שרוב המרצים והסטודנטים יכולים להפעיל ישירות, כבר מתאימים להערכת בחינות. התקציר לא מפרט באילו מודלים מדובר.
מקדם פירסון מודד עד כמה שתי סדרות ציונים נעות יחד: ערך של 1 פירושו התאמה מלאה בדירוג היחסי. חשוב לקרוא את הניסוח המדויק. 0.93 הוא הערך הגבוה ביותר שהושג, "עד 0.93" בלשון התקציר, ולא ממוצע לכל הבחינות. והוא הושג רק כשהמודל קיבל מחוון מפורט שכתב המרצה. במילים אחרות, את רוב העבודה האינטלקטואלית, להגדיר מה נחשב תשובה טובה, עשה אדם.
שלושה שימושים, לא החלפה
החוקרים מעריכים שמודלי שפה אולי לא יחליפו בקרוב את הבוחן האנושי, ומציעים שלושה שימושים קרובים יותר: בדיקה ותיקוף של הציונים שהמרצה נתן, כדי לאתר טעויות; משוב על בחינות אמצע שלא מקבלות ציון; ומשוב לסטודנטים על מבחני תרגול שהם פותרים בעצמם.
השימוש האחרון נוגע בדרישה קיימת. תקן 314 של ה-ABA, לשכת עורכי הדין האמריקאית שמסמיכה את בתי הספר למשפטים, מחייב כל בית ספר להשתמש בתוכנית הלימודים גם בהערכה מעצבת (משוב במהלך הלמידה) וגם בהערכה מסכמת. משוב מעצב הוא בדיוק מה שקשה לספק בקורסים גדולים, ושם מודל שעובד לפי מחוון של המרצה יכול לחסוך זמן.
בראיון לאתר Artificial Lawyer אמר שוורץ שגם אם AI לא יחליף לעולם את הבדיקה האנושית, הכלים כבר נראים מסוגלים לתת משוב משמעותי. לדבריו, אותן טכניקות רלוונטיות גם לעורכי דין צעירים שרוצים לחדד טיעון כתוב. על מחקר אחר שלו ושל עמיתיו מאוניברסיטת מינסוטה, על הקושי של עורכי דין צעירים להבין תשובות AI, דיווחנו ביוני.
איפה עוצרים
שוורץ הוסיף שהעברה מלאה של בדיקת הבחינות למכונה עדיין לא מוצדקת: לא ידוע אם מודלים אמינים כמו בני אדם בבדיקה, וגם בניסוי הזה מרצים כתבו את השאלות ואת המחוונים. יש גם מכשול מוסדי. בחלק מבתי הספר קיימים כללים שמחייבים את המרצה עצמו, ולא עוזר הוראה, לבדוק את הבחינות, ולא ברור אם בדיקה ממוחשבת עומדת בהם.
הלקח המעשי חורג מהאקדמיה. המודל לא הגיע להתאמה גבוהה לבדו, אלא כשמישהו שמבין את החומר כתב מראש מה מצופה. אותו היגיון חל על משוב לטיוטות של מתמחים ועורכי דין צעירים במשרד: ככל שהציפיות של השותף כתובות בצורה מפורשת, כך בדיקה אוטומטית מתקרבת לבדיקה שלו.
מקורות
- TaxProf Blog: Cope et al., Can AI Exam-Grading Replace Law Professors?
- Chicago Unbound: Grading Machines, Coase-Sandor Working Paper No. 25-35
- WashU Law repository: Grading Machines
- SSRN: Grading Machines
- Artificial Lawyer: AI Can Grade Law School Exams About As Well As Professors
- University of Wisconsin Law School: Formative Assessment and ABA Standard 314