במאמר שפרסם ב-4 בספטמבר, ריאן מקדונה מ-KPMG Law מציע להפסיק למדוד AI משפטי לפי מחיר המודל או ציון בבנצ'מרק, ולמדוד במקום זאת "עלות לתוצאה מהימנה": כמה עולה להגיע לתוצר שעורך דין מוכן להסתמך עליו. בדוגמה שהוא בונה, הרכיב היקר במערכת הוא לא המודל אלא תשומת הלב האנושית.
מקדונה, לפי עמוד האודות שלו, עומד בראש הנדסת הטכנולוגיה המשפטית ב-KPMG Law. המאמר יוצא מהנחת עבודה: נניח שהמודלים המובילים כבר מסוגלים לבצע את רוב העבודה המשפטית היטב. גם אז, לטענתו, נשארת שאלה קשה יותר, איך בונים שירות שמבצע את המשימה אלפי פעמים, על מסמכים שלא נראו קודם, עם אבטחה, עקיבות וביצועים צפויים.
קריאה אחת שהיא שבע
נקודת המוצא של מקדונה היא שקריאה למודל היא חלק קטן מהעלות. בקשה עם 25 אלף טוקנים בקלט ו-2,500 בפלט עולה, לדבריו, עשרות פני בודדות. סביבה צריך קליטת מסמכים (OCR, פענוח, סריקת נוזקות), זהויות והרשאות, הפרדה בין תיקים, אחסון, אחזור ותיעוד. על חישוב אחר של עלות הטוקן, כמה Harvey ו-Legora גובות בפועל על מיליון טוקנים, כתבנו קודם.
הוא מראה גם שבקשה גלויה אחת יכולה להסתיר הרבה קריאות. הבקשה "תבדוק את הסעיף הזה" יכולה להפוך לחמישה ניתוחים מקבילים, שלב שיפוט ושלב סינתזה, כלומר כשבע קריאות. זה לא בהכרח תכנון גרוע, הוא כותב, אם זה מקטין משמעותית אי ודאות ובדיקה אנושית. ריבוי קריאות רק "כי זה מרגיש בטוח יותר", בלי למדוד את ההשפעה, הוא בעיניו הנדסה גרועה. הכלל שלו: אינפרנס נוסף משתלם אם הוא חוסך יותר בעלות הבדיקה. ליש״ט אחד של מודל שחוסך עשרה ליש״ט של בדיקה, הוא מוציא נכון.
396 שעות בחודש
הדוגמה המרכזית היא משרד של 300 עורכי דין שבונה פלטפורמה פנימית בסגנון Harvey, אולי על בסיס MikeOSS כשכבת אפליקציה מעל מודלים מסחריים. בהנחה ש-60% מעורכי הדין, 180 איש, משתמשים בה מדי יום, בשש משימות משמעותיות ביום ובמשך 22 ימי עבודה, מתקבלות כ-23,760 משימות בחודש.
אם 10% מהתוצרים דורשים עשר דקות בדיקה, מדובר ב-396 שעות בחודש. לפי 100 ליש״ט לשעה, כ-40 אלף ליש״ט בחודש. אם שיעור ההתערבות הוא 20%, הסכום מגיע לכ-80 אלף. מול זה, האינפרנס הגולמי בתרחיש הבסיסי, שלוש קריאות כבדות למשימה, מגיע לפי הערכתו ל"עשרות אלפים בודדות" של ליש״ט בחודש. במבנה של שבע קריאות העלות הזו יותר מכפולה, ועדיין יכולה להיות זולה יותר בסך הכול אם הבדיקה האנושית יורדת. המסקנה שלו: הורדת שיעור הבדיקה מ-20% ל-5% עשויה להיות שווה יותר מחיתוך חשבון המודלים בחצי.
הנוסחה וההמלצות
הנוסחה פשוטה: עלות כוללת של אספקת היכולת, חלקי מספר התוצאות שאפשר לסמוך עליהן. בדוגמה נוספת, תהליך שעולה 50 אלף ליש״ט ומפיק 10,000 תוצרים, מתוכם 1,000 נכשלים בבדיקה או ננטשים, מגיע ל-5.56 ליש״ט לתוצאה מהימנה. מקדונה מציע לשים לצד המדד הזה גם ערך לתוצאה מהימנה: תוצאה שעולה 15 ליש״ט וחוסכת 300 ליש״ט של זמן מקצועי היא כלכלה טובה.
ההמלצות המעשיות שלו מתחילות במשימה מוגדרת, כמו בדיקת NDA מול Playbook, ולא ב"עוזר AI" כללי. משם: להגדיר מה נחשב תוצאה מהימנה לאותה משימה, לפי רמת הסיכון; למפות את כל מסלול הביצוע, מקליטה ועד בדיקה; למדוד לכל שלב קריאות, טוקנים, כשלים והסלמות; לתמחר את תשומת הלב האנושית, כולל מי מתערב וכמה זמן; ולעקוב לפי תהליך עבודה ולא לפי "עלות AI למשתמש" ממוצעת.
הוא מזכיר גם עלויות שנוטים לשכוח: הנדסה, הערכה, אבטחה, תחזוקת ידע ותשתית. קוד פתוח חוסך דמי רישיון, לא עלויות הפעלה. ארגון עם עומסים כבדים עשוי להזדקק לקיבולת שמורה, כמו Provisioned Throughput של Azure OpenAI. לפי התיעוד של Microsoft, קיבולת כזו מחויבת לפי יחידה לשעה בלי קשר למספר הטוקנים שנצרכו, או בהתחייבות חודשית או שנתית בהנחה. זו עלות קבועה שצריך לתכנן מול שעות השיא, לא מול הממוצע.
עוד בנושא
- חישוב של Raymond Blyd: כמה Harvey ו-Legora גובות בפועל על מיליון טוקנים
- Mike: עורך דין לשעבר ב-Latham בנה בשבועיים פלטפורמת Legal AI פתוחה וחינמית
- ריאן מקדונה: מערכת AI משפטית יכולה להפיק תוצר טוב ועדיין להתנהג רע