Kaichen Xu, עורך דין ויועץ Legal Engineering, פרסם ב-1 ביולי מאמר שטוען כי הדיון על עלויות הטוקנים ב-Legal AI מפספס את העיקר. לטענתו מחיר הטוקנים לא עלה, והבעיה האמיתית היא מערכות של סוכנים רבים שמופעלות על פרומפטים רדודים, שאין בהם מספיק מומחיות משפטית.
החשבון של הטוקנים
במאמר Xu מציב כמה מספרים בסיסיים. לדבריו מודלים מתקדמים עולים כ-5 דולר למיליון טוקנים של קלט, ומחיר זה לא עלה. מיליון טוקנים הם בערך 750 אלף מילים, או כ-3,000 עמודים ברווח כפול. לפי החישוב שלו, המשימות שהוא מריץ בעצמו, כולל טוקני ההסקה של המודל, עולות סנטים, ובשיחות ארוכות לכל היותר עשרות סנטים.
מכאן הוא מסיק שכדי שהחרדה מעלויות תהיה מוצדקת, הצריכה צריכה לגדול בסדר גודל של פי מאה. זה מה שקורה, לטענתו, כשמחליפים עבודה ממוקדת במערכת של סוכנים רבים שמתווכחים ביניהם ובודקים זה את זה בלולאות. חשוב לציין שמדובר בהערכה של הכותב, ולא בנתון צריכה שנמדד. Xu הוא גם מי שניסה בעבר לחשב מתי אוטומציה גורמת לשעת החיוב להפסיק להשתלם, וכתבנו על כך כאן.
Lavern מול פרומפט NDA
כדי להמחיש את הטענה Xu בחן את Lavern, פרויקט קוד פתוח שמציג את עצמו כמערכת משפטית מרובת סוכנים: 67 סוכנים מומחים, ויכוח בין הסוכנים ולולאת אימות של עשרה סבבים לפני מסירת מסמך. על השקת Lavern דיווחנו כאן במאי. Xu קרא עשרה מהפרומפטים של הסוכנים ומצא שאורכם נע בין 692 מילים (חוקר משפטי) ל-2,436 מילים (בודק חוזים), כשרובם מתחת ל-1,000 מילים.
לדבריו, יותר ממחצית מכל פרומפט מוקדשת לפרסונה, למבנה הוויכוח, לכלים ולעיצוב הפלט. מה שנשאר הוא רשימה של דברים שצריך לשקול, אבל לא הדרכה איך להכריע. לשם השוואה הוא מציין שפרומפט בדיקת ה-NDA של Claude for Legal, מאגר הסוכנים והסקילים המשפטיים ש-Anthropic פרסמה בקוד פתוח, אורכו 2,850 מילים, ושפרומפט M&A שהוא כתב בעצמו מגיע ל-3,293 מילים.
הדימוי שהוא בוחר: מתמחי קיץ שקיבלו תגי שם וגישה לכל המאגרים. התוצר נראה מלוטש, אבל אי אפשר למסור אותו ללקוח. סוכן שקיבל פרסונה של עורך דין לא קיבל בכך את המומחיות, ולכן ויכוח בין סוכנים כאלה מפיץ את הפערים, ולולאות בדיקה חוזרות על אותן טעויות.
Legal Engineering במקום עוד סוכנים
הפתרון ש-Xu מציע הוא מה שהוא מכנה Legal Engineering, בשני ענפים. הראשון, הנדסת מומחיות: זיקוק הידע של עורכי דין בכירים לפרומפטים מפורטים ורב-פעמיים, בהיקף של עשרות עמודים למשימה ואלפי עמודים למשרד. השני, הנדסת תהליכים: תכנון זרימות עבודה חצי אוטומטיות שמחלקות את העבודה בין AI לאדם, במקום להעתיק את המבנה הארגוני המסורתי של המשרד לתוך מערכת סוכנים.
לטענתו, ידע מקודד כזה הוא היתרון התחרותי העמיד של משרד. הוא לא שולל עבודה סוכנית, אבל לשיטתו היא מועילה רק אחרי שהמודל מצויד במומחיות משפטית מספקת. Xu עצמו מוכר שירותי ייעוץ בתחום, וכדאי לקרוא את המאמר גם בהקשר הזה.
תגובה מצד Lavern
לא כולם מקבלים את המדד. בתגובה למאמר כתב Antti Innanen, שעומד מאחורי Lavern, שהפרויקט הוא תבנית פתיחה ולא כלי מוגמר, ושאורך פרומפט אינו מדד אמין לאיכות. הוא ביקש לראות ראיות לכך שפרומפטים ארוכים יותר אכן עובדים טוב יותר עם המודלים החדשים.
הוויכוח הזה רלוונטי לכל משרד שבונה לעצמו כלים: האם להשקיע בארכיטקטורה של סוכנים רבים, או בתיעוד מעמיק של שיקול הדעת המקצועי בפרומפט אחד או בכמה פרומפטים ארוכים. בשני המקרים, ההחלטה צריכה להישען על בדיקה של התוצרים בפועל, ולא על מספר הסוכנים או מספר המילים.
עוד בנושא
- Lavern: משרד עורכי דין סוכני בקוד פתוח, עם 67 סוכנים ושערי אישור אנושיים
- כמה אוטומציה צריך כדי ששעת החיוב תפסיק להשתלם? עורך דין מנסה לחשב את הסף
- אותו Claude, שלוש סביבות: מחקר קטן מצביע על המעטפת כגורם המכריע ב-Legal AI
- ניסוי מחשבה: כמה יעלה ה-AI לפירמות הגדולות בעוד שלוש שנים, לפי הערכה של ChatGPT