לפי חישוב שפרסם Raymond Blyd מ-Legalcomplex, Harvey מקבלת בפועל כ-2.08 דולר על כל מיליון טוקנים שהלקוחות שלה צורכים, ו-Legora כ-1.39 דולר. Blyd מציב את המספרים האלה מול מחירון של כ-15 דולר למיליון טוקנים אצל ספקיות המודלים, ומסיק שהשתיים מוכרות מתחת לעלות.
הפוסט עלה ב-LinkedIn ב-23 ביולי. Legalcomplex מגדירה את עצמה פלטפורמה למחקר שוק בליגל-טק, עם מאגר חברות, נתוני גיוסים ומפות שוק. החישוב עצמו פשוט, ובדיוק בגלל זה הוא עורר דיון ער בתגובות.
איך נבנה החישוב
נקודת המוצא של Blyd היא ש-Harvey נמצאת על הכנסה שנתית חוזרת (ARR) של כ-300 מיליון דולר וצורכת כ-12 טריליון טוקנים בחודש, כלומר כ-144 טריליון בשנה. חלוקה של ההכנסה בנפח נותנת כ-2.08 דולר למיליון טוקנים. ל-Legora הוא מייחס ARR של כ-100 מיליון דולר ונפח של כ-6 טריליון טוקנים בחודש, בהנחה שיש לה כמחצית מהלקוחות של Harvey ושליש מההכנסות שלה. התוצאה: כ-1.39 דולר למיליון.
החשבון עצמו מסתדר. מה שהפוסט לא מספק הוא מקור לנתון של 12 טריליון הטוקנים בחודש, שעליו נשען כל השאר. גם הנתון של Legora מסומן בפוסט ככזה שנגזר מהשוואה ל-Harvey ולא כנתון שפורסם.
"העלות האמיתית" לפי המחירון
בצד העלות Blyd משתמש במחירי המחירון של מודלי הדגל. לפי הפוסט, מודל הדגל של OpenAI עולה 5 דולר למיליון טוקני קלט ו-30 דולר למיליון טוקני פלט, וממוצע משוקלל של כ-15 דולר. Claude Fable 5 של Anthropic עולה לפי אותו פוסט 10 דולר לקלט ו-50 לפלט, וממוצע של כ-26 דולר. המחירים של Fable 5 תואמים את דף התמחור הרשמי של Anthropic.
מכאן המסקנה: אם הספקית משלמת סביב 15 דולר על מיליון טוקנים ומקבלת מהלקוח כשני דולרים, כלכלת היחידה שלה שלילית. Blyd טוען גם שספקיות המודלים עצמן לא גובות את העלות המלאה, וצופה ש-Harvey ו-Legora יעברו לתמחור לפי שימוש כשסוכנים למשימות ארוכות ייכנסו לשימוש רחב. על הנתונים שמסר נשיא Harvey, גידול של פי 14 בטוקנים בחצי שנה ובחינת תמחור לפי מושב, דיווחנו כאן ביולי.
מה המגיבים העלו
התגובות לפוסט מעניינות לא פחות מהפוסט. כמה מגיבים הצביעו על כך שהחישוב מניח מחיר מחירון מלא, בלי מטמון (caching), בלי הנחות כמות ובלי ניתוב בין מודלים. אחד מהם העריך שמטמון חוסך כ-90% מהעלות בעומסי עבודה משפטיים, שבהם אותם מסמכים ארוכים נשלחים למודל שוב ושוב. דף התמחור של Anthropic מראה למה זה משנה: ב-Fable 5, קריאה מהמטמון מתומחרת בדולר אחד למיליון טוקנים, עשירית ממחיר הקלט הרגיל.
מגיבים אחרים טענו שמעבדות המודלים נהנות ממרווח רווח על הסקה (inference) ולא מפסידות עליה, שהמספרים בפוסט לא מתיישבים זה עם זה במלואם, ושייתכן ש-Harvey ו-Legora משתמשות גם במודלים פתוחים או ייעודיים זולים יותר. Blyd הפנה את המגיבים לפוסט נפרד שלו על סבסוד ומטמון.
למה זה רלוונטי למשרדים
הוויכוח הוא על פרטי החישוב, אבל השאלה שמאחוריו נוגעת ישירות לרוכשים. רוב הכלים המשפטיים נמכרים היום ברישיון למשתמש, בעוד שהעלות של הספק תלויה בכמות העבודה שהמודל עושה. ככל שהשימוש עובר לסוכנים שקוראים מאות מסמכים ומריצים משימות ארוכות, הפער בין המחיר הקבוע לעלות המשתנה גדל. משרד שחותם היום על חוזה רב-שנתי עם ספק AI צריך לבדוק מה קורה למחיר אם הספק משנה את מודל התמחור באמצע התקופה, והאם יש תקרת שימוש שלא נאמרה במפורש. ד"ר אסף שפנייר טען בגיקטיים שמנוי ה-AI הקבוע מסובסד והחיוב לפי שימוש בדרך.
גם אם המספרים של Blyd לא מדויקים, הם ממחישים כמה מעט מידע ציבורי יש על הכלכלה של ספקי ה-Legal AI. אף אחת מהחברות לא פרסמה את נפח הטוקנים או את העלות שלה, ולכן כל הערכה חיצונית נשענת על הנחות.
עוד בנושא
- נשיא Harvey: הטוקנים בפלטפורמה גדלו פי 14 בחצי שנה, והתמחור לפי מושב נבחן
- ד"ר אסף שפנייר: מנוי ה-AI הקבוע מסובסד, והחיוב לפי שימוש בדרך
- ניסוי מחשבה: כמה יעלה ה-AI לפירמות הגדולות בעוד שלוש שנים, לפי הערכה של ChatGPT
- Kaichen Xu: הבעיה של Legal AI היא לא מחיר הטוקנים אלא פרומפטים רדודים