OpenAI פתחה בתחילת אוקטובר בטא ציבורית של Decisions API, ממשק שלא מחזיר טקסט חופשי אלא תשובה מובנית: הסתברות שתנאי מתקיים, בחירה מתוך רשימה או ציון בסולם. המחיר שפורסם, 0.10 דולר למיליון טוקני קלט, פותח שאלה מעשית למי שמסווג אלפי מסמכים: האם אפשר לסמוך על מספר בלי נימוק.
מה הממשק עושה
לפי התיעוד של OpenAI, Decisions מקבל טקסט, תמונות או JSON ומחזיר אחד משלושה סוגי תשובות. Predicate היא הסתברות בין 0 ל-1 שתנאי מסוים מתקיים. Choice מחזירה ערך אחד מתוך רשימה שהמשתמש מגדיר, עם הסתברות לכל אפשרות וציון ביטחון. Score מדרגת את הקלט בסולם של 2 עד 10 רמות, כממוצע משוקלל של ההסתברויות, ולכן התוצאה יכולה ליפול בין רמות.
הממשק פועל עם מודל אחד, gpt-6-luna. לפי התיעוד, קלט שאינו שמור במטמון עולה 0.10 דולר למיליון טוקנים, וטוקני פלט אינם מחויבים כלל. הדוגמאות של OpenAI אינן משפטיות: סיווג תוכן, ניתוב פניות, תעדוף תקלות ובדיקת תמונות מוצר. אבל המבנה מתאים לשאלות של סקירת מסמכים בהיקף, כמו "האם החוזה כולל סעיף שיפוי" או "לאיזו קטגוריה שייך המסמך", ו-Artificial Lawyer הציג אותו ב-8 באוקטובר בדיוק בהקשר הזה, כסקירה זולה יותר בהיקף גדול.
הבדיקות הראשונות בשטח
בקהילת Legal Quants, קהילה מקוונת שבין חבריה עורכי דין בחברות ואנשי אקדמיה, ערוץ הדיון שונה ב-8 באוקטובר לשם "Jev, Decisions API and classifiers". לפי הסיכום השבועי של הקהילה, שמכסה את 2 עד 10 באוקטובר, השאלה המרכזית הייתה איך בודקים מודל שמחזיר רק מספר.
שתי בדיקות דווחו שם. בראשונה, בודק הריץ את Jev על כ-13,300 הוראות של חוק עזר עירוני, ולפי דיווחו המודל החמיץ 8 הוראות ש-Sonnet של Anthropic זיהה. בשנייה, מודל פתוח שכונה Kev, שרץ על מחשב נייד, השתווה ל-Jev או עבר אותו במבחן על 50 חוזים. המחיר היה זמן: עד 60 שניות לחוזה ב-Kev, לעומת כשנייה ב-Jev, לפי הבודק. אלה דיווחים של משתמשים בודדים ולא בנצ'מרק מסודר, וגודל המדגם של מבחן החוזים קטן.
הלקח: לפרק את השאלה
המסקנה שעלתה בדיון, לפי הסיכום, היא שמודלים כאלה עובדים טוב על שאלות צרות עם קריטריונים ברורים. לכן ההמלצה היא לתת למודל שפה רגיל לפרק קודם שאלה עמומה לשאלות כן ולא מוגדרות, ורק אחר כך להעביר אותן לסיווג. דוגמה ממשחק טריוויה באירוע של הקהילה בסן פרנסיסקו המחישה, לפי הסיכום, כמה קל להטות ציון כשלשאלה יש מעט הקשר.
למשרדים ולמחלקות משפטיות המשמעות כפולה. מצד אחד, עלות הקלט הנמוכה והיעדר חיוב על פלט הופכים מעבר על מאות אלפי מסמכים לזול בהרבה ממודל שמנמק כל תשובה. מצד שני, מספר בלי נימוק דורש מתודולוגיית בדיקה משלו: מדגם ביקורת, השוואה למודל שני או לסוקר אנושי, וקביעה מראש של סף הסתברות שמתחתיו מסמך עובר לעין אנושית. ההחמצה של 8 מתוך 13,300 נשמעת זניחה, עד שאחת מהן היא ההוראה שהתיק תלוי בה.