ברוב משרדי עורכי הדין, ההגנה על מידע שנשלח לכלי AI נשענת על חוזה, מדיניות והצהרות של הספק. Ryan McDonough טוען במאמר שפרסם בבלוג שלו ב-29 באפריל שבתיקים רגישים זה כבר קשה להצדקה, ומציע שכבה נוספת: Private Inference.
מאמון לבידוד
הטיעון המרכזי פשוט. כשעורך דין שולח פרומפט לכלי AI, ההנחה היא שהספק לא יסתכל, לא ישמור ולא ישתמש. ההנחה הזו מבוססת על התחייבויות חוזיות ועל בקרות גישה. לפי McDonough, בעבודה על תיקים חיים, רגישים או כאלה שעלולים להגיע לשלב גילוי מסמכים, זה לא תמיד מספיק.
Private Inference, בהגדרה שלו, הוא הרצת מודלים בסביבות מבודדות שמונעות אפילו מספק התשתית לראות את הנתונים בזמן העיבוד. בדרך כלל זה נעשה באמצעות Enclaves מגובי חומרה: הקשרי הרצה סגורים שהמידע נכנס אליהם, מעובד ויוצא, בלי להיחשף למערכת שמסביב. ההבדל, כפי שהוא מנסח אותו, הוא שכדי לגשת למידע צריך לשבור גבול טכני, ולא רק לקבל הרשאה.
המאמר לא נכנס לטכנולוגיות או לספקים ספציפיים, אבל הרעיון כבר קיים בשוק. Apple, למשל, תיארה בפוסט מיוני 2024 את Private Cloud Compute, תשתית ענן לבקשות AI שבנויה כך שמידע אישי לא יהיה נגיש לאיש מלבד המשתמש, "אפילו לא ל-Apple". NVIDIA מציעה Confidential Computing על מעבדים גרפיים מסדרות Hopper ו-Blackwell, שלפי החברה מצפין גם פרומפטים ומשקולות מודל בזמן העיבוד. החברה עצמה מציינת שהטכנולוגיה לבדה לא מבטיחה עמידה ברגולציה, וכל ארכיטקטורה צריכה בדיקה משלה.
ניתוב לפי רמת סיכון
החלק המעניין במאמר הוא שהוא לא מציע להעביר הכול לסביבות מבודדות. McDonough מציג את Private Inference כחלק מאסטרטגיית ניתוב רחבה יותר, ולא כיכולת עצמאית. מערכת כזו תשקול את רגישות הלקוח, את השלב שבו נמצא התיק, את סוג העיבוד ואת החשיפה האפשרית בהמשך, כולל גילוי מסמכים וסיכון רגולטורי. לפי זה היא תפנה כל משימה לאחד משלושה מסלולים: מודלי ענן רגילים לעבודה בסיכון נמוך, Private Inference לעבודה רגישה, ומודלים קטנים בתוך תהליכי עבודה מבוקרים. McDonough הוא גם מי שהציע לנהל סוכנים משפטיים בקובץ מדיניות YAML במקום בפרומפט, ועל OpenMandate כתבנו במרץ.
הדוגמאות שהוא נותן לעבודה שמצדיקה בידוד מוכרות לכל ליטיגטור ולכל יועץ משפטי בחברה: חקירות פנימיות לפני שגובשה עמדה לגבי גילוי, ניתוח חשיפה רגולטורית בתכתובות פנימיות, חומרים לפני עסקה שיש להם רגישות שוק, ואסטרטגיית ליטיגציה כשסיכון הגילוי ממשי.
המחיר של שליטה
McDonough לא מציג את הפתרון כחינמי. הוא מונה מורכבות נוספת והחלטות תשתית, עיכוב אפשרי בגישה ליכולות של מודלי החזית העדכניים, והעברה של האחריות לניטור ולהערכה אל המשרד עצמו. מי שבוחר להריץ מודלים בשליטתו צריך גם להגדיר תהליכי עבודה בצורה מדויקת יותר, עם גבולות ברורים והתנהגות שאפשר למדוד.
מכאן הדגש שלו על הערכה. לטענתו, משרד שעובר למודלים בשליטתו צריך קריטריוני הצלחה מדידים, מאגרי בדיקה שמייצגים עבודה אמיתית, תהליך הערכה שאפשר לחזור עליו וספים שנאכפים בפועל. בלי זה, כתב, כל השוואה בין מודלים היא "במידה רבה אנקדוטלית".
לגבי מודלים קטנים, הוא טוען שבתהליכים משפטיים מובנים וחוזרים הם מתאימים לעתים קרובות יותר: מהירים יותר, זולים יותר וקלים יותר להגבלה. המשפט שמסכם את הגישה שלו הוא ש-Private Inference לא מבטל את הצורך בשיקול דעת, אלא מחייב להפוך אותו למפורש.
עוד בנושא
- OpenMandate: מסגרת קוד פתוח שמעבירה את הכללים לסוכני AI מהפרומפט לקובץ מדיניות
- סוכני AI בצוות המשפטי: דליפת מידע של לקוחות וטעויות שמתגלגלות