חברת LizzyAI פרסמה ב-10 באוגוסט בדיקה שבה הריצה שישה כלי AI על שאלות הרב-ברירה של בחינות ההסמכה של לשכת עורכי הדין. במועד יוני 2026, כשכל שאלה נשאלה בנפרד, ChatGPT, LawMate ונבו AI עברו את רף ה-90%. המסקנה המרכזית של הבודקים דווקא מצננת: התשובה הנכונה היא רק חצי מהעבודה.
מה נבדק
לפי המאמר המלא, נבדקו שני סוגי כלים. שלושה כלים "בסיסיים": ChatGPT, Claude ו-Gemini, ושלושה כלים משפטיים ישראליים: נבו AI, טקדין AI ו-LawMate. הבדיקה כיסתה רק את שני החלקים של השאלון האמריקאי, החלק הדיוני והחלק המהותי, 80 שאלות בסך הכל, ולא את מטלת הכתיבה. לפי המאמר, כל אחד משני החלקים מורכב מ-40 שאלות עם ארבע תשובות אפשריות, ומשקלו 40% מהציון.
הבדיקה נערכה על ארבעה מועדים: דצמבר 2024, יוני 2025, דצמבר 2025 ויוני 2026, בשתי שיטות. בשיטה אחת הוזן חלק שלם בבת אחת, ובשנייה כל שאלה הוזנה בנפרד בשיחה חדשה. במועד יוני 2026 נעשה שימוש בגרסאות העדכניות של הכלים לאותה עת, ובשיטת השאלה הבודדת התוצאה היא ממוצע של ארבע הרצות. LizzyAI מציינת שהבדיקה נולדה במסגרת פיתוח של מאגר משפטי חדש במערכת שלה, כלומר מדובר בבדיקה של ספק, שהכלי שלו עצמו לא נכלל בטבלאות. LizzyAI היא אותה חברה ש-Lizzy שלה שולבה במערכות ניהול המשרד קליגל ו-Lawyal, ועל שני השילובים דיווחנו קודם.
התוצאות
במועד יוני 2026, בשיטת השאלה הבודדת, ChatGPT הוביל עם 94.1%, אחריו LawMate עם 93.1% ונבו AI עם 92.2%. טקדין AI הגיע ל-85.9%, Gemini ל-84.4% ו-Claude ל-77.5%. כשחלק שלם הוזן בבת אחת התמונה השתנתה: ChatGPT נשאר ראשון עם 94.5%, אבל הכלים המשפטיים ירדו לטווח של 79% עד 81%. טקדין AI לא נבדק בשיטה הזו, כי לפי המאמר לא ניתן היה להזין בו את כל השאלות בבת אחת.
בממוצע של כל המועדים, בשיטת השאלה הבודדת, LawMate הוביל עם 94.1% ו-ChatGPT אחריו עם 93.3%. הבודקים מציינים שיפור גורף בין דצמבר 2025 ליוני 2026, ומייחסים אותו לעדכוני גרסאות. הם גם מזכירים בדיקה קודמת של עו״ד רז ברכה על מועד דצמבר 2025, שבה, לפי המאמר, נבו AI הוביל עם 97.5%.
הבעיה היא האימות
החלק המעניין יותר נוגע לאופן שבו הכלים מראים על מה הם נשענים. לפי המאמר, הכלים הבסיסיים מספקים מקור, אבל לרוב כהפניה כללית בקישור חיצוני, בלי מראה מקום מדויק, ובלי לסנן מקורות לפי מהימנות. לעיתים הם הפנו לבלוגים ולפרסומים פרטיים ברשת, ולא לפסיקה, לחקיקה או לספרות משפטית. בכלים המשפטיים ההפניה הייתה איכותית יותר, אבל גם ביניהם יש הבדל: חלקם מציגים ציטוט מבודד עם קישור, ואחרים מראים את ההפניה בתוך המקור המלא, מה שמקצר את האימות.
הטעויות עצמן, לפי הבודקים, נחלקו לשני סוגים: טעות בהבנת הכלל המשפטי, או זיהוי נכון של הכלל עם יישום חלקי שהתעלם מחריגים וממקרי קצה. המאמר מציין גם מגבלות: מספר מועדים קטן, אפשרות שהכלים איתרו ברשת את מפתח התשובות הרשמי של הלשכה, והעובדה שהגרסאות מתעדכנות מהר.
בפוסט שליווה את המאמר, שכתבה מאיה אמיר, LizzyAI מסכמת שהממצאים מערערים את ההנחה שתשובות נכונות נובעות בעיקר ממאגר משפטי פנימי גדול, כי ChatGPT הגיע לתוצאות גבוהות בלי מאגר כזה. מנגד, היא טוענת שכלי משפטי טוב צריך לשלב מאגר עם סוכן חיפוש ולאפשר אימות מהיר של המקור. זו גם הטענה השיווקית של החברה לגבי המוצר שלה, וכדאי לקרוא אותה ככזו.
עוד בנושא
- קליגל מכניסה את Lizzy AI למערכת ניהול המשרד: שליחת מסמכים מהתיק לניתוח בלחיצה
- Lizzy משתלבת ב-Lawyal: מסמכים מתוך מערכת ניהול המשרד נשלחים לניתוח AI בלחיצה