מאמר שפורסם ב-4 בפברואר באתר The Legal Wire חוזר למקרה של רוברט וויליאמס, שנעצר בטעות ב-2020 בעקבות התאמה שגויה של מערכת זיהוי פנים, ומשתמש בו כדי לבחון שלוש שאלות: הטיה, שקיפות ומי אחראי כשמערכת AI טועה בהליך פלילי. מאחורי המקרה עומד הסדר מ-2024 שקבע למשטרת דטרויט כללי שימוש מחייבים בטכנולוגיה.
המקרה
בינואר 2020 עצרה משטרת דטרויט את וויליאמס בביתו בפרמינגטון הילס, מול אשתו ובנותיו הצעירות, בחשד לגניבת שעונים מחנות Shinola במרכז דטרויט שנתיים קודם לכן. לפי Michigan Public, הראיה היחידה הייתה התאמה שמערכת זיהוי פנים מצאה בין תמונת רישיון נהיגה ישנה שלו לבין צילום מטושטש ממצלמת האבטחה. התביעה חזרה בה מהאישומים.
וויליאמס הגיש תביעה פדרלית, ובסוף יוני 2024 הושג הסדר. לפי ה-ACLU, שייצג אותו, ההסדר אוסר על המשטרה לעצור אדם על סמך תוצאת זיהוי פנים בלבד, או על סמך מסדר זיהוי תמונות שנבנה ישירות מחיפוש כזה. ההסדר מחייב גם הדרכת שוטרים על הסיכונים בטכנולוגיה, כולל שיעורי טעות גבוהים יותר בזיהוי אנשים כהי עור, וביקורת על כל התיקים מאז 2017 שבהם זיהוי פנים שימש להשגת צו מעצר. בית המשפט שומר על סמכות לאכוף את ההסדר במשך ארבע שנים. לפי סוכנות AP, העירייה הסכימה לשלם לוויליאמס 300 אלף דולר. דרישתו להפסיק לגמרי את השימוש בטכנולוגיה לא התקבלה.
לא מקרה בודד
לפי ה-ACLU, המקרה של וויליאמס הוא אחד משלושה מעצרי שווא ידועים שבהם משטרת דטרויט הסתמכה על זיהוי פנים, ושלושת העצורים היו שחורים. אחד המקרים, שעליו דיווחה Michigan Public, הוא של פורצ'ה וודרוף, אישה בהריון שנעצרה ב-2023 בחשד לחטיפת רכב שלא ביצעה. בעקבות המקרה שלה הודיע מפקד המשטרה ג'יימס וייט באוגוסט 2023 על מדיניות שדורשת ראיות מעבר לטכנולוגיה עצמה.
המאמר ב-The Legal Wire נשען גם על מחקר של NIST מדצמבר 2019, שבחן 189 אלגוריתמים של 99 מפתחים. המחקר מצא שבהתאמה של אחד לאחד, שיעורי ההתאמה השגויה עבור פנים אסייתיות ואפרו-אמריקאיות היו גבוהים פי 10 עד פי 100 מאשר עבור פנים לבנות, תלוי באלגוריתם. NIST מסייג שלא כל האלגוריתמים הראו פערים כאלה, ושהמדויקים ביותר היו גם השוויוניים ביותר.
הטיעון: שקיפות, הוגנות ואחריות
המאמר, שכתב Derren Chan, סטודנט למשפטים, לא קורא לוותר על AI במערכת הפלילית. הוא מצביע על שלוש בעיות. הראשונה היא הטיה: מערכות שמתאמנות על נתונים היסטוריים משחזרות את ההטיות שבהם, כמו בשיטור חזוי שמפנה שוב ושוב לאותן שכונות. השנייה היא קופסה שחורה: טענות של סוד מסחרי יכולות למנוע מההגנה לבחון איך המערכת הגיעה לתוצאה. השלישית היא אחריות: לא ברור אם האחריות לטעות מוטלת על הגוף שמשתמש במערכת או על מי שפיתח אותה.
ההצעות שלו כוללות תיעוד מפורט של אופן פעולת המערכות ושל נתוני האימון, ביקורות חיצוניות, מסגרות אחריות ברורות למפתחים ולמשתמשים, ומנגנון לערער על החלטות שהתקבלו בעזרת AI. כדוגמה הוא מביא את ההנחיה הקנדית לקבלת החלטות אוטומטית, שמדרגת החלטות לפי השפעתן ומחייבת, בהחלטות עם השפעה גבוהה, הודעה על שימוש ב-AI והחלטה סופית של אדם.
עבור עורכי דין פליליים, ההסדר בדטרויט ממחיש נקודה מעשית: כשמעצר או כתב אישום נשענים על כלי AI, השאלה אם הייתה ראיה עצמאית שקושרת את החשוד לעבירה הופכת לשאלת מפתח בהגנה.
מקורות
- The Legal Wire: AI in Criminal Justice, The Bias and Accountability Dilemma
- ACLU: The Nation's Strongest Police Department Policy on Facial Recognition Technology
- Michigan Public: Wrongful facial recognition arrest leads to landmark settlement
- AP via News4JAX: Detroit paying $300,000 to man wrongly accused of theft
- NIST: Study evaluates effects of race, age, sex on face recognition software