על רקע המחאות בארה"ב, בעקבות מותו של ג'ורג' פלויד בידי שוטר, מתחדדת שוב סוגיית הגזענות המובנית אל תוך אמצעים טכנולוגיים מתקדמים: בארה"ב ובמקומות אחרים בעולם, טכנולוגיות שיטור ומעקב מקבלות עוד ועוד יכולות AI - המיועדות לאיתור וזיהוי של פושעים ומבוקשים. אלה מיושמות בין היתר, גם בתוך הקשר של מחאה - אז היכולת לשלוף פנים מתוך קהל הופכת לבעלת משמעות גדולה עבור רשויות האכיפה. אבל מה קורה כשגם הטכנולוגיה נגועה בגזענות האנושית?
עם פרוץ המהומות במיניאפוליס, אישר מגזין Motherboard כי מל"ט מסוג "פרדטור", המצויד במצלמה, הוטס מעל שמי העיר בניסיון לעקוב אחר המתרחש בזמן המחאות, ולאתר חשודים לפי הצורך. זו לא הפעם הראשונה שאמצעי מעקב צבאיים מתקדמים נכנסים לשימוש ומופעלים כלפי אזרחים בארה"ב. מאז 2012, משטרת הגבולות בארה"ב הטיסה רחפני מעקב מאות פעמים, לפעמים בלי שום קשר לקרבה פיזית למעברי גבול. גם ב-2015, סביב מחאת Black Lives Matter בבולטימור, בעקבות מותו של פרדי גריי בהיותו בחזקת המשטרה, נעזר ה-FBI בכלי טיס בלתי מאוישים אך מצוידים במצלמות.
זיהוי מוטעה של אוכלוסיות שוליים
לא מן הנמנע שתמונות וסרטונים שמצולמים באמצעות רחפנים, כמו גם חומרים ממצלמות גוף של שוטרים, או מצלמות מעקב ואבטחה, מזינים מערכות מתקדמות לזיהוי פנים. מערכות אלה מבוססות על אלגוריתמים שמסוגלים לבצע התאמה וזיהוי של בני אדם, והן נמצאות בשימוש הולך וגובר בקרב רשויות אכיפה בעולם המערבי - כשארה"ב ובריטניה נחשבות למובילות בהיקפי השימוש. עכשיו נסו לדמיין מה קורה כשמושגים כמו "פרופיילינג" מועתקים באופן מובנה אל האמצעים הטכנולוגיים.
אחד המחקרים המקיפים והעדכניים ביותר בנוגע להטיות (Bias) של בינה מלאכותית, מצא כי מאפיינים כמו מגדר, גזע וגיל - מובילים לקבלת תוצאות שגויות - ומכאן לזיהוי מוטעה של אוכלוסיות שלמות. המחקר בוצע על ידי NIST - המכון הלאומי לתקנים ולטכנולוגיה בארה"ב, ותוצאותיו פורסמו בדצמבר האחרון. החוקרים בחנו כמעט 200 אלגוריתמים לזיהוי פנים, שיוצרו על-ידי 99 חברות מובילות וארגונים. אלגוריתמים אלה מהווים יחד את החלק הארי של טכנולוגיות לזיהוי פנים הנמצאות בשימוש ברחבי העולם.
הממצא הבולט של המחקר: מערכות לזיהוי פנים טעו בזיהוי פניהם של אפרו-אמריקאים ואסיאתים פי עשרה עד מאה פעמים יותר לעומת פניהם של לבנים. אחוז הטעויות הגבוה ביותר נרשם בזיהוי של ילידים-אמריקאים (אינדיאנים). בנוסף נמצא כי אלגוריתמים מתקשים יותר בזיהוי של נשים על פני גברים, וכן בזיהוי של אנשים מעל גיל המעבר. אחד המקרים המפורסמים בהקשר הזה קרה ב-2014, אז אלגוריתם לזיהוי פנים של "גוגל תמונות" תייג אישה שחורה כגורילה.
זה כמובן לא קורה רק באזורים של זיהוי פנים: ב-2016 דווח כי תוכנת COMPAS, שנמצאת בשימוש מערכת המשפט בארה"ב ומכילה אלגוריתם להערכת מסוכנות של נאשמים, מוצאת נאשמים שחורים כבעלי מסוכנות גבוהה יותר וככאלה שיותר סביר להניח שיבצעו עבירות חוזרות. תוכנת PredPol המשמשת את רשויות האכיפה בארה"ב לזיהוי מוקדם של פשעים, הואשמה באותה שנה בהיותה בעלת נטיות לסמן שכונות מסוימות כמסוכנות יותר מאחרות, בין היתר מפני שהיא נשענת על דיווחים משטרתיים ולא על מקרי פשיעה אמיתיים.
זה קורה גם בישראל
לא מוכרחים להרחיק עד אמריקה. ב-2017 נעצר פועל פלסטיני, לאחר שהעלה לפייסבוק תמונה שבה הוא נראה מצולם מחזיק כוס קפה של בוקר ועומד ליד בולדוזר באתר בנייה. הוא הוסיף כיתוב "בוקר טוב לכם" בערבית, שתורגם (באמצעות מכונה) ל"פגעו בהם" בעברית, והמשטרה נכנסה לפעולה עוד לפני ששוטר דובר ערבית הספיק להציץ בכיתוב המקורי.
המקרים האלה מחדדים את השכפול המובנה של הנטיות האנושיות אל תוך אמצעים טכנולוגיים מתקדמים. התפיסה שלנו של "מכונה" - היא של יישות אובייקטיבית לחלוטין, אבל האמת היא שאלגוריתמים וטכנולוגיות של בינה מלאכותית עמוסים בהטיות מסוכנות, משום שהם מתוכננים ומעוצבים על-ידי בני אדם בשר ודם.
היעדר הגיוון התעסוקתי בעולמות ההייטק, העובדה שמאגרי המידע עצמם מלאים בהטיות ומפלים כנגד אוכלוסיות שוליים, וכמובן - היעדר הרגולציה בשימוש בטכנולוגיות מתקדמות, תורמים כולם לתמונת מצב בעייתית במיוחד בהקשר של בינה מלאכותית. מתכנתים, חוקרים ומפתחים שיושבים בראש הפירמידה בענקיות הטכנולוגיה משתייכים לרוב לסקטור הפריבילגי של החברה, והם מזינים את האלגוריתמים שלהם בדאטה שמשקף את העולם - גזעני, שוביניסטי וכוחני. כך נוצר לופ בלתי אפשרי של שכפול, שהתוצאות שלו - בייחוד בזמנים של מחאה, עשויות להיות מרחיקות לכת.
