הגינות (fairness): ביטוי שמתאר מערכת AI שאינה מפלה בין בני אדם. ניתנת להגדרה בעשרות דרכים, לפי הצורך (איך לדבר על ה-AI שלך בלי להסתבך)
איך מפתחים בינה מלאכותית (AI) הוגנת? מה צריך לעשות כדי שהיא לא תעדיף גברים על פני נשים בקבלה לעבודה? או לבנים על פני שחורים בקבלת הלוואה? איך עושים שהיא לא תזהה צעירה שחורה כגורילה? מי אחראי לכך שמערכות מעקב המונים שוב ושוב מצביעות על חפים מפשע כאשמים? מערכות AI נמצאות כיום בכל מקום. כל אחד מאיתנו נחשף אליהן כמעשה שבשגרה, לא תמיד אנחנו מודעים לזה. איך אפשר לדעת שה-AI מטפלת בנו בצורה הוגנת?
התשובה הקצרה היא שאי אפשר לדעת. התשובה הארוכה כרוכה בשמיעת התנצלויות מחברות שתיכננו לעשות טוב ויצא רע, והתחמקויות מחברות שתכננו לעשות רע ומסתירות את זה. פעם לקחנו ללב דיווחים על שימוש לא הוגן ב-AI על ידי פייסבוק, גוגל או אמזון, אבל בשנה האחרונה אנשים יצאו לרחובות ארה"ב ובריטניה בגלל שימוש לא הוגן ב-AI על ידי הממשלות ורשויות האכיפה. ככה, בלי שהבחנו, נכנס מושג חדש לחיים שלנו: בינה מלאכותית הוגנת.
עוד כתבות על בינה מלאכותית:
יכול להיות שעכשיו מתחיל לחול שינוי אמיתי בתחום. ממשלות הבינו שחייבים להעמיד מחסומים מול תאוות ה-AI של חברות עסקיות ושל הממשלות עצמן. בארה"ב מצטרפות עוד ועוד ערים למגמה החדשה – לאסור על שימוש בזיהוי פנים של מערכות מעקב המונים לצורך ביצוע מעצרים. בבריטניה נקבע שלא ישתמשו בזיהוי פנים בתהליך קליטת מהגרים בשדות התעופה. יכול להיות שזיהוי פנים מתחיל להיחשב כלא-לגיטימי בחברה דמוקרטית.
זיהוי פנים הוא רק קצה הקרחון. רוב רובו של הקרחון, מוסתר מהעין, הן אינספור מערכות AI שמבצעות למידת מכונה (machine learning): שאוספות עלינו כמויות עצומות של מידע ומפיקות תובנות שמטרתן אחת: להגדיל את הכנסות החברות, לעיתים תוך רמיסת הפרטיות, הפרת זכויות אדם וניצול תמימות המשתמשים.
רגולציה (regulation): מגבלות ל-AI שקובעים מחוקקים, שאין להם מושג מה באמת אפשר לעשות היום עם AI. הסבר טוב למה ה-AI שלנו היא סבבה: היא עומדת בדרישות הרגולציה (איך לדבר על ה-AI שלך בלי להסתבך)
עכשיו, אולי גם זה מתחיל להשתנות. באפריל השנה פרסם האיחוד האירופי טיוטה של כללים חדשים, שקובעים מה היא AI הוגנת. "אלה נורמות שיאפשרו לוודא שאפשר לתת אמון ב-AI", אמרה מרגרט וסטגר, ראש תחום הטכנולוגיה בנציבות האיחוד האירופי. חודש לאחר מכן, מכון התקנים האמריקאי (NIST) פרסם מסמך המתאר שיטה להערכת אמון המשתמשים במערכות AI, במטרה לעורר דיון ציבורי על שקיפות ואחריותיות בפיתוח AI.
הרגולטורים האירופאים מסתכלים על שוק עם שלושה סוגי שחקנים: חברות שמפתחות מערכות AI, הלקוחות שלהן - חברות שרוכשות ומפעילות את ה-AI, והצרכנים שמשתמשים ב-AI. יש פה שלל צרכים ואינטרסים, חלקם מנוגדים אלה לאלה. ויש פה ימבה כסף, הדלק שמלבה את האש.
כללי האיחוד האירופי קובעים דרגות של סיכון שכרוך במערכת AI: סיכון מינימלי, סיכון מוגבל, סיכון גבוה וסיכון בלתי קביל (unacceptable). בקטגוריה האחרונה נמצאות מערכות לסיווג חברתי כמו בסין. בזו שלפניה נמצאות מערכות לסינון עובדים, סינון מהגרים, מערכות לאכיפת חוק, אפילו מערכות לדירוג אשראי. האכיפה תהיה מחמירה. חברה שתפר את הכללים בפיתוח או בשימוש ב-AI צפויה לקנס בגובה של 6 אחוזים מההכנסות השנתיות שלה ושלא יפחת מ-30 מיליון אירו.
הוויכוח על הכללים החדשים כבר בעיצומו. ארגוני זכויות אדם טוענים שהכללים אינם חמורים דיים. ארגוני עסקים טוענים שהכללים יגרמו ליזמים ולמשקיעים להעדיף את ארה"ב, וישאירו את אירופה בפיגור טכנולוגי אחריה ואחרי סין.
שקיפות (transparency): מלוא המידע על איך עובדת ה-AI שלך, מהם המשתנים בהם היא עושה שימוש ומהן ההמלצות של ה-AI על בסיס משתנים אלה. להימנע בכל מחיר מלפרסם (איך לדבר על ה-AI שלך בלי להסתבך)
הרגולציה האירופאית והאמריקאית עשויה להשפיע על מפתחי AI בישראל, בעיקר על אלה שמוכרים לשווקים האלה. כך למשל, חברת אניוויז'ן (AnyVision) הישראלית הזדרזה ושלחה נייר עמדה למכון התקנים האירופאי. המדיניות המתרחבת לאסור שימוש במערכות זיהוי פנים עלולה לפגוע אנושות בעסקיה. אניוויז'ן משפרת בהתמדה את האלגוריתמים לזיהוי פנים שלה אבל חוששת שהניסיון העגום בתחום עלול להוביל לרגולציה קשה. "חברות AI חייבות להמשיך ולתקן הטיות דמוגרפיות מהאלגוריתמים שלהן ולהיות שקופות לגבי המתודולוגיה שלהן. לרוע המזל, אלו ניואנסים שחסרים ברוב הדיונים בימינו הקשורים לזיהוי פנים", כותב מנכ"ל אניוויז'ן אבי גולן.
אניוויז'ן היא דוגמה טובה למתרחש בעולמות ה-AI. בשנים הראשונות החברה עוררה התלהבות בקרב משקיעים, בהם מיקרוסופט, בזכות הטכנולוגיה המתקדמת שמזהה פנים, תנועות של בני אדם, חפצים ומה לא. אחר כך, כשהושמעו טענות (שנמצאו מאוחר יותר שגויות) שהטכנולוגיה שלה נמצאת בשימוש צה"ל ומשמשת למעקב אחר פלסטינים בגדה, מיקרוסופט נסוגה מההשקעה. החברה חישבה מסלול מחדש והוציאה את הפעילות הצבאית לחברה חדשה שהוקמה בשיתוף עם רפאל. ועדיין זה עלול להיות לא מספיק כשחברות כמו IBM, אמזון ומיקרוסופט מכריזות על הפסקת שימוש בטכנולוגיות זיהוי פנים והלחץ הציבורי מרקיע שחקים.
הביקוש האינסופי למערכות AI יצר תופעה של בינה מלאכותית חזירית: פיתוח מואץ של אלגוריתמים רשלניים, שמכילים הטיות ואפליה, וגם אטימות לב להגינות ולפרטיות. הרגולציה החדשה היא הגל הראשון של תגובת הנגד. חברות AI שלא יקראו את התמונה היום, אולי לא יהיו פה מחר.
השטח, העולם האמיתי (real world): כל מה שקורה אחרי שמסתיימת הסימולציה במעבדת הפיתוח. העולם האמיתי מתעקש להזין ל-AI נתונים שהיא לא מכירה. ואחר כך מתפלאים שהיא מוציאה תוצאות אוויליות? (איך לדבר על ה-AI שלך בלי להסתבך)
ד"ר אילן ששון, מומחה AI מאוניברסיטת תל אביב ומנכ”ל חברת ה-AI דאטה סיינס גרופ (Data Science Group), צופה שכמו רגולציית הפרטיות האירופאית GDPR, גם רגולציית הבינה המלאכותית תשחק תפקיד מרכזי במפת הדרכים של חברות ישראליות שירצו למכור AI ללקוחות באירופה, או ללקוחות ישראלים שפועלים באירופה. לדבריו המפתח טמון ביכולת לנטר את ה-AI ולזהות ביצועים לא טובים מבעוד מועד. ששון מדבר מפוזיציה - החברה שלו מתמחה בניטור מערכות AI - אבל הוא גם צודק מאוד. אם לא משגיחים על ה-AI, היא עלולה לפגוע במישהו.
"למדנו שברגע שמעלים מערכות AI לסביבה התפעולית הן מתחילות להידרדר בביצועים שלהן. למשל פיתחנו מערכת לשוק הסחורות ופתאום בזמן הקורונה נוצר מחיר נפט שלילי. זה משהו שה-AI לא ראתה בחיים, והיא עלולה לגרום להפסדים", אומר ששון, "איכות מודל ה-AI שלך היא כאיכות הנתונים שמוזנים אליו". הוא מביא דוגמאות למצבים שבהם מפתחי ה-AI השתמשו בנתונים רגישים כמו מוצא אתני, היסוו את מטרותיהם בשאלות מיתממות או גרמו ל"היזון חוזר רעיל", כשהמלצות ה-AI השפיעו על התופעה שהיא אמורה לזהות. הפתרון לדבריו הוא אחד: לפקח על ה-AI לאורך כל הדרך.
יכול להיות שהמפתח נמצא בידי המפתחים? הם יכולים לזהות את הבעיה המוסרית כבר בשלב הפיתוח, להימנע משימוש בנתונים לא הוגנים, או לסרב לפתח תכונה שעלולה לפגוע במשתמשים
"אני חושב שיש פה ארבעה ראשים: גם המפתחים, שלא בטוח שיש להם הבנה באתיקה, גם המנהלים העסקיים, גם מנהל הסיכונים התפעוליים, שמבין מה יכולה להיות החשיפה של הארגון (יש הרבה ארגונים שמפעילים רגולציה פנימית והיא חשובה מאוד) והגורם הרביעי הוא הרגולטור. מדעני הנתונים צריכים להגיד מה המשתנים הבעייתיים, המנהל רוצה להגדיל רווחים אבל מצד שני הוא צריך לראות שלא מסכנים את המוניטין של החברה, והרגולטור לא משאיר מקום לשיקול דעת. סין מובילה בתחום למידת המכונה כי אין שם רגולציה. אומרים שהרגולציה האירופאית שמה לעצמה מקלות בגלגלים מול הסינים, אבל יותר חשוב מהחזית הטכנולוגית זה לשמור על הפרטיות ואיכות החיים של בני אדם".
בינה מלאכותית אחראית (responsible AI): מגבלות שהמפתחים הכניסו ל-AI כדי שהתוצאה לא תהיה קטסטרופלית והלקוח הוציא כדי שהתוצאה תצדיק את ההשקעה (איך לדבר על ה-AI שלך בלי להסתבך)
לפעמים העובדים הם המנוע המוסרי של החברות. עובדי מיקרוסופט מחו על החוזים שחתמה החברה לשימוש ב-AI שלה בצבא האמריקאי, והחברה חזרה זה. עובדי גוגל התייצבו לצידה של ד"ר טימניט גברו, שכתבה מאמר ביקורתי על השימוש ב-AI בגוגל. זה קורה במקומות נוספים: מנהלי החברה מסתכלים על שורת הרווח. עובדי החברה מסתכלים על ההיבט האנושי.
לנורית כהן אינגר, סמנכ"לית מוצר בחברת ה-AI הישראלית ביונד-מיינדס (Beyond Minds), חשוב מאוד ההיבט האנושי. ביוזמתה הקימה החברה ועדת אתיקה, שדנה בבעיות של AI אחראי, כשהן צצות. "הבינה המלאכותית פוגשת אותנו, בני האדם, בכל מקום", היא אומרת, "ויש תקלות. התקלות האלה מייצרות אפליה, אי-הכלה, אי שוויון בקבלה למקום עבודה. אלגוריתמים שממיינים קורות חיים בוודאות מפלים בין גברים לנשים".
ביונד מיינדס מפתחת מערכות AI ללקוחות בתחומי הפיננסים והתעשייה. "כחברה שמפתחת את האלגוריתמים, אנחנו רוצים לפתח בינה מלאכותית אחראית. צריך לעזור ללקוח אם משהו משתבש ולקחת על זה אחריות מראש", אומרת כהן אינגר. לדבריה, AI אינו קופסה שחורה כמו שמקובל לחשוב, וניתן להסביר איך הגיעה לתוצאות: "אנחנו יודעים על איזה פרמטרים היא נשענה ויודעים לסמן – עם הפרמטר אתה חי בשלום, הפרמטר ההוא מריח כמו הטיה: מגדר, מקום מגורים. בנקודה הזו, כמי שמנהלת את ועדת האתיקה, אני אומרת: בתהליך קבלת אדם למקום עבודה, האם מקום המגורים צריך להילקח בחשבון? ה-AI גילתה שבעבר פחות אנשים מדימונה התקבלו למקצוע הזה. אני לא רוצה שגם בעתיד אנשים מדימונה יקבלו סיכוי נמוך יותר".
כלומר, את מגלה את האפליה הנוצרת ב-AI תוך כדי הפיתוח שלה?
"יש לי מערכת שמזהה פעילות של אדם קשיש בחדר. בשלב בניית המערכת אני בודקת אם יש לי בווידאו סוגים שונים של מוצא אתני כדי לזהות את האדם הזה. אם אין לי, אז בוודאות האלגוריתם יעבוד פחות טוב. זה אמיתי, אני מספרת מדם ליבי. ולכן צריך להבין קודם אם עלולה להיות הטיה או חוסר הגינות. ואז להגיע ללקוח ולהבין איתו: 'אתה רוצה שתהיה פה בעיה של חוסר הגינות?' הלקוח צריך לקחת אחריות על זה. אני מציפה. כחברת AI אני מפתחת לפי צורך של הלקוח אבל אני רואה סקנדלים שקורים והם הרי אסון למוניטין של חברה. השורה התחתונה של הדבר הזה היא, שהאחריות על הפיתוח של בינה מלאכותית אחראית, היא על המפתח".
יש מצב שאת תגידי ללקוח – אני לא עושה את זה כי זה לא אתי?
"כן, יהיה מצב כזה אם אני ארגיש שזה מסכן את השם הטוב שלי".
אם את מסתכלת על תעשיית ה-AI, כמה מהשיקולים שאת מתארת מנחים מפתחים?
"אני חושבת שכלום. אנשים לא מודעים לזה בכלל".
ציות (compliance): עשיית פעולות בהתאם לכללי הרגולציה (ע"ע). מה שיפה: כל מה שאינו בלתי חוקי, אפשר לעשות (איך לדבר על ה-AI שלך בלי להסתבך)
חברות ביטוח הן מהלקוחות הכי נלהבים של מערכות AI. הגישה הסטטיסטית של למידת המכונה, שמזהה את תבניות ההתנהגות האנושיות בתוך אוקיינוס של נתונים יבשים, כאילו נולדה עבורן. חברת הביטוח היפנית הענקית סומפו (Sompo) היא דוגמה טובה: היא השקיעה בכמה חברות AI, בהן גם בינה (Binah.ai) הישראלית, והיא הקימה שלושה מרכזי חדשנות בעולם, אחד מהם נמצא בישראל. דיה שרידי הוא מנהל הטכנולוגיות (CTO) במרכז החדשנות של סומפו בישראל, ומתוקף תפקידו הוא רואה הרבה מערכות AI, טובות וגם רעות.
איפה אתה מזהה בעיות אתיות?
"כשאתה מכניס למידת מכונה לתוך מודלים של קביעת מחירי פוליסות ביטוח, דחייה או קבלה של לקוח, אז מתחילות להישאל שאלות אתיות. בחברת הביטוח הדיגיטלית למונייד (Lemonade) דיווחו שבתהליך הגשת התביעות אצלם הם משתמשים בסימנים לא מילוליים, למשל הבעות הפנים של הלקוח כשהוא מדווח על הפגיעה יכולות לגלות אם זו הונאה. וזה הופך להיות בעייתי, בעיקר כשאתם הצהרתם שהתהליך שלכם הוא דיגיטלי במלואו, ללא מעורבות אנושית".
מה לא בסדר בזה שחברת ביטוח משתמשת בנתונים, שהוכח שהם יכולים לחזות את התנהגות המבוטח. אתה, כתושב כפר קאסם, כנראה מקבל הצעות פרמיה גבוהות יותר, אבל מה לא לגיטימי בזה?
"צריך להסתכל על ההבדלים בין אדם למכונה. המכונה מסתכלת על נתוני התביעות באזור הזה, על מספר התביעות שהתבררו כהונאה, על הגיל של המבוטח כי רוב התביעות המזויפות מגיעות משכבת גיל מסוימת. אבל כשבא בן אדם רגיל, לא רמאי, אוטומטית הוא מקבל דירוג נמוך רק בגלל שהוא מהאזור הזה. הבעיה נוצרת כשהמכונה מחליטה לדחות את התביעה, ולא אדם. מערכות למידת מכונה הן קופסאות שחורות , אתה לא תמיד מבין מה גרם לדחייה הזאת".
אם יבוא אליך סטארט-אפ ישראלי, ויראה לך נתון שאפשר לזהות אצל לקוחות, ושיכניס הרבה כסף לחברה, זה יעבור סינון אתי לפני שתאמצו אותו?
"תמיד תישאל השאלה איך זה יתקבל מבחינת ציות לרגולציה: האם אתם שואלים את הלקוח לפני זה? האם יש לכם אמצעי בקרה כדי להבטיח שהלקוח מודע למה שעושה השירות שלכם? אם אנחנו מחליטים לאמץ טכנולוגיה, אנחנו בודקים שאין שום הטיה במודל, ושהלקוח חותם על הצהרה שהוא מודע מה הדבר הזה עושה ומה יציעו לו בסוף. זה לא הטכנולוגיה שהיא מוסרית או לא, אלא איך אתה משתמש בטכנולוגיה".
