תארו לכן שאתן סירת מרוץ. המרוץ מתחיל ואתן מאיצות אל הפרס הגדול. המטרה - לעבור את המסלול בצורה אופטימלית כך שסך הפרסים שתאספו יהיה מירבי. אתן חותכות סיבובים, אוספות פרסים קטנים מפינה זו ומעיקול זה וממשיכות אל קו הסיום, אל הפרס הגדול.
אך הנה, בלגונה שמתחבאת מאחורי עיקול חד נוסף, עומדים שלושה פרסים קטנים נוספים. בתמרון חד אתן אוספות גם אותם ורגע לפני שאתן נעלמות מעבר לפינה, אתן שמות לב לדבר נוסף – הפרסים שזה עתה צברתן מתחדשים. אם תמשיכו להסתובב כאן בלגונה, אתן מבינות, תוכלו לאסוף את שלושת הפרסים שוב ושוב, לנצח. כך תגדילו את סכום הפרסים הכולל שלכן, עד שיעלה אפילו על הפרס הגדול שבסוף המסלול. וכך אתן עושות.
עוד כתבות שיעניינו אתכם:
ארז פירטצילום: אלבום פרטיזוהי דוגמה אמיתית (וידועה) למערכת תוכנה המבוססת על למידת חיזוקים (Reinforcement Learning, שיטה של למידת מכונה) המשחקת משחק מחשב של מרוץ סירות. המערכת למדה להשיג את מטרתה (השגת סכום מירבי של פרסים) בצורה אופטימלית, אך פספסה את הכוונה – ניצחון במרוץ על ידי חציית קו הסיום ראשונים. הדוגמה הזו ממחישה את הזהירות הנחוצה כאשר אנו קובעים מטרות לתוכנות המאומנות באמצעות שיטות של למידת חיזוקים. אותה זהירות נחוצה גם כשמדובר בחברות הטכנולוגיה המפתחות את הדור הבא של מוצרים אלה, משום שגם הן פועלות תחת הלחץ להשיג את מטרתן (רווח!) בצורה אופטימלית.
בלמידת חיזוקים מאמנים מערכת בינה מלאכותית לפתור בעיות בצורה אופטימלית על ידי כך שנותנים לה פרס חיובי או שלילי בהתאם להצלחה שלה בפתרון הבעיה (או בביצוע פעולות וכניסה למצבים המקרבים או מרחיקים אותה מפתרון הבעיה). ככל שהמערכת מתוחכמת יותר, כך עלינו להיות זהירים יותר בהצבת המטרות וחלוקת הפרסים, אחרת תמצא המערכת דרך שונה, שלא תמצא חן בעינינו, להשיג אותן.
לחסל את המפעיל
ייתכן ודוגמת הסירה פשוטה מדי או לא רלוונטית בעיניכן. אם כך, שימו לב לדוגמה הבאה, שפורסמה לא מזמן (חשוב לציין: חיל האוויר האמריקני פרסם הכחשה שלפיה מדובר בניסוי מחשבה בלבד, שאפשר שיקרה במציאות). הפעם המערכת היא מזל"ט הפועל במטרה להשמיד מטרות אויב, שעליו מפקח מפעיל אנושי שיכול להתערב ולבטל מטרות שבחרה המערכת, תוך שימוש בתקשורת מרחוק.
במהלך בדיקות שבוצעו בסביבה וירטואלית, מצאה המערכת תוכנית פעולה שתאפשר לה להשיג סכום מירבי של פרסים – להיפטר מהמפעיל האנושי שמבטל חלק מהשמדות האויב המתוכננות. אז היא חיסלה אותו (הכוונה ליישות הווירטואלית שמילאה את תפקידו). לאחר שהבעיה תוקנה - חיסול המפעיל האנושי יגרור עונש שיהפוך את הפעולה ללא משתלמת בטווח הארוך – מצאה המערכת פתרון חליפי: השמדת ממסר התקשורת שמעביר את פקודות המפעיל.
עכשיו מותר להילחץ. זה כבר נשמע דומה מדי לאזהרות הנשמעות כבר קרוב לשני עשורים מפי חוקרים בתחומי התיאוריה והפילוסופיה של בינה מלאכותית. למעשה, כבר בשנת 2015 פורסם אחד המאמרים המכוננים בתחום. לא רק זאת, לאחרונה פורסמו קריאות לפעולה ואזהרות על ידי גורמים מובילים בתעשייה ובאקדמיה ומקרים נוספים בהם חוקרים ומנהלים בכירים היכו על חטא על תרומתם לתעשייה, או ביקשו מפורשות התערבות ממשלתית דרך רגולציה. ובזה האחרון עסקינן.
הנה טיעון שבאמצעותו אפשר ללמוד משהו מתוך הדמיון בין חברות טכנולוגיה ובין מערכות למידת חיזוקים כמו אלה שתיארתי. בשני המקרים, מדובר במערכות הפועלות להשגת מטרה מסוימת בדרך אופטימלית, אבל הדרך שבחרו בה לא רצויה במובנים מסוימים. למרות זאת, המערכות אינן מסוגלות להפסיק לפעול כך בגלל לחץ מובנה לפעולה אופטימלית. המזל"ט לא היה מחסל את מפעילו אם לא היה מזהה שהוא מפריע לו לפעול בדרך אופטימלית. רק התערבות חיצונית דוגמת עדכון עונש עבור חיסול המפעיל גרמה למערכת לבחור בדרך אחרת – חיסול רשת התקשרות.
ארגונים מסחריים פועלים על מנת להשיג רווח מיטבי בכל דרך חוקית שעולה בדעתם. נכון, הם תורמים, שומרים על סביבה ירוקה, מצ'פרים עובדים, מעניקים דיווידנדים וכו', אבל כל זה נעשה על מנת להשיג מטרות ביניים (דעת קהל חיובית, גיוס עובדים טובים ועוד) שבטווח הרחוק יביאו לרווח אופטימלי. הלחץ לרווח מקסימלי הוא שדוחף אותם לפעול בדרך שבה הם פועלים – למשל, ייתכן וחברות לא היו מבצעות מהלכים נרחבים כל כך של פיטורים אילולא היו צריכות לענות לבעלי המניות שלהן לגבי שורת הרווח, ממש כפי שמערכת המזל"ט לא הייתה מחסלת את המפעיל אילולא תוכנתה להשיג מספר מקסימלי של חיסולי אויב. הלחץ להשיג את המטרה בצורה אופטימלית מביא את המערכת (או החברה המסחרית) לנקוט פעולות שבלעדיו הייתה נמנעת מהן.
בהקשר הזה, חברות טכנולוגיה המפתחות מערכות בינה מלאכותית מתקדמות, מודעות לכך שהדבר כרוך בסיכונים ובבעיות אתיות: הטיות המבוססות על מידע, חוסר היכולת לפרש ולהסביר חיזויים, חוסר שקיפות ולאחרונה שימוש לרעה על ידי יצירת מיסאינפורמציה מסוגים שונים. בנוסף, חוקרים מזהירים כבר שנים מפני סיכונים הנובעים מחוסר שליטה, שיגברו ככל שיהפכו המערכות לאוטונומיות (כלומר, כאלה המקבלות החלטות ללא התערבות אנושית) ומתוחכמות יותר.
למרות כל זאת, חברות הטכנולוגיה ממשיכות במרוץ אחר מערכות גדולות יותר, מתוחכמות יותר ולדעת רבים מסוכנות יותר. סם אלטמן, מנכ"ל ומייסד-שותף של חברת OpenAI, העיד לפני מספר שבועות בפני ועדה של הסנאט וביקש מפורשות רגולציה ממשלתית בתחום – עוד עדות לכך שבכירי החוקרים, היזמים ומובילי הדעה בתעשייה ערים לסיכונים, אך לכודים בלולאת המרוץ הטכנולוגי וזקוקים נואשות להתערבות חיצונית. הם כורעים תחת הלחץ הסביבתי (של בעלי המניות, המשתמשים, ובעיקר המתחרים) להשתלט על השוק ולהגיע לרווח מקסימלי.
בדיוק כמו שמהנדסי המערכת מתערבים על מנת לעדכן עונש עבור חיסול המפעיל האנושי במקרה המזל"ט, כך עלינו לקחת ברצינות את הקריאה להתערבות חיצונית – גם אם נעשתה לצורך השגת רווח עתידי. כצעד ראשון עלינו להוציא את השליטה מידי אלה שאין להם יכולת לשלוט במרוץ משולח הרסן ליצירת מערכות בינה מלאכותית מתוחכמות יותר. מוצרים המבוססים על טכנולוגיה כזו יהיו חייבים בתווי תקן תקופתיים שיינתנו על ידי מומחים בלתי תלויים ויצטרכו לעמוד בתנאים חמורים של שקיפות, תהליך פיתוח בטיחותי, בדיקות קפדניות והשתת אחריות על התוצר.
ד"ר ארז פירט הוא המנהל האקדמי של המרכז למדעי הרוח ובינה מלאכותית, אוניברסיטת חיפה והטכניון
