מחקר חדש מגלה זינוק של מאות אחוזים בשימוש בתמונות מזויפות שנוצרו באמצעות כלי AI כמו Dall-E, מידג'רני או סטייבל דיפיוז'ן. התמונות המזויפות שימשו בקמפיינים שנועדו לפגוע בישראל וכמו כן בקמפיינים שנועדו לעודד חרם על חברות ורשתות שתומכות בישראל, בהן קוקה קולה, מקדונלד'ס, סטארבאקס ואחרות. חלק מהקמפיינים הפכו ויראליים והופצו למיליוני משתמשים. את המחקר ביצעה חברת Zefr שמתמחה בניטור תכני הסתה ברשתות החברתיות, והוא נעשה באמצעות כלי AI חדש שפיתחה החברה. המחקר יוצג בכנס IMVC באקספו תל אביב שייערך בחודש הבא.
אור לוי, ראש תחום דאטה סיינס בחברת Zefr, אומר: "בעקבות אירועי ה-7 באוקטובר זיהינו זינוק של פי 20 בכמות המידע המסולף בהקשר של ישראל וחמאס. זה המקרה הראשון שבו רואים שימוש משמעותי ב-AI לצורך תעמולה והסתה. איתרנו טרנד הולך וגובר ברשתות החברתיות של תכני וידאו עם מיליוני צפיות נגד מותגים פופולריים בעלי זיקה לישראל וקריאות לחרם כנגדם. קמפיין ההסתה הזה פוגע בסופו של דבר במדינה וזה נותן לנו אקסטרה מוטיבציה לעבוד על הדברים האלה". החברה עובדת בשיתוף פעולה עם ארגוני בדיקת עובדות ברחבי העולם כדי לשפר את יכולת איתור המידע המסולף.
בתחום התמונות התחוללה מהפיכה בעולמות הפייק והדיפ-פייק, עם הכניסה לשימוש בבינה מלאכותית יוצרת (GenAI) בשנה האחרונה. לוי אומר כי יש שני סוגים של שימוש זדוני. האחד הוא תמונות של אירועים שלא קרו, "תמונות מזוייפות של הרס ואובדן ורוב האנשים לא מסוגלים להבדיל בינן לבין תמונות אמיתיות, והמטרה היא להטות את דעת הקהל העולמית". הסוג השני הוא תמונות שנועדו לפגוע בחברות מסחריות התומכות בישראל ולקרוא להחרמתן. בתמונות רואים בדרך כלל את סמל החברה או מוצר שלה, כשהם טבולים בדם, עם הכיתוב: "להחרים".
בחברת Zefr פיתחו בשנה האחרונה כלי AI ראשון מסוגו, שמסוגל לזהות במידת וודאות גבוהה תמונות שיוצרו באמצעות GenAI, כמו התמונה של טראמפ נעצר בידי המשטרה או של האפיפיור במעיל בלנסיאגה. מדובר במשימה מסובכת טכנולוגית שעד כה לא צלחה. החברה אימנה את ה-AI שלה על עשרות אלפי תמונות אמיתיות ותמונות מזויפות בשילוב חיפוש סמנטי ברשתות החברתיות והתוצאה היא יכולת זיהוי זיופים ב-95% מהמקרים, מעל יכולת בני אדם.
לוי מסביר כי תכנים מזויפים באינטרנט מסווגים ל-12 קטגוריות, בהן טרור, הסתה ופייק ניוז. המערכת של Zefr מנתחת את הווידאו, מסווגת אותו לאחת מהקטגוריות וגם מגדירה את רמת הסיכון שלו. פרסומים שמפרים את מדיניות הפלטפורמות החברתיות מובאים לידיעתן על מנת שיבחנו אותן ויסירו אותן.
לדבריו השימוש העיקרי בטכנולוגיה החדשה הוא בהגנה על החברות והרשתות מפני הקמפיינים השקריים, כך שהפרסומות שלהן לא ישולבו במקביל לסרטוני הסתה או קונספירציה שקריים. "הצופים מזהים אותן אסוציאטיבית עם התכנים המזוייפים ואז המוניטין שלהן נפגע כתוצאה מזה. אנחנו עוזרים להן לחסום את הפרסום לצד התכנים האלה".
כשמדובר בהסתה נגד מקדונלד'ס למשל, יכולים לטעון שמדובר בחופש הביטוי, לא?
"מבחינת הפלטפורמה זה עניין מורכב בגלל עניין חופש הביטוי. מבחינתנו זה לא מורכב – הלקוח לא רוצה להריץ את הקמפיין על התכנים האלה. אנחנו מזהים שזה תוכן מסית, ואנחנו חוסמים אותו כך שלא יעלו עליו הפרסומות". מערכת זיהוי התמונות המזוייפות מתמחה בעיקר בזיהוי פוליטיקאים וסלבריטאים מזוייפים, וכן באיתור שימוש זדוני בלוגו או סמל מסחרי של חברות, מקרים בהם יש גם הפרה של זכויות יוצרים.
אור לוי היה מייסד חברת הסטארט אפ Adverify שהתמחתה בזיהוי פייק ניוז טקסטואלי. ב-2022 החברה נרכשה על ידי Zefr, שעוסקת בכל תחומי ההסתה באינטרנט ובעיקר ברשתות חברתיות. לקוחות החברה הם בעיקר מפרסמים ומותגים גלובליים.
