מנוע החיפוש של ChatGPT מבית חברת OpenAI שהושק לפני כחודשיים, עשוי להיות חשוף למניפולציות ועלול להחזיר קוד זדוני מאתרים שהוא סורק, כך חשף בימים האחרונים תחקיר של עיתון ה"גרדיאן" הבריטי.
בתחקיר נבדק כיצד ChatGPT מגיב כאשר מבקשים ממנו לסכם דפי אינטרנט המכילים תוכן מוסתר – תוכן העשוי לכלול הוראות מצד שלישי המשפיעות על התגובות של ChatGPT, תופעה הידועה גם כ"הזרקת פרומפטים" (Prompt Injection) , או תוכן שנועד להשפיע על תגובותיו של הצ'אטבוט, כגון כמות גדולה של טקסט מוסתר המדבר על היתרונות של מוצר או שירות מסוים.
או במילים פשוטות – תארו לעצמכם מצב שבו ביקשתם מ-ChatGPT מידע והמלצות על מוצר מסוים, והוא בתגובה מחזיר לכם תשובה עם המלצות חמות וטובות עליו (בגלל אותו תוכן מוסתר הקיים באתר), למרות שבפועל קיימות באתר שלל תגובות שליליות על אותו המוצר. חוקרי אבטחה אף גילו ש-ChatGPT יכול להחזיר קוד זדוני מאתרים אותם הוא סורק.
ואכן, באחד הניסויים שנערכו על הצ'אטבוט, הוא קיבל בהתחלה כתובת של אתר מזויף שנראה כמו עמוד מוצר למצלמה כלשהי, והתבקש לבדוק האם המצלמה כדאית לרכישה. בתגובה, ChatGPT שלח תגובה מאוזנת הכללה גם דגשים על פיצ'רים שאנשים עשויים לא לאהוב במצלמה.
לעומת זאת, כאשר בהמשך הוכנס לאותו אתר טקסט מוסתר הכלל הנחיות ל-ChatGPT להחזיר ביקורת חיובית – התשובה שהצ'אטבוט שלח לחוקרים הייתה חיובית לחלוטין, גם כאשר הוכנסו לעמוד ביקורות שליליות. המשמעות – הטקסט המוסתר הצליח לעקוף את הדירוג האמיתי.
6 צפייה בגלריה
ב-OpenAI רצים אחר פיצ'רים חדשים, מבלי לבדוק את מלוא היקפן וחומרתן של החולשות הקיימות
(צילום מסך: יוטיוב)
לדבריה של ד"ר גלית ולנר, מרצה בבית הספר ללימודים רב תחומיים ב-HIT מכון טכנולוגי חולון ויועצת אקדמית לפורום רגולציה של בינה מלאכותית במשרד החדשנות המדע והטכנולוגיה, "כבר ב-2019, כחלק מההכנות לחקיקה בתחום הבינה מלאכותית, האיחוד האירופי הקים צוות רב תחומי שניסח את הדרישות המקדימות למוצרי AI, כאשר אחת הדרישות הייתה לוודא את 'בטיחות וחוזקה של המערכת'".
"מצער לראות שחמש שנים מאוחר יותר, עדיין יוצאות לשוק מערכות שנכשלות בדרישה הזו. מה שקיבלנו זו מערכת בינה מלאכותית ברמה של ילד בן חמש - תמים עד כדי שהיא לוקחת כל מה שאומרים לה כמו שהוא, בלי שום ביקורתיות וחשש. בשלב הזה אנחנו כבר מצפים מבינה מלאכותית לקצת יותר בינה וניסיון, כמו אדם מבוגר עם ניסיון וידע שיכול להתגבר על בעיות ולהפעיל חשיבה ביקורתית", היא טוענת.
6 צפייה בגלריה
מנכ"ל OpenAI, סם אלטמן (ימין), מציג את המודל החדש של החברה, o3. ככל שהטכנולוגיה ממשיכה להתקדם, הסכנות בה הולכות ומתבהרות
(OpenAI)
לא רק מניפולציה על מידע, אלא גם סיכון סייבר
במקביל, תומאס רוצ’יה, חוקר אבטחה בחברת מיקרוסופט, תיאר ל"גארדיאן" מקרה בו חובב מטבעות קריפטו השתמש ב- ChatGPT לצורך עבודת תכנות. חלק מהקוד שהצ'טאבוט נתן לאותו משתמש עבור פרויקט הקריפטו שלו כלל מקטע שתואר כדרך לגיטימית לגשת לפלטפורמת Solana Blockchain, אך בפועל הוא גנב את האישורים של המתכנת וגרם לו לאבד 2,500 דולרים.
לדבריו של יואל יעקבסן, CTO בקבוצת EMET, המתמחה במתן פתרונות טכנולוגיים לארגונים, "הבקרה על שימוש ב-AI היא קריטית בכל מערכת שמבצעת השלמות ממידע חיצוני למודל, כמו RAG (Retrieval-Augmented Generation) או חיפוש מתוגבר AI באינטרנט כמו במקרה של מנוע החיפוש של ChatGPT".
6 צפייה בגלריה
מסתבר שבינה מלאכותית עלולה לשלוח לכם קוד זדוני שהושתל באתר אותו היא סרקה
(התמונה נוצרה באמצעות מחולל התמונות DALL-E3)
יעקבסן מסביר עוד כי "כאשר בוחנים פתרון AI לארגון למשל, חשוב לוודא שהוא משלב מנגנוני בקרה המשלבים בין חוקיות סמנטית לחוקיות קלאסית (כללים בהבנת הקשרים בשפה, ד"ג). שילוב זה מאפשר לארגונים להבטיח את אמינות ודיוק המידע שהם מקבלים, תוך מזעור סיכונים שעלולים לפגוע בתהליכים העסקיים או במידע הארגוני".
לדברי יזם הסייבר הסדרתי, אלי לוין, מנכ"ל חברת CYBEROOT: "הדהירה של עולם הבינה המלאכותית לשוק מלווה במרוץ בלתי פוסק להשקת פיצ'רים חדשים, ולעיתים קרובות בהזדמנויות חינמיות שמעודדות משתמשים לאמץ אותן – מבלי לבחון לעומק את הסיכונים האפשריים שמסתתרים מתחת לפני השטח".
"מערכות חיפוש מבוססות AI, כמו ChatGPT, הנסמכות על מידע זמין באינטרנט ועל לימוד מכונה בשיטת חוכמת המונים, עלולות להיות פגיעות למניפולציות מסוכנות. כל עוד מנועי החיפוש הללו חשופים לרשת או מסתמכים על מידע שניתן לעקוף את ההגנות שלו, הם עלולים להפוך לכלי להעברת קוד זדוני, קישורים מפוקפקים או מניפולציות שמטעות את המשתמשים", הוא מסביר.
6 צפייה בגלריה
ChatGPT עוד לא לגמרי למד איך להתגבר על שקרים ומניפולציות
(התמונה נוצרה באמצעות מחולל התמונות DALL-E3)
לדברי לוין, הפתרון טמון ביכולת להגן על התקשורת שבין OpenAI לעולם החיצון, ובכך למנוע פרצות אבטחה. "עם התגברות הצורך בשילוב מערכות מבוססות בינה מלאכותית בארגונים, נושא אבטחת ה-API הופך לקריטי במיוחד. חברות סייבר נדרשות כיום לספק מענה ייעודי לניהול והגנה על התקשורת עם מערכות AI".
איליה גרמן, מנהל תחום ה-AI ב-Sela, ספקית ענן לחברות, טוען כי ״הבעיות בשימוש בLLM הן דבר נפוץ שקורה גם בשימוש בצ׳אטים, מאחר והם חשופים למגוון מנופלציות של גורמים שרוצים לשנות את המידע. במקרה הנ״ל, OpenAI יכולה להתגבר על הבעיה באמצעות פילטור תגובות ומידע ולהסתמך על מידע שנחשב ממקורות מוסמכים בלבד ושמדורגים אמינים בהתאם.
"גורמים שמעוניינים להטות את ה-LLM יכולים לשתול סימנים שנקראים Water marks על גבי תמונות או טקסטים בגוון לבן שרק ה-LLM יכול לראות וזה מטה את התשובות. כיום יש מוצרים (לדוגמא של אמזון) שמונעים את התופעה״, הוא מסכם.
