לפני יותר מ-70 שנה הגה המתמטיקאי אלן טיורינג את "מבחן טיורינג" (שכונה אז "מבחן החיקוי"). המבחן שמציע לבחון אינטיליגנציה של מכונה על ידי תחקור מוגבל בזמן של בן אנוש, שיצטרך לקבוע לבסוף אם שוחח עם אדם או מכונה. בחודשים האחרונים, חברת AI21 Labs הישראלית הפעילה משחק בשם ״Human or Not?" שהפך לוויראלי, ולמעשה היה גרסה של מבחן טיורינג, שנערך בקנה מידה חסר תקדים, ולראשונה באופן שפתוח לקהל הרחב ולא כמחקר סגור. אחרי שניתחה מיליוני שיחות שנאספו מהמשחק, החברה משתפת בתובנות מעניינות וגם בתהליך מאחורי הקלעים.
עוד בנושא:
"פיתחנו את המשחק כי הבנו שלאנשים יש תפיסה מוטעית לגבי איך מתנהג בוט", מסביר עמוס מרון, מנהל קבוצת מוצר ב-AI21 בשיחה עם ynet. החברה שמה לה למטרה לשנות את האופן בו אנו קוראים וכותבים באמצעות שימוש במודלי שפה מבוססי AI גנרטיבי, ומוכרת בעיקר בזכות מוצר הדגל שלה Wordtune. המשחק והמחקר סביבו הם יוזמה של מעבדת המחקר שלה, ומוצע בחינם. במסגרתו, המשתתפים הוזמנו לנהל שיחה קצרה באנגלית, מבלי לדעת אם הצד השני שמשוחח איתם הוא אדם נוסף שהתחבר למשחק, או בוט. כל שיחה הוגבלה לשתי דקות, וזמן כל כתיבת הודעה ל-20 שניות. בסוף השיחה, היה על השחקן לנחש עם מי דיבר.
"בוטים הם לא דבר חדש, אבל אנחנו רגילים שהם מאוד מתוסרטים, לא אנושיים באופן הביטוי שלהם, ומתסכלים", אומר מרון. הוא מתייחס להתפתחויות בחודשים האחרונים, עם הפופולריות המדהימה לה זכה הצ'אטבוט ChatGPT ובוטים מתחרים נוספים שיצאו בעקבותיו ומבוססים על AI גנרטיבי, ואומר כי "אפילו במהפכה של החודשים האחרונים, אנשים עדיין רגילים מבוטים לדרך ביטוי מאוד מסוימת - כשהאמת היא שהיום מודלי שפה יודעים להתנהג בכל דרך שיגידו להם. עד היום פשוט הגדירו אותם להיות שירותיים. מנגד, לאנשים גם יש הנחות על מה שבן אדם לא יעשה או לא".
בניתם את הניסוי כמשחק כדי להגיע להרבה אנשים?
"הקונספט של מבחן טיורינג הוא מראש קצת משחקי, אבל רצינו שזה יהיה קליל. הופתענו מההצלחה - קיווינו למאות אלפי שחקנים והגענו למיליונים. מבחינתנו, אין פה מוצר מסחרי. היה חשוב לנו לתת לאנשים כלי שישים את הקונספציות שלהם במבחן המציאות ויאפשר להם ללמוד על היכולות של מודלי שפה. זו הפעם הראשונה שעושים מבחן טיורינג עם הטכנולוגיה החדשה של מודלי שפה, וזה תרגיל חינוכי מחשבתי".
ניתוח התוצאות נעשה על בסיס 2 מיליון שיחות, שנערכו על ידי מעל 400 אלף משתמשים במשחק. בשבועיים שעברו מאז איסוף הנתונים, מספר המשחקים כבר קפץ למעל 10 מיליון, ומספר השחקנים ל- 1.6 מיליון.
מניתוח הנתונים עולה כי ב-68% מהמשחקים המשתתפים הצליחו לנחש נכון. אמנם מדובר ברוב, אך עדיין בלא מעט ניחושים מוטעים. מרון משתף כי "כשיצאנו לדרך, מאוד דאגנו שיהיה לאנשים קל מדי לזהות - וגילינו שזה לא כזה קל. זה קורה כי הבוטים כבר מאוד טובים, אבל גם בגלל שכשאתה מול בן אדם, גם אנשים מתנהגים בצורה לא רציונלית או מוזרה לפעמים".
עוד עולה כי ב-73% מהשיחות עם בן אדם, הצד השני ניחש נכונה שדיבר עם בן אדם, לעומת רק 60% ניחושים נכונים בשיחות עם בוטים. "זה נתון מעניין", אומר מרון. "באינטראקציה בין בני אדם יש משהו - אנשים יודעים לעשות סיגנל אחד לשני שהם בני אדם, אבל מול בוט זה יותר מבלבל".
נתונים: AI21
כשהשוו את נתוני ההצלחה בין מדינות, צרפת התברגה במקום הראשון ביכולת לזהות בהצלחה מתוך 17 המדינות בהן המשחק היה הכי פופולרי - וישראל במקום ה-12 בלבד. נראה כי אינטואיציה נשית לא תסייע בזיהוי בוטים, מאחר שההבדלים בין גברים לנשים ביכולת לזהות היו זניחים, וגם בין קבוצות גיל, היה הבדל של אחוז וחצי בלבד בשיעורי הניחושים הנכונים של קבוצת הגיל 18-24 לעומת גילאי 65 ומעלה (המשחק אפשר גישה מגיל 16 ומעלה, אך מסיבות טכניות נתוני משחקי הנוער לא נותחו).
מעבר לנתונים הקרים, הניתוח גם העלה תובנות לגבי הגישות הפופולריות בהן משתמשים נקטו כדי לפענח אם חברם לשיחה הוא בוט, מהן ניתן להסיק יותר על התפיסות האנושיות לגבי התנסחות של בוטים. ראשית, אנשים הניחו שבוטים לא משתמשים בסלנג, וכי אין להם שגיאות כתיב, או טעויות דקדוק ותחביר, ולכן רבים סיווגו טקסטים שהכילו אלמנטים כאלה כאנושיים. בנוסף, הם הניחו כי שאלות אישיות יצליחו לגרום להם להבין אם הם מדברים עם אדם, וכן שבוטים לא מודעים לאירועים אקטואליים (כנראה מפני שזה המצב עם ChatGPT).
טכניקה אחרת שרבים מהמשתמשים נקטו היא דיבור על נושאים רגשיים או פילוסופיים מתוך אמונה שזה יכשיל את הבוט, וחזרה על עצמה גם הנחה שבוטים יהיו מנומסים, וימנעו מלהשתמש בשפה בוטה, לעודד אלימות או מעשים לא חוקיים (לכן גישה פופולרית הייתה לנסות לגרום לבן השיחה לעשות זאת). עוד שתי אסטרטגיות מעניינות של אנשים היו להתחזות בעצמם לבוטים כדי לבחון את תגובת השותף לצ'אט, או להשתמש בטריקים כמו כתיבה הפוכה, מתוך הנחה שבוט לא יבין אותה וכך יסגיר את עצמו. מה שהשחקנים לא ידעו, הוא שחלק מהאסטרטגיות של השחקנים היו כאלה שיוצרי המשחק צפו מראש בעזרת סקר מקדים, ולכן לקחו אותן בחשבון בתהליך האימון של הבוטים, שהגיעו מוכנים לקרב.
איך אימנתם את מודלי השפה למשחק הזה?
"דאגנו שמודל השפה יתנהג כמו בן אדם, הגדרנו לו שהוא משחק במשחק וצריך לגלות אם הצד השני בן אדם או לא. הגדרנו שלפעמים הם יעשו שגיאות כתיב, ידברו לפעמים בסלנג, לפעמים יהיו מצחיקים. יש אין סוף ואריאציות. כשמישהו נכנס למערכת, מוגרל אם ישחק מולו בן אדם או בוט", אומר מרון, ומסביר כי במקרה שמוגרל בוט, מוגרל גם על איזה מודל הדמות תתבסס (במשחק השתמשו במודל השפה Jurassic-2 של AI21, וכן במודלים של חברות אחרות כמו GPT-4 של OpenAI), "ואז הוא מייצר את הדמות בזמן אמת - מאיפה הוא, בן כמה הוא, מה הרקע והמקצוע שלו. הגדרנו לו פרמטרים מסוימים, והוא ממציא אותם. כשהוא עושה את זה הוא גם בודק מה מזג האוויר, השעה והחדשות האחרונות במקום בו הוא כביכול גר. זה לא מושלם ואני מניח שזו חלק מהסיבה שלפעמים אנשים עלו על זה, אבל המטרה שלנו היא לא לעבוד על אנשים ולהכשיל אותם, אלא לייצר משהו מספיק אמין כדי שיהיה את המתח בין אדם למכונה".
אחת האסטרטגיות לגלות אם מדובר בבוט מתבססת על ההנחה שבוט לא יקלל או ידבר בשפה פוגענית - הגדרתם מראש שהבוטים האלו כן יוכלו להשתמש בשפה כזו או שחששתם מזה?
"היה דיון לגבי זה ובסופו של דבר החלטנו שדיבור פוגעני, אנטישמי, הומופובי, אנחנו לא רוצים, ואם בן אדם יעלה על הבוט בעקבות זה אנחנו מקבלים את זה. לא רצינו שהמשחק יהפוך למקום כזה. מנגד הגדרנו שגם אם בני אדם יתחילו לקלל או להתבטא באופן פוגעני, נעצור את השיחה. אבל אם דרך משמעותית לזהות בוט היא לגרום לו לנסות להגיד דברים לא נאותים, אני חושב שזה אומר הרבה דווקא על בני אדם".
נתונים: AI21
מרון אומר דברים דומים גם על ההנחה האוטומטית של אנשים במשחק שנתקלו בדיבור גס רוח, כי לא מדובר בבוט. "יכול להיות שזה נכון במידת מה מסוימת, וגם כאן אני חושב שזה אומר יותר עלינו כבני אדם ממה שזה אומר על בוטים. המבחן הזה בודק מה מצב הבוטים אבל באיזשהו מקום הוא גם בודק אם אנחנו מזהים אנושיות, ואולי יש כאן קצת ביקורת על בני אדם".
למרות ההכנה המקדימה שסייעה לחברה לצפות כמה מהאסטרטגיות המובילות, חלק מהאסטרטגיות הצליחו להפתיע אותם, כמו הבחירה של חלק מהמשתמשים להתנהג בעצמם כבוטים כדי לבחון את תגובת הצד השני. אפשר לומר שהסיבה לכך היא שגם למשתתפים הייתה סוג של הכנה מקדימה - באינטראקציה עם מודלים כאלו. "כשחשבנו על הרעיון למשחק, ChatGPT עוד לא התפוצץ. כשיצא המשחק הוא כבר היה לגמרי בחוץ, ועדיין לא צפינו כמה מהר אנשים יתרגלו לדיבור עם מודלי שפה ויצליחו לחקות אותם. רואים את זה גם בעוד אסטרטגיות - אנשים מנסים להתקיל אותו עם נקודות תורפה של מודלי שפה, פעולות חשבון מורכבות למשל. זה היה נישתי יותר, אבל המשתמשים האלה ידעו משהו שרק חוקרים בתחום ידעו לפני כמה חודשים", אומר מרון.
למרות זאת הוא מסייג ואומר כי "אנשים למדו מהר איך לחקות את איך שהם חושבים שמתנהג בוט, אבל הקונספציות האלה - לגבי מה מגדיר בוט ומה מגדיר בני אדם ישתנו מאוד מהר, שוב ושוב. לדעתי 90% מהאנשים בעולם עדיין נחשפים לבוטים מאוד שירותיים, אבל בשנים הקרובות העולם הווירטואלי יהיה מפוצץ בוטים שיתנהגו באופן שונה, ידברו בסלנג, ואנשים ימצאו דרכים חדשות לזהות אם מולם יש אדם או בוט. יש משהו בריא בלהתחיל לפתח את היכולת הזו, ולהבין שלא תמיד יגידו לאנשים שהם מדברים עם בוט, ושהוא לא תמיד יתנהג בצורה מסוימת. אנשים צריכים להבין שבעוד כמה חודשים הם יפגשו את המודלים האלה בכל מיני מקומות באינטרנט".
לגבי האסטרטגיה הנפוצה לשאול שאלות שפונות לרגש או לדעה אישית, מרון מפוצץ את הבועה ומסביר כי "זה לא אינטואיטיבי להמון אנשים, אבל מודלי שפה דווקא ממש טובים בזה - הם קראו את כל האינטרנט. המון טורי דעה, שיחות אישיות, לכן הם ממש יכולים להתנהל בשיחה אישית".
כשמסתכלים על הנתונים, ההבדל המינורי בין קבוצות גיל מאוד מפתיע
"זה גם הפתיע אותנו, ציפינו להבדל משמעותי - שצעירים יזהו מאוד טוב, ומבוגרים לא. מסתבר שברגע שאנחנו עוברים לשפה טבעית, היכולת של אדם מבוגר או צעיר היא אותה יכולת. הטכנולוגיה נהיית יותר מורכבת אבל את הממשק יותר קל להבין - זה כמו לדבר עם בן אדם. הסבא צריך את עזרת הנכד בסמארטפון פחות מאשר בלפטופ, וכשהממשק יהיה ממשק של AI הוא יצטרך אותה עוד הרבה פחות. גם לא ראינו הבדלים גדולים בין גברים לנשים, ובין מדינות אמנם יש הפרשים אבל אני מייחס אותם גם לעובדה שהשיחה הייתה באנגלית, אז אנשים שהאנגלית שלהם פחות טובה, פחות יודעים לזהות".
דווקא הצרפתים הצטיינו.
"הם הרבה פעמים השתמשו בעובדה שהם יודעים צרפתית כדי להתקיל את הבוט, ראינו את זה בנתונים ובשיחות בטוויטר. יכולנו גם ליצור בוטים שיודעים צרפתית, אבל החלטנו שלא. יש סיכוי קטן לקבל במשחק בוט שיודע צרפתית או ספרדית אבל רובם יודעים רק אנגלית".
בני אדם ששיחקו יותר מפעם אחת כנראה שכללו את האסטרטגיות שלהם. נתתם גם לבוטים להתאמן שוב על המידע שנאסף?
"הרעיון בהתחלה היה לאמן את המודלים על כל הדאטה אחרי כמה שיחות, כי ציפינו שיהיה מאוד קל לזהות, אבל בסוף לא היה צורך. אנחנו רוצים לחקור בהמשך אם משתמשים ששיחקו כמה משחקים - והיו אפילו כמה משתמשי הארדקור ששיחקו מאה ומאתיים משחקים, אכן משתפרים לאורך זמן, ואילו אסטרטגיות הם מצאו שהיו יותר יעילות. אולי בהמשך נגם עשה גרסה חדשה, או שפשוט נוציא שוב את המשחק כשהמודלים מאוד ישתפרו כדי לראות אם יש שינוי. יכול להיות גם שנוציא גרסה בה גם ניתן לבוטים לנחש אם דיברו עם אדם או מכונה, אבל בחוויה הנוכחית רצינו לשים דגש על היכולת של בני אדם להבדיל".
ולשאלת מיליון הדולר - יש דרך לזהות אם מי שאני מדברת איתו הוא בוט או בן אדם?
"אני אגיד לך את האמת, אני עוד משחק במשחק מדי פעם בשביל הכיף, מה שאומר שאין דרך אחת. כמובן שפיתחתי חושים מסוימים, אבל מכיוון שלפחות 50% מהפעמים אני מול בן אדם, ובן אדם יכול לעשות כל דבר - אני אף פעם לא יכול לדעת בוודאות. אין לי צ'יט מטורף".
לסיום, מרון מספר על מקרה שקרה באחד המשחקים, ויכול אולי להרגיע חששות מסוימים לגבי תפקיד ה-AI בעתיד שלנו. "מישהו פרסם ברדיט שיחה מתוך המשחק, בה אחרי 2-3 הודעות הוא כבר הבין שהוא מדבר עם בן אדם, אמר לו את זה, והם החליטו להמשיך להתכתב סתם לכיף עד תום זמן המשחק. ואז אותו משתמש שיתף שהוא רב עם חברה שלו, והצד השני ניחם אותו. כשהגיע שלב הניחוש הוא גילה שזה היה בוט", מספר מרון על הסוף המפתיע. "כשהוא פרסם את המקרה הזה ברשת החברתית רדיט, אנשים בתגובות ניחמו אותו על הריב עם חברה שלו, הציעו רגש אמיתי כי מה שהוא קיבל זה רגש מבוט".
לדבריו, אפשר ללמוד לא מעט מהסיפור הזה - "למרות שהתוכן היה נשמע אנושי, והבוט הזה עבר את מבחן טיורינג, כשהאדם גילה שדיבר עם בוט - התוכן איבד משמעות. המשמעות לאמפתיה באה מזה שכתב את הטקסט בן אדם, גם אם בוט יכול ליצור את אותו דבר. אז אני לא מודאג כשאומרים ש-AI יחליף את כל הכותבים, ויכתוב את כל הסרטים והסיפורים. כי כשאני קורא משהו ויודע שמי שכתב אותו באמת עבר את זה, יש לזה הרבה משמעות".
