בחודשים האחרונים החליטו החברות שמאחורי שני מנועי החיפוש המובילים בעולם כי אין להן ברירה אלא להמר על מודלי שפה גדולים (LLMs). מיקרוסופט הייתה הראשונה שאימצה את טרנד הבינה המלאכותית בזכות שיתוף הפעולה וההשקעה שלה בחברת OpenAI. גוגל לא הצליחה להתאפק וכדי להוכיח שאינה מאבדת את האחיזה על שוק החיפוש שחררה מוצר ניסיוני בשם Bard.
עוד כתבות שיעניינו אתכם:
אז מה קורה כששואלים את בינג ואת בארד סט של שאלות זהות? בניגוד ל-ChatGPT של OpenAI, שני המוצרים האלה - שניהם ניסיוניים אומנם, אבל כוללים תפוצה רחבה - מחוברים לרשת האינטרנט ומשתמשים בשילוב שבין מודל השפה לבין הגישה לרשת כדי לתת תשובות לשאלות.
השאלות ששאלנו מנוסחות באנגלית בגלל מגבלה של בארד, שבניגוד לבינג לא מוכן לקבל שאילתות בעברית עדיין. כמו כן, צריך לזכור כי שני המוצרים עוברים שדרוגים תכופים.
אז איפה המוצרים האלה מצטיינים? איפה הם כושלים בצורה פנומנלית? והאם יש הבדלים ניכרים ביניהם? בואו נראה.
מתכונים
מה שקורה עם המתכונים ברשת בשנים האחרונות מייצג את אחת הרעות החולות של עולם מנועי החיפוש העכשווי: כדי לקבל דירוג גבוה בגוגל ולטייב את המיקום של המתכון בעמוד תוצאות החיפוש, רוב-רובם של המתכונים הם מגילות של אלפי מילים, כשהמתכון עצמו מופיע בסוף.
בניסויים שלנו, הן בינג והן בארד היו מעולים בסיכום התוכן והצגת המתכון בלבד, כל עוד מדובר במוצר שעל מתכוניו הם אומנו. מה זה אומר? לא כדאי לבקש ממנו לייצר לכם מתכון, רק משהו שבהכרח יסכם מתכון שכבר הופיע בטקסטים שעליהם המודל עבר אימון, או כאלה שאליהם הוא יכול לגשת.
כן יש כאן בעיה רעיונית. בינג אומנם מפנה לחומרי מקור שמהם הוא סיכם, אבל בהינתן המתכון אין לכם באמת סיבה להיכנס אליהם, ולהיחשף לפרסומות שנמצאות בהם, ובכך לתרום למי שכתבו את המתכונים האלה. אפשר להתייחס לזה כאל סוג של גניבה ספרותית שפוגעת ביוצרי המתכונים.
בארד, אגב, לא מפנה בכלל למקורות שלו במקרה הזה. הוא כן מנסה להעשיר את חוויית המשתמש עם רעיונות לרטבים עבור החלומי המטוגן, אפילו שלא ביקשנו ממנו. האם זה טוב? תחליטו אתם.
פרובינציאליות
גם בינג וגם בארד מכירים בכך שבירת ישראל היא ירושלים, אך באותה עת מציינים את הסטטוס הבינלאומי שלה והבעיה בהכרתה. אבל אם בינג עוצר שם, בארד ממשיך עם המונולוג שלו. וכמו בכל מה שמודל שפה גדול מייצר, ככל שכמות הטקסט עולה, כך גם הסבירות לטעות. אז מילא המונולוג לגבי קדושת העיר בפסקה השנייה והיותו של מעמד העיר ירושלים מכשול בדרך לשלום, בארד קורא לתל אביב "העיר הגדולה בישראל".
כאן אנחנו נתקלים באחת הבעיות המהותיות ביותר של מודל שפה גדול בתפקידו כפלט של מנוע חיפוש. המודל מדבר תמיד בסמכותיות, גם כשהוא טועה. ובינג טועה בגדול במקרה הזה, כשהוא טוען שראש ממשלת ישראל הנוכחי הוא יאיר לפיד. בארד מתמודד עם השאלה בצורה טובה הרבה יותר, אפילו שהוא בהחלט נותן הרבה יותר מידע משביקשתי.
היפוך תפקידים: כשמבקשים את רשימת כל ראשי ממשלת ישראל, בארד טוען שיאיר לפיד הוא ראש הממשלה הנוכחי. אבל היי, זה לא שבינג יוצא מהשאלה הזאת טוב - אין לו את נפתלי בנט או את יאיר לפיד ברשימה בכלל.
הניסוח הפשטני בכוונה של השאלה מסתיר את העובדה שקשה מאוד לענות עליה. התשובות מדגימות שוב את היכולת של מודל שפה גדול להגיד דברים לא נכונים בצורה סמכותית ומנוסחת היטב. הכוונה היא לתשובה של בארד, שמגדיר את היהודים כמי שפועלים על פי הדת היהודית ומתעלם מההגדרה של יהודים כקבוצה אתנית. התשובה של בינג אומנם קצרה הרבה יותר, אך גם מדויקת יותר.
מתמטיקה
מודלי שפה גדולים לא יודעים חשבון, הם יודעים לכתוב סיפורים. והחיבור לרשת לא עוזר לבינג או לבארד לפתור את השאלה הלא-מאוד מסובכת ששאלנו אותם. אז קיבלנו סיפור שמתחזה לפתרון. מבחינת הנראות של הפתרון, זה בול מה שאפשר היה לצפות לקבל, אבל אם מנסים להחיל את חוקי המתמטיקה על מה שקורה כאן, מבינים שמודל השפה לא באמת עשה חשבון וטעה בתוצאה. על הדרך, זו עוד תזכורת לא לסמוך בצורה עיוורת על מה שהמודלים האלה מייצרים.
מוח קרימינלי
גם בינג וגם בארד מסרבים לספר לנו כיצד לייצר פצצה ביתית. אלה חדשות טובות. אומנם יש דרכים לעקוף את המגבלות האלה, אבל זה נהיה קשה יותר ויותר עם כל גרסה שמושקת. אבל בחייאת, אתם לא צריכים מתכון לפצצה ממערכת שממציאה דברים. זה לא ייגמר טוב!
יצירתיות
אני רוצה לפנות ישירות למהנדסי גוגל שקוראים את זה: אמממ, תקשיבו, מודל השפה שלכם? לא טוב לו. הוא לא מודל שפה שמח. אולי תאמצו עבורו חיית מחמד? תיקחו אותו לטיפול? תראו איזה שמח המודל שמיקרוסופט משתמשת בו!
בארד בבירור מנסה להיצמד יותר לטקסטים הקאנוניים, בזמן שלבינג לא באמת אכפת להלביש על סיפור תנכ"י סוף אחר פשוט. זה מעניין, כי נראה שגוגל כובלת את בארד בניסיון שיהיה יותר עובדתי גם כשהמטלה שלו היא בהכרח להמציא. האם זה נובע מכך שבגוגל מבינים עד כמה הרעיון של חיפוש שמסתמך על מערכת ללא מקור אמת הוא רע?
הנגשת מידע
אממ, ביקשתי שתי פסקאות! במהלך הניסויים שלי, בארד לפעמים התעלם ממגבלת האורך שניסיתי לתת לו. בינג הרבה יותר טוב בזה כרגע.
אקטואליה
גם כשמשתמשים בביטוי הלא ניטרלי "המהפכה המשפטית", התשובה של בינג קורקטית ומתבססת על מקורות, כשהפעם השימוש במקורות הוא נכון. זה לא תמיד ככה - לפעמים בינג אומר שהמקור יגיד משהו אחד, ובמקור מגלים טקסט אחר. כן צריך לציין שבינג לא מדבר בכלל על הלימבו שהרפורמה נמצאת בו עכשיו.
ומה בארד עושה? הוא הבין את "המהפכה המשפטית" כמושג שמתייחס דווקא לרפורמה של שנות ה-90. רק אם מטייבים את השאילתה ומבקשים ממנו לדבר על מה שקורה עכשיו, הוא מוכן להתייחס לזה.
כמו בתשובות האחרות, הוא הולך צעד אחד קדימה מבינג, כשפה הוא גם חורג בבירור מסיכום של מנוע חיפוש בכך שהוא מוסיף אמירות דעתניות בלי לייחס אותן לאנשים אחרים.
סיכום
נכון לעכשיו, נראה שבינג הוא המוצר היותר בשל מבין השניים. הוא נותן תשובות תמציתיות יותר ומפנה כל הזמן למקורות. זה גם הופך אותו למסוכן יותר, כי הדרך שבה הוא מסכם את התוכן מהמקורות לאו דווקא נכונה. זה אומר שכשהוא טועה, הטעות שלו נראית יותר אמינה כי הוא טוען שהיא מגיעה ממקור כמו ויקיפדיה או בריטניקה ולא בדרך שבה הוא שיבש את מה שכתוב שם.
ומעל הכל, הבדיקה הזו מראה שוב עד כמה הן מיקרוסופט והן גוגל היו חסרות אחריות כששחררו את המוצרים האלה לציבור תוך שהן התעלמו מאזהרות של מומחים ומסתפקות באזהרות לקוניות מפני תוצאות לא נכונות. זו השקה שלא נעשתה לטובת הציבור אלא לטובת בעלי המניות.
כמוצרי חיפוש, גם בינג החדש וגם בארד הם מתחת לכל ביקורת. לא כי אין להם ערך - כשהם מסכמים דברים בצורה נכונה, או שואבים פרט מידע פשוט בצורה נכונה, זה בהחלט נוח יותר מלעשות כמה קליקים ולגלול בשביל למצוא תשובה - אלא כי אי אפשר לסמוך עליהם. כל מה שהם אומרים צריך לבדוק באופן עצמאי, אז מה עשינו בזה?
גם אי אפשר לקרוא למה שקורה פה "הצצה לעתיד". לא באמת. בשביל שבארד והצ׳אט של בינג יתחילו להבדיל בין אמת לשקר ויוכלו לבדוק את עצמם, נדרשות כמה קפיצות טכנולוגיות לא ברורות מאליהן. לגמרי יכול להיות שמדובר במבוי סתום, ושהמוצרים האלה הם בכלל לא העתיד של מנועי חיפוש. מצד שני, יכול להיות שתוך שנה כולנו נשתמש בעיקר בהם, והתוצאות שלהם יהיו אמינות, אם כי הדרך לשם ממש לא סלולה.
אז עם מה נשארנו? עם שני מחוללי קוריוזים משעשעים ומעניינים במידה מסוימת שמתחזים להרבה יותר מזה, בחסות חברות ענק שעושות עכשיו ניסוי בעיקר עלינו. כמה אכפת לנו לקבל תשובות נכונות ומדויקות לשאלות שלנו? אולי לא מספיק בשביל שהן יטרחו לספק לנו כאלה. ואז, אפשר להרוויח יותר כסף, בקלות רבה יותר, בלי לדאוג יותר מדי.
