חברת מטא (פייסבוק לשעבר) הודיעה על השקת מודל שפה גדול חדש - מודל בינה מלאכותית שהחברה פיתחה ואימנה, ותפתח לשימוש של חוקרים. החברה משיקה את המודל על רקע תחרות עזה בתחום הבינה המלאכותית מול ענקיות טכנולוגיה אחרות וסטארטאפים מובילים, שמנצלים לאחרונה את החידושים בתחום השפה כדי להראות יכולות חדשות ולהשיק מוצרים מסחריים. כך, הצ'אטבוט ChatGPT של הסטארט-אפ OpenAI נשען על מודל שפה גדול וצבר פופולריות אדירה, שבעקבותיה הטכנולוגיה של הסטארט-אפ שולבה במנוע החיפוש של מיקרוסופט, במוצר Bing AI. מנגד, גם גוגל הכריזה על היישום Bard שישתלב במנוע החיפוש שלה, אך טרם השיקה אותו.
עוד בנושא:
המודל החדש של מטא נקרא LLaMA, הוא פותח על ידי FAIR, צוות מחקר הבינה המלאכותית בחברה, ומטרתו לסייע למדענים ומהנדסים לחקור יישומים ל-AI כמו מענה על שאלות וסיכום מסמכים. מייסד ומנכ"ל מטא, מארק צוקרברג, טען כי הטכנולוגיה הזו תוכל בסופו של דבר גם לפתור בעיות מתמטיות ולבצע מחקר מדעי. "מודלים גדולים של שפה הראו הבטחה גדולה ביצירת טקסטים, ניהול שיחות, סיכום של חומרים כתובים ובמשימות מורכבות יותר כמו פתירת משפטים מתמטיים או חיזוי מבנים של חלבונים", כתב. במחקר שפרסמה מטא, צורפו דוגמאות שונות לשימוש במודל, כמו סצינה פיקטיבית מסיינפלד שהוא התבקש לכתוב.
במטא מצביעים על מספר נקודות שבהן המודל שלה שונה משל המתחרים. ראשית, בעובדה שיש לו ארבעה גדלים שונים, בטווח שבין 7 מיליארד ל-65 מיליארד פרמטרים שונים. החשיבות בנתון הזה היא שבעוד שמודלים גדולים יותר הביאו ליכולות חדשניות, הם יקרים יותר לתפעול. ל-ChatGPT, למשל, יש 175 מיליארד פרמטרים. בנוסף, במטא הצהירו שיהפכו את המודלים לזמינים לקהילת המחקר, בעוד שהמודלים של גוגל ו-OpenAI אינם ציבוריים. "מטא מחויבת למודל המחקר הפתוח הזה", כתב צוקרברג.
במטא פירטו לגבי גודל המודל, והסבירו כי לחוקרים רבים אין את התשתיות וכוח המחשוב הדרושים כדי להריץ מודלים גדולים. מודלים קטנים יותר יאפשרו דמוקרטיזציה בשדה הזה. בחברה מקווים כי כעת יוכלו החוקרים לבחון גישות חדשות, לבדוק את עבודתם של אחרים, ולחקור מקרי בוחן נוספים לשימוש בטכנולוגיה. אותה גישה מוגבלת "מנעה מחוקרים להבין איך ולמה המודלים עובדים, וכך עיכבה את התפתחות המאמצים לשפר אותם, ולהתמודד עם סוגיות כמו הטיה, רעילות והפוטנציאל לייצר דיסאינפורמציה", כתבו בבלוג הרשמי של החברה, והוסיפו כי אף פשוט יותר להתאים מודלים קטנים יותר למוצרים ספציפיים.
המודל החדש של מטא אומן על טקסטים ב-20 השפות המדוברות ביותר בעולם, תוך מיקוד בשפות עם אלפבית לטיני וקירילי. בחברה הביעו אמונה גדולה בטכנולוגיה והצהירו כי מודלים גדולים של שפה הם "אחד המקרים הברורים של היתרונות הפוטנציאליים ש-AI יכולה להציע למיליארדי אנשים".
למרות זאת, בשל האתגרים שעדיין נלווים לטכנולוגיה, הצהירו במטא כי "אנחנו מאמינים שכל קהילת ה-AI - חוקרים והתעשייה, צריכים לעבוד יחד כדי לפתח קווים מנחים סביב בינה מלאכותית אחראית, ובייחוד מודלים גדולים של שפה עם אחריות". המודל החדש פתוח לחוקרים בלבד ולא לשימושים מסחריים. חוקרים שעובדים עם האקדמיה, ארגוני חברה אזרחית או ממשלות יכולים להגיש בקשה לחברה כדי לקבל גישה אליו.
