פיתוח: חיפוש בגוגל על פי תמונות

גוגל כבר מזמן הפך ליד ימינם של הרבה גולשים, מאלה שמח חפשים ברשת מדי פעם ועד למכורים הכבדים, שאצלם גוגל הוא שער הכניסה לכל דבר שאפשר לנסח אותו במספר מילות מפתח. אבל מה על הדברים שקשה לנסח במילים? מתי גוגל יאפשר לנו לאתר גם חפצים מוחשיים ולא רק טקסטים, תמונות, סרטונים ונקודות ציון על מפות?

כנראה שיותר מוקדם מכפי שנדמה. שני מעצבים בריטים מנסים לגשר על הפער שבין עולם הטקסט הווירטואלי של גוגל לבין העולם האמיתי והחזותי.

 המעצב הראשון, פיי קאנג נג, פיתח מכשיר בשם ‭.Google3D‬ המכשיר משלב מצלמה דיגיטלית ,קישוריות אלחוטית ומסכים גמישים, שביחד מביאים את חוויית סרגל החיפוש של גוגל לתוך העולם האמיתי.

איך מחפשים? מכוונים את המצלמה אל האובייקט שרוצים לדעת עליו יותר - למשל, מסך פלזמה של חברה לא מוכרת שראיתם בחנות. המכשיר משדר את התמונה לגוגל, שמשתמש בטכנולוגיית זיהוי תמונה כדי להבין מהו האובייקט המצולם ומחזיר את התוצאות הרלוונטיות אל מסך ה־‭.Google3D‬

נג מעריך כי אב הטיפוס שפיתח יהפוך למוצר שימושי תוך חמש עד 10 שנים.

חיפוש בכל מקום

קונספט דומה הציג המעצב קאלום פדן. לגאדג'ט שלו הוא קרא Google Vision.‬ בעברית יש לשם זה משמעות כפולה: ה“ראייה של גוגל‭,“‬ רמז לכך שמנוע החיפוש לומד ממש לראות, וגם ה“חזון של גוגל‭.“‬ גודלו של המכשיר כגודלו של טלפון נייד. הוא כולל ‭,GPS‬ מצלמה ותקשורת נתונים אלחוטית.

כדי לצפות בתוצאות החיפוש אפשר לגלול מתוכו מסך גמיש. המטרה של פדן הייתה לשלב בין טכנולוגיות זיהוי תמונה לבין מידע על המיקום כדי להבין על מה המשתמש מסתכל. התמונה המתקבלת תושווה אל מול בסיס הנתונים של אובייקטים ידועים באזור הגיאוגרפי הנתון, שאותו יזהה המכשיר בעזרת ה־‭.GPS‬ מהנתונים הללו תיבנה שאילתת החיפוש ותוצאותיה ישלחו בחזרה למכשיר, שיציג אותם על המסך הגמיש.

מה עושים עם זה? דוגמאות לא חסרות: אפשר, למשל, לצלם מוצר שמעניין אתכם וגוגל יסביר אם והיכן אפשר למצוא מוצר דומה וזול יותר. הלכתם לאיבוד? צילום של שלט הדרכים הקרוב או ציון דרך ייחודי אחר, יאפשר לגוגל לומר לכם איפה אתם נמצאים. מחפשים מסעדה טובה? צלמו את שלט המסעדה וגוגל יציג את הציון שקיבלה מהגולשים וביקורות נבחרות.

בונים מאגר מידע

לחיבור הזה, שבין החיפוש הטקסטואלי לעולם האמיתי, לא חסרים שימושים אבל כמה הוא באמת קרוב למציאות? די קרוב. למעשה, ניתן להעריך שבעוד שנתיים־שלוש הטכנולוגיה תתקדם לשלב שבו אפשר יהיה לפתח מכשיר חיפוש נייד כמו זה שהציג פדן. אין בעיה לשלב כבר כיום התקן GPS מובנה וקישוריות אלחוטית סלולרית במכשיר שגודלו כשל טלפון.

מבחינת זיכרון או מהירות מעבד, המכשיר לא דורש משאבי מערכת מוגזמים.

 כל מה שהוא צריך זה לצלם תמונה, לשלוח אותה, לקבל את התוצאות, ולהציג אותן על המסך הנגלל. מסכים נגללים נמצאים כיום בתחילת דרכם ויחלוף עוד קצת זמן בטרם יבשילו לאיכות ראויה, יצרכו מעט חשמל ויגיעו במחיר סביר.

הסוגיה המשמעותית, שעליה יקום וייפול מכשיר החיפוש, היא עצם קיומו של בסיס מידע גדול ומהימן, שיכיל תמונות של כל האובייקטים שניתן לראות מכל נקודה בעולם.

מדובר בכמות עצומה של מידע, אפילו במונחים של גוגל. מעבר למגבלה של אחסון ושחזור המידע המבוקש בפרק זמן סביר — בעיה שחברת גוגל בטח יכולה להתמודד איתה — קשה מאוד עד בלתי אפשרי לאסוף את המידע הנדרש בלי המוני מתנדבים מרחבי העולם שיצלמו כל חפץ ואתר.

סביר להניח שפרויקט שאפתני שכזה יזכה לתמיכה משמעותית מקהילת הגולשים. אתרי תוכן כמו ויקיפדיה בנויים על תמיכה משמעותית של משתמשים וזוכים להיענות מרשימה. לכן ניתן להניח שבסופו של דבר אפשר יהיה לאסוף ולאחסן את כל התמונות הדרושות בתוספת המידע הנדרש, כמו מיקום גיאוגרפי ואולי תיאור טקסטואלי של האובייקטים המרכזיים בתמונה.

להבין את התמונה

פרט למאגר המידע יצטרכו מפתחי החיפוש הוויזואלי להתמודד עם אתגר נוסף: זיהוי התמונה. גם אם ה־GPS יצמצם משמעותית את כמות האוביקטים שמולם מתרחש הזיהוי, עדיין הבנת התמונה היא לא בעיה שיכולה להיפתר בשנים הקרובות — בטח לא באופן גורף שייתן תוצאות אמינות ברוב המקרים.

טכנולוגיית זיהוי התמונות הקיימת לא מסוגלת לזהות חפץ מצולם על פי בסיס

 נתונים, במיוחד כזה שצולם על ידי מתנדבים חובבים בציוד משתנה ובתנאי תאורה לא מושלמים.

כדי לפתור בעיה פשוטה יותר - חיפוש במאגר תמונות לפי תוכן התמונה או לפי מילות מפתח - מאגרי המידע משתמשים כיום בגולשים בשכר או במתנדבים, שמקשרים בין התמונות לבין מילות מפתח המתאימות לה.

לכן עד שלא יושג שיפור משמעותי בטכנולוגיות זיהוי ועיבוד התמונה, כך שאפשר יהיה לזהות אובייקטים מרכזיים ברמת דיוק סבירה ולהפוך אותם לשאילתה רלוונטית, יישארו הדגמים המוצעים בגדר רעיון בלבד.