העתיד של מנועי החיפוש
חיפוש חברתי או אישי? אנושי או אוטומטי? חופשי או בתשלום? דודו רשתי סוקר לעומק את השינויים לאורך השנים, ואת העולם הרחב של מנועי החיפוש כפי שהוא היום. חלק א'
עולם מנועי החיפוש באינטרנט הוא דינמי ומשתנה. גוגל שגילתה לעולם כי ניתן לעשות כסף ממנועי חיפוש, סיפקה השראה לחברות רבות המנסות להתחרות בה על נתח השוק, וכן לפיתוח שירותים חדשים במנועים קיימים.
הגולשים מצידם עושים שימוש הולך וגדל במנועי החיפוש, והמיומנות לאתר מידע הופכת להיות מיומנות בסיסית בעולם המודרני.
אם נסתכל עשר שנים לאחור ונשווה למקום בו אנחנו נמצאים היום – נראה שלא הרבה השתנה. אומנם הייתה התקדמות משמעותית בכל הקשור לטכניקות קצירת המידע (Crawling), הבנת שפת המשתמש (Natural Language) ואלגוריתמים לקביעת דרוג התוצאות. אבל מנקודת מבטו של המשתמש, חיפוש מידע הוא עדיין תהליך שדורש מיומנות גבוהה, ומבוסס לא פעם על ניסוי וטעייה, ולעיתים אף מתסכל.
סוגים של חיפושים
מחקרים שבודקים את אחוזי ההצלחה של גולשים במציאת מידע מדווחים על 40% - 60% הצלחה, התלויים במיומנות של המחפש באיתור מידע והיכרותו עם עולם התוכן בו הוא מחפש.
כשבוחנים את השימוש שמשתמשים מבצעים במנועי חיפוש צריכים להבדיל בין חיפוש מקיף (Comprehensive) שמטרתו למפות עולם תוכן לצורכי לימוד, חיפוש עובדתי (Factual) שמטרתו לקבל תשובה על שאלה ספציפית, וחיפוש לצורכי ניווט (Navigational) שמאפשר לקבל כתובת ספציפית של אתר ולגלוש אליו.
אחוזי ההצלחה הנמוכים נמדדים בעיקר בחיפוש מקיף שדורש מיומנות רבה בשימוש במנועים, אסטרטגיה מתאימה לאיתור המידע הנדרש, וידע בעולם התוכן.
עולם נסתר
קיים גם עולם נסתר המכונה "מעמקי הרשת" (Deep Web) או "הרשת הנסתרת" (Invisible Web), אשר כולל בתוכו מידע אשר אינו נגיש למנועי החיפוש: אתרים שחוסמים את הגישה לקוצרים (crawlers) של מנועי החיפוש, מאגרי מידע שהגישה אליהם מתבצעת לאחר הרשמה לאתר, מאגרים שאחזור המידע כרוך בשאילתה לטופס, אתרים בתשלום ועוד. היכולת לאתר מידע אינה יכולה להיות מבוססת רק על שימוש במנועי החיפוש הרגילים ותלויה גם בהיכרות המחפש עם ה"עולם הנסתר" של ה-Web.
בעיות קיימות במנועי החיפוש
כמה תהיות על אופן השימוש במנועי החיפוש, יבהיר חלק מהבעיה הקיימת כיום. למשל, איזה משמעות קיימת לאחזור של עשרות אלפי תוצאות חיפוש כאשר רוב הגולשים צופים רק ב-30 התוצאות הראשונות, וגם אם יחפצו אין בידם כלים מתאימים לבחון את שאר התוצאות בזמן סביר ?
מדוע אפשרויות "החיפוש המתקדם" זרות לרוב מהמשתמשים במנועי החיפוש (רק 2% לערך עושים בהם שימוש), אף על פי שיש ביכולתם לעזור בסינון "הרעש" או התוצאות הלא רלוונטיות שמחזיר לנו מנוע החיפוש?
האם 30 התוצאות הראשונות המתקבלות בחיפוש מבטאות בצורה נכונה את המידע הנגיש באינטרנט כאשר קל כל כך "לקדם" או "לדחוף" אתרים במנועי חיפוש ?
המחרוזת israel במנוע החיפוש Snap (צילומסך)
צייר לי חיפוש
אחד מכיווני ההתפתחות של מנועי החיפוש הוא הוויזואליזציה. מנועי חיפוש ויזואליים מנסים להתמודד עם כמות המידע המתקבלת בתוצאות החיפוש על ידי הצגת התוצאות בצורה גרפית וכן באמצעות כלים לניתוח המידע.
בעזרת שימוש בצבע, צורה וגודל של אלמנטים גרפיים ניתן לכאורה לאפשר נגישות לכמות מידע גדולה יותר בזמן קצר יותר. כיום קיימים מספר מנועי חיפוש המייצגים תפיסה זו וביניהם Kartoo ו- Quintura.
למרות ההתלהבות הראשונית משימוש בכלים אלה, מתברר עם הזמן שהשימוש בהם מתאים לציבור מאוד מצומצם של משתמשים ועבור רוב הגולשים, השימוש בהם אינו אינטואיטיבי.
לפיכך, עד היום, למרות הניסיונות הרבים, לא זכה מנוע חיפוש שמשתמש בהצגה ויזואלית של מידע להצלחה גדולה ומנועים אלו לרוב מצליחים יותר בחיפוש מידע ממוקד עבור אוכלוסיות שעוסקות בתחום צר יחסית (למשל, שוק ההון).
שיטת האשכולות
כיוון נוסף, שנדמה מצליח יותר,הוא ארגון תוצאות החיפוש על פי אשכולות מידע (Clustering). הרעיון שעומד מאחורי שיטה זו נקרא Sense Making. במהותו, דומה לפעולה של סידור וארגון ערמות הנייר בקלסרים או חוצצים, על מנת לאפשר איתור מהיר יותר של פריטים מתאימים.
שיטה זו מאפשרת לנו מיון של תוצאות החיפוש בחתכים נושאיים שונים ועל ידי כך אפשרות לחקור גם תוצאות חיפוש המופיעות עמוק ברשימת תוצאות החיפוש, ולא בתחילתה. ארגון המידע באשכולות מתבצע על פי "ניתוח" המידע שמבצע מנוע החיפוש.
מנועי חיפוש מסוג זה פורחים לאחרונה, ונזכיר חלק קטן מהם: Clusty , Factiva, ו-Grokker, ומשלבים גם סוג של ויזואליזציה של המידע. החיסרון בשיטה זו היא העובדה שבניית הקבוצות נעשית באופן אוטומטי.
אשכולות המידע המתקבלים לעיתים שקולים לדפדוף בדפי התוצאות של מנועי החיפוש, ואין בהם בהכרח כדי להאיר את רובדי המידע השונים. מנועי חיפוש שמצליחים במיוחד בתחום זה, לרוב עוסקים בתחום תוכן צר והיכולת לארגן את המידע באשכולות מבוססת על הבנה עמוקה של תחום התוכן, וליכולת לשייך פריט מידע לאשכול מסוים.
חיפוש אישי
החיפוש האישי הוא סוג שלישי וחדש יחסית של מנועי חיפוש, המנסה להתמודד עם בעיית ה"רעש" הרב המתקבל בתוצאות החיפוש על ידי מיקוד המנוע במקורות מידע מתאימים לצורך החיפוש.
הראשון ליישם את הרעיון בצורה מוצלחת היה Rollyo, המאפשר להגדיר מנוע אישי הכולל הגדרה של האתרים בהם יתבצע החיפוש. בנוסף ניתן למשתמש ליצור פרופיל ובו מספר מנועים לשימושו האישי או לפרסמם לכלל המשתמשים.
בעקבותיו הלכו גם המנועים הגדולים ויצאו עם יישומים מקבילים. Yahoo יצא עם יישום המאפשר הגדרה מדויקת יותר של נגזרת המידע שבו מתבצע החיפוש וכולל בין השאר הגדרת מונחים לחידוד החיפוש. גם Live יצא עם כלי מקביל ומאפשר הגדרה של יישום חיפוש אישי של המשתמש ואחרון הוא Google שיצא לאחרונה עם מנוע יישום לבניית מנוע אישי
היכולת לבנות מנוע אישי ללא ספק מקטינה את כמות הרעש וממקדת את עולם המידע שבו מתבצע חיפוש המידע, אך יחד עם זאת, בנייה של מנוע שכזה דורשת היכרות מוקדמת עם מקורות המידע הרלוונטים, ולא פותרת בעיות אחרות כמו הקושי לחפש באיזורים הנסתרים של ה-Web - כמו גם לא מאפשרת עיבוד מהיר יותר של תוצאות החיפוש על ידי המשתמש.
חיפוש על
פתרון ישן, שעדיין מחזיק מעמד למרות העובדה שהוא מגביר את כמות ה"רעש", קשור למנועים מסוג Meta Search Engines ("מחפשי על"). מנועים אלו מבוססים על העובדה שיש חפיפה של עד 3% בין מנועי החיפוש הגדולים בתוצאות שהם מספקים למשתמשים, עבור 100 התשובות הראשונות.
מנועים אלו החלו להופיע מיד לאחר הופעת מנועי החיפוש הראשונים באינטרנט לפני כעשור והיתרון (וגם החיסרון) שלהם הוא ביכולת שלהם להציג במקביל תוצאות ממספר רב של מנועי חיפוש. דוגמא למנועים שכאלו ניתן למצוא הוא MetaCrawler ו- Seekz ורבים אחרים.
דף החיפוש האישי של דברה מסינג (מהסדרה "ויל וגרייס") ב-Rollyo (צילומסך)
הגורם האנושי
זרם חדש יחסית שצץ לאחרונה, משלב בין מומחיות אנושית לטכנולוגיה. במנוע ChaCha לרשות הגולשים עומדים עד כ-1000 מומחי חיפוש אנושיים, שמלווים את המחפש באמצעות Chat ועוזרים לו למצוא את התוצאות הרלוונטיות. בזמן ההמתנה למומחה התורן יוכל הגולש לחפש במאגר החיפושים שכבר בוצעו על ידי גולשים אחרים, שנעזרו בשרותיהם של המומחים.
Trexy שעלה לאוויר לפני מספר חודשים, מנסה לעזור למשתמש בחיפוש המידע על ידי הצעת מסלולים שעשו גולשים אחרים עד שמצאו תוצאות משביעות רצון.
המנוע מתבסס על העובדה שיש כמות גדולה של חזרה על שאילתות החיפוש, ועל כך שיהיו מחפשים רבים לאותו המידע. המנוע גם מציג בקרוב מסלולים לתוצאות דומות. מכיוון שזהו מיזם חדש יחסית, מאגר מסלולי החיפוש המוצלחים הוא עדיין דל יחסית. המנוע גם מאפשר למשתמש להוריד סרגל כלים, בעזרתו יתעד את מסלולי החיפוש האישיים שלו ומאפשר לתרום חלק מהם למען גולשים אחרים, שמחפשים מידע באותם תחומים.
סיפורי פוגי
Poogee הוא מיזם ישראלי שמנסה לשלב בין חיפוש מידע במנועי החיפוש הגדולים לחיפוש במנועים שנמצאים ב-”רשת הנסתרת". למעשה הוא שייך למנועים מסוג מחפשי-העל, האזכור שלו מעניין בעיקר בזכות העובדה שהיכולת שלו כוללת חיפוש במאגרים "מהעולם הנסתר של ה-Web" אשר חסומים בפני מנועי החיפוש הגדולים - ובכך ייחודו.
אפשרות החיפוש במאגרי המידע אשר אינם נגישים למנועים הגדולים, הינה מגמה שמתגברת לאחרונה וניתן למצוא אותה בכלים מסחריים, שנמכרים תמורת סכומי עתק לחברות גדולות.
חוויה אחרת
סוג נוסף שלא הזכרנו, הוא מנועים המשפרים את ממשק המשתמש. מנועים אלו מדגישים את חווית החיפוש על ידי שיפור הממשק של מנוע החיפוש, שיפור אופן הצגת תוצאות החיפוש וכו'. חלק גדול ממנועים אלו עובדים ישירות מול מנועי החיפוש הגדולים ומשתמשים בבסיס הנתונים שלהם לצורך החיפוש ולפיכך החידוש, הוא בעיקר בממשק.
בין מנועים אלו ניתן למנות את Snap, ו-Exalead, מעבר לכך Google מפעילה אתר ניסוי ושמו SearchMash, בו היא מציגה ממשק משתמש חדשני יותר להצגת תוצאות החיפוש.
החיפוש החברתי
זרם אחרון שנציין ברשימה זו קשור למנועי חיפוש סוציאליים. מנועים אלו עובדים על עיקרון חכמת ההמון. מנועים אלו לוקחים בתוצאות החיפוש שהם מציגים את הדרוג של משתמשים אחרים לתוצאות החיפוש.
ניתן להזכיר במסגרת זאת את Gravee. סוג אחר ליישום של חיפוש סוציאלי הוא Swiki. המשלב בין חיפוש סוציאלי, לבין הגדרות המשתמשים.
בחלק ב' של המאמר נסקור סוגים נוספים של מנועי חיפוש ולאן הולך עולם החיפוש ברשת?
דודו רשתי הוא יזם בעל ניסיון של יותר מ-20 שנה בתחומי טכנולוגיות מידע, פיתח את הדפדפן העברי הראשון ל-Web והקים את אתר האינטרנט החינוכי, סנונית.
לפנייה לכתב/ת 
