ולסיום..עולם החיפוש העתידי

בפוסט סיום זה אציג את התחזיות לגבי אופן הפעולה של מנועי החיפוש בעתיד (חלקם כבר מוטמע במבנה אתרים ובמנועי חיפוש חדשים)

 

העתיד כפי שמנסח זאת לארי פייג – מנכ"ל גוגל:

מנוע החיפוש המושלם יבין בדיוק מהו הצורך האמיתי של כל אחד מאיתנו. מנוע החיפוש יכיר את העולם ומערכת החיים שלנו לעומקם ויחזיר לנו תוצאות חיפוש שיענו בדיוק לצרכים שלנו.

עיקרי התחזיות:

• עולם החיפוש בעתיד יהיה כרוך מאד ברשת ווב סמנטית ובמנועי חיפוש סמנטיים 

• מנועי החיפוש יתחשבו הרבה יותר בפרסונליזציה ולוקליזציה.

• תוצאות החיפוש יגיעו בצורה הרלוונטית ביותר לחיפוש, החל מקובץ וידאו/אודיו או טקסט, דוחות או סיכום הדעות והמגמות ועד המלצה לפנות לאדם מסוים כדי לקבל תשובה לשאלה.

• יהיה מעבר מחיפוש ברשת המחשבים לחיפוש נרחב יותר בשלל המכשירים הדיגיטליים הנוגעים לחיינו.

• חיפוש יבוצע גם באמצעות חיפוש קולי. קיים כבר היום בחיפוש הקולי של גוגל  (search by voice) אשר מאפשר לחפש בגוגל על ידי אמירת מילות החיפוש במקום להקליד אותן. החיפוש הקולי קיים ב24 שפות, ביניהן ערבית ועברית. בעתיד ניתן יהיה למצוא קטעי מוזיקה לפי המהום...

• יועמק החיפוש ברשת הנסתרת.

•  ינתןדגש רב יותר לסמכותיות האתר

•  יוכנסו  מודלים רבים יותר של אינטליגנציה מלאכותית לתחום ביקורת האיכות של התוצאות

• nנועי החיפוש ילמדו לאנדקס סאונד, תמונה, וידאו ולדרג אותם

 גרף הידע – הינו מנוע חדש של גוגל המשלב כבר כעת מרכיבים אלו במנוע שלו . 

                    הוא הולך ומשתכלל וכפי הנראה ישלוט על עולם החיפוש העתידי.

להלן הסבר מפורט על השיטות  לפיהן יפעלו המנועים:

סמנטיקה

תמצית הרעיון של הרשת הסמנטית הוא המעבר ממסמכים למידע, מאוסף של מסמכים שרק האדם יכול לקרוא, לאוסף של נתונים ומידע שהמחשב יוכל להבין ולעבד בעצמו, 
דהיינו - להרחיב את הווב הנוכחי שקריא ומובן על ידי אדם באופן שמכונות ומחשבים יוכלו אף הם להבין אותו.
מחשבים יוכלו לחפש, לעבד, לשלב ולהציג את התכנים בצורה יותר משמעותית ואינטליגנטית.

תיאור מפורט של מנוע חיפוש סמנטי, הארכיטקטורה ואופן פעילותו אפשר למצוא במאמר :Searching and browsing Linked Data with SWSE: The Semantic Web Search Engine
אבני היסוד של הווב הסמנטי כגון אונטולוגיות כבר קיימים היום וה- W3C אחראי לתקנים והפצתם.

אונטולוגיה מורכבת מאוצר מלים מייצג ובו הגדרות מדוייקות למשמעויות המונחים הכלולים באוצר מלים זה בתוספת מערך כללים פורמליים המגבילים את הפרשנות ואת השימוש הנכון במונחים אלה.

על מנת שרשת תהיה סמנטית על בעלי האתרים  להטמיע מידע סמנטי בתוך הקוד של דפי הווב הקיימים – דפי5 html – מידע שמכונות יכולות להבין ולחלץ אותו באופן חד משמעי. בכך יסיעו למנועי חיפוש להבין טוב יותר את התכנים של דפי הווב שלהם.
ב- Html5(נוצר ב2009),  מפרידים את העיצוב מהתוכן ונותנים חלוקה סמנטית בעלת משמעות לכל חלק תוכני . החלוקה מתבצעת באמצעות תגים חדשים המתארים תוכן.
המשמעות מבחינתם של מנועי החיפוש והמשתמשים היא תשובות מדויקות יותר למספר רב יותר של שאלות. המשמעות מבחינת אתרי ווב שיאמצו סכימה זו היא הגדלת הנראות שלהם במנועי חיפוש.
כדי  להקל על בעלי אתרים  להטמיע את הקוד, פותחו כלים שבעזרתם יוכלו בעלי אתרים ומשתמשים רלוונטיים ליצור קוד סמנטי באופן אוטומטי (בעזרת  טפסים) אותו יוכלו להטמיע באתרים .Schema Creator ו- Microdata Generator  הם כלים מסוג זה . המשתמש מזין את פרטי הארגון לדוגמה ובמקביל מקבל את הקוד הסמנטי המתאים אותו יוכל להטמיע באתר.
Sehrch  הינו מנוע חיפוש סמנטי חדש הקיים כבר היום . 

הוא משתמש באובייקטים. אובייקטים יכולים להיות מגוון דברים אמיתיים – אדם, עיר, אירוע . לאובייקטים יש תכונות כך למשל לאדם יש שם ותאריך לידה, למוסד יש תאריך ייסוד. לאובייקטים יש יחסי שייכות – כך למשל אדם אחד יכול להיות הורה של אדם אחר.
בSehrch  החיפוש באובייקטים הוא חיפוש מובנה . המסמכים הרלוונטיים נדלים בעזרת יצירת תבניות שמושתתות על התכונות של האובייקטים. מאחר שחיפוש אובייקטים אינו מתאים לכל השאילתות המנוע משלב בין חיפוש אובייקטים ומסמכים על פי הצורך.
באתר יש הוראות כיצד ליצור חיפוש מובנה. ונכון להיום הוא כולל רשימה של  130342 תכונות של אובייקטים ו- 249777 סוגי אובייקטים שניתן באמצעותם לבנות שאילתות מובנות. כמו כן אפשר למצוא באתר דוגמאות לחיפוש לא מובנה, חיפוש מובנה למחצה וחיפוש מובנה על פי שדות.

פרסונליזציה 

על פי מושג זה המנוע לומד את מה שהמשתמש מחפש ברשת ולוקח ממשתמשים אחרים קשרים מחיפוש של אותם ערכים – כך ניתן לבצע חיפוש יעיל לפי מושגים ולא רק מילות מפתח.
הטכנולוגיות העתידות שואפות למצוא קשר בין המשתמש, מיקומו והערכים שהוא מבקש למצוא חומר עליהם.
השאיפה לעתיד היא שהחיפוש יוכל להיות הרבה יותר ממוקד: אם היום רושמים במנוע החיפוש מילים כלליות ומקבלים אלפים עד מיליונים של תוצאות, בעתיד יהיה אפשר לרשום שאלה מדויקת ולקבל תשובה מדויקת ומושלמת, כלומר תשובה שמתאימה להקשר ולכוונה של השאלה הנשאלת, ודיוק זה מתבסס על הידיעה מי הוא המשתמש ולמה הוא שואל. החיפוש יהיה עם זיכרון מושלם, יזהה חיפוש חדש או שיחזור דבר שכבר נמצא קודם ויביא תוצאות המותאמות באופן אישי למשתמש לפי העדפותיו ורצונותיו. כך למשל, אדם אשר מתעניין בפוליטיקה וירשום "מצרים" בגוגל, יקבל תוצאות הכוללות את המהומות במצרים. לעומת זאת, אדם אשר מתעניין בטיולים וירשום "מצרים" בגוגל, יקבל מידע הכולל אטקרציות, מלונות ועוד‏. גוגל החל בתהליך זה על ידי שמירת היסטוריית החיפושים של המשתמש.
המרכיב הרגיש ביותר (וגם החשוב ביותר ליצירת פרופיל הגלישה) הוא היסטוריית החיפוש המתעדת את כל פעולותיכם במנוע החיפוש. גוגל שומר את כל החיפושים שבצעתם לאתרים, תמונות, וידאו, חדשות, מוסיקה ועוד, בנוסף להקלקות שלכם על תוצאות בחיפוש הטבעי או הקישורים הממומנים.
ניתן  לבחור שלא להפעיל את אופציית תיעוד היסטוריית החיפושים וליצור פרופיל גלישה איכותי פחות, המתבסס על דף הבית האישי שיצרתם במנוע החיפוש ושירותים נוספים. למעשה כל השירותים בהם משתמשים למעט גימייל, עוזרים למנוע החיפוש להרכיב את הפרופיל האישי של כל משתמש. במידה ומאפשרים לגוגל שקיפות מלאה לפעולות יבחן המנוע את "סוג" התוצאות אשר נבחרו עבור כל שאילתה ויעצב את דף התוצאות מחדש, כך שבפעם הבאה כשיבוצע חיפוש דומה יופיעו תוצאות אלה גבוה יותר במיקומים. בנוסף יבדוק גוגל אתרים שבהם המשתמש נוהג לבקר לעיתים קרובות ואתרים רלוונטיים נוספים וייתן גם להם "דחיפה" כלפי מעלה בתוצאות החיפוש

לוקליזציה

זוהי מגמה ברורה שתתחזק בשנים הקרובות במנועי החיפוש ובאתרים נוספים המספקים תוצאות לחיפוש מקומי, דוגמת דפי זהב וספקי שירות דומים.בכל מנועי החיפוש ניתן לקבל תוצאות חיפוש המבוססות על מיקום גיאוגרפי. לדוגמא בהפעלת החיפוש הלוקאלי אחר מכון כושר תקבלו תוצאות הקרובות לאזור המגורים שלכם במקום תוצאות רחבות יותר ברמה הארצית. למעשה גם בחיפוש הרגיל במנועי החיפוש קיים אלמנט של לוקאליזציה המתבסס על נתונים דוגמת כתובת ה- IP של המחשב שלכם ושפת החיפוש.

הרשת הנסתרת

זהו החלק ברשת שלמנועי החיפש הרגילים אין אליו גישה - בעיקר בסיסי נתונים (פרטיים, ציבוריים) ובחלקים ברשת אליהם יש גישה מוגנת סיסמא . ההערכות אומדות את גודלה של הרשת הסמויה כ X 500 מגודל הרשת הגלויה!
העמקת החיפוש ברשת הנעלמת (נסתרת) תעשה באמצעות זיהוי דפוסים דקדוקיים במסמכים העונים על מילות חיפוש ויצירת מקבצים קטנים של תוצאות הכוללות מילים נפוצות, נרדפות, קרובות, רעיונות ומושגים.

גרף הידע

גרף הידע הוא מודל חיפוש חכם שמבין את הישויות בעולם האמיתי ואת היחסים ביניהם. גרף הידע של גוגל כולל למעלה מ- 500 מיליון אובייקטים ולמעלה מ- 3.5 מיליארד עובדות עליהם ויחסים בין האובייקטים השונים . המערכת אוספת מידע על האובייקטים השונים , לומדת גם מחיפושים של משתמשים אחרים בשאילתות השונות ומוסיפה מידע רלוונטי לגרף הידע.

גרף הידע מאפשר לחפש דברים אנשים ומקומות שגוגל יודע עליהם ולקבל מידע רלוונטי לשאילתה גם כאשר למונח החיפוש משמעויות שונות. עד לאחרונה, בגלגול הקודם, ניתן היה לתאר את גוגל כמומחה רב ידע בתחום הסטטיסטיקה. לא רק שמנוע החיפוש אינדקס מאות מיליארדי עמודי אינטרנט שונים לפי ביטויי מפתח, הוא גם פיתח כישורים מורכבים ומרשימים כמו זיהוי שמות נפוצים, תיקון שגיאות כתיב באין ספור שפות, וניתוח סמנטי של משפטים מורכבים.

כל אלה פותחו ופועלים עד היום באמצעות נוסחאות מתמטיות מורכבות, המבוססות בין השאר על הידע העצום של גוגל לגבי אופי החיפוש של כולנו. ניתן להבין זאת טוב יותר אם חושבים על כמויות המידע שגוגל שומר על מגוון החיפושים שהגולשים מבצעים מדי יום ביומו והתוצאות שעליהן הם מקליקים משחר ההיסטוריה הגוגליסטית. די הרבה מידע.

עד לאחרונה, הכל התבצע בצורה די קרה ומתמטית, ללא הבנה אמיתית של "מאחורי הדברים". מנוע החיפוש לא ידע כי תל אביב היא עיר ואילו הפועל תל אביב היא קבוצת כדורגל בעיר לדוגמא. אבל לא עוד. התקופה הזאת מאחורינו והדברים משתנים ומהר.

כיום, כשמחפשים ביטוי מסויים בגוגל מתבצע חיפוש אחד עם שני מוחות הפועלים במקביל. החיפוש הראשון בודק ומביא תוצאות מתמטיות מתוך המאגר העצום של עמודי האינטרנט שגוגל מכיר, ממש כמו שהיה עד היום, תוך שהוא מדרג אותן בשיטה המסורתית שכולנו מכירים – 10 קישורים לתוצאות חיפוש בכל עמוד.

המוח השני בודק במאגר מידע חדש של גוגל המכיל שמות, הקשרים ויחסי גומלין. המוח השני הוא זה שאחראי לגרף הידע של גוגל, או Knowledge Graph המוצג מצד מימין לתוצאות החיפוש של גוגל דוט קום (באנגלית) ובגוגל ישראל, משמאל לתוצאות החיפוש.

הרעיון לפתח את גרף הידע הגיח לאוויר העולם במהלך שנת 2010 עת גוגל רכשה סטארטאפ מבטיח מתחום החיפוש בשם .Metaweb טכנולוגיות. ענקית החיפוש החליטה להשתמש ולפתח את מאגר המידע הסמנטי העצום של החברה המוכר בשם( Freebase) כליבה של פרוייקט שכבר החל ובגוגל ומטרתו היתה להעריך איך בני האדם רואים ותופסים את העולם.

חשוב להדגיש כי אין כל התנגשות או סתירה בין ניתוח מאגר המידע הסמנטי לבין תוצאות החיפוש המתמטיות, שלהן הורגלנו במשך שנים. מאגר המידע הסמנטי, שמפעיל את "המוח השני" של גוגל, הוא כמו אינציקלופדיה עצומה של עובדות בדוקות לגבי העולם שאנו חיים בתוכו והיחסים בין כל אותן עובדות. המדובר על מאגר של כמעט 600 מיליון עובדות וקרוב ל-4 מיליארד יחסים בין אותן עובדות.

לדוגמא: המוח השני של גוגל יודע לעשות את האבחנה כי ירושלים היא עיר, בירת ישראל, יש בה כך וכך תושבים, הפילוח הדמוגרפי הו כזה וכזה, מזג האויר הממוצע בעיר הוא כזה, העיר העתיקה, ההיסטורי וכו...

רבים רואים בפיתוח זה צעד נוסף לעבר בינה מלאכותית . זה אולי קצת מרחיק לכת אבל אין בכלל ספק שגרף הידע של גוגל הוא העתיד בכל הנוגע לחיפוש וגם הרבה מעבר לכך.

אנשי מקצוע מתחום ה-SEO וכמובן שגם טובי המוחות שעוסקים בפיתוח מנועי החיפוש מבינים לאורך השנים כי המגמה בשוק ברורה: להתקרב ככל שניתן להבנת מוח האדם.

המהנדסים של גוגל הבינו כי המוח הסטטיסטי של גוגל הגיע לקצה גבול היכולות שלו, בכל הנוגע להצגת תוצאות חיפוש אופטימאליות למחפשים. בגוגל הבינו כי אין ברירה אלא להבין ולהכיר כל הקשר של מילות החיפוש הנפוצות , כאן בדיוק נכנסת לתמונה חברת Metaweb שגוגל רכשה.
החיבור בין גוגל ל-Metaweb היה מושלם. הסטארטאפ המהפכני קיבל את האפשרות הנדירה להבין מה אנשים מחפשים (כי גוגל מחזיקה במידע זה כאמור) וכך להמשיך לפתח את Freebase בהתאם "למה שמעניין אנשים" וגוגל מצידה, קיבלה את האפשרות להשתמש בטכנולוגיה חדשנית שתסייע לה לפתח את המוח השני שלי. העתיד של תוצאות החיפוש.קצב הגדילה המסחרר של גרף הידע תלוי ומושפע באופן ישיר מכמויות המידע העצומות שנמצאות במאגר המידע המתחדש תדיר של גוגל. מפות, תמונות וכמובן מיליארדי חיפושים כמעט בכל שפה מדוברת. גרף הידע של גוגל גדול בערך פי 40 מוויקיפדיה, ובניגוד לאינציקלופדיה החופשית, לא כל פיסת מידע עוברת בחינה אנושית ולמעשה רוב המידע נבדק על ידי אלגוריתם משוכלל שפותח על ידי המהנדסים של Metaweb בשיתוף עם עמיתיהם בגוגל (עובדה המקלה מאד ומסבירה את היכולות לגדול במהירות עצומה).

שיטת העבודה של גרף הידע אומרת כי ככל שיהיו יותר הקשרים בין הנושאים השונים, כך הסיכוי שגרף הידע יפגע בדיוק לכוונתו של המחפש עולה.
תהליך הגלובליזציה מציג לגוגל שתי בעיות עיקריות. הראשונה היא תרגום גרף הידע למגוון שפות רחב. והבעיה השניה היא לוקאליזציה. בגלל ההבדלים במינוחים ובמשמעויות של אותם ביטויים, בין מדינה למדינה ובין אזור לאזור, גרף הידע צריך להבין את הניב המקומי והמשמעות השונה של כל ביטוי חיפוש, בין אם הוא מתבצע מישראל, ביפן או באוסטרליה.
אין ספק כי בעתיד הקרוב נראה את התוצאות של גרף הידע בדרכים רבות נוספות, כמואינפוגראפיק   איורים, מפות ועוד.

גרף הידע אינו בא לידי ביטוי רק בתוצאות החיפוש - הגרף מסייע ומניע את החיפוש הקולי בשידורי הטלוויזיה של גוגל, המאפשרים כבר היום לבצע חיפושים קוליים של תוכניות וסרטים. כמו כן, גרף הידע הוא זה שמפעיל הלכה למעשה אתGoogle Now תוכנה תואמת SIRI המותקנת ופועלת על מכשירים מבוססי אנדרואיד.
סיכום:
מסקרן ומרתק להבין יותר על גרף הידע ואפשרויות הפיתוח של מוצרי גוגל השונים ותוצאות החיפוש בעיקר, בהתבסס על הגרף. כבר בתחילת דרכה גוגל הפכה לחברה המובילה בתחום החיפוש המקוון, הרבה בזכות אלגוריתם משוכלל ומתקדם, שפשוט שכנע את הגולשים / המחפשים לעבור לחפש רק בגוגל ולזנוח את המתחרים.

הגישה הבלתי מתפשרת לשיפור מתמיד של תוצאות החיפוש, גרף הידע, מוביל את כולנו לעתיד עוצר נשימה ככל שהדבר נוגע לאפשרויות לחפש ולמצוא מידע ביעילות רבה עוד יותר, מכפי שחזינו עד היום.

להלן סרטון קצר על אופן פעולתו של גרף הידע:

לסיום
לא התייחסתי בבלוג שלי להרבה מאוד מנועי חיפוש נישתיים כמו חיפושי מתכונים, השוואת מחירי טיסות ועוד מפאת קוצר המקום וכן מכיוון שעסקתי בעיקר במנועים הקשורים לעולם המידענות והידע.
כמו"כ לא התייחסתי למנועי חיפוש שולחניים, בתוך מאגרים ע"ג תקליטור או הקשורים ספציפית לאתרים ובנוסף לחיפוש מתקדם של גוגל ומנועי חיפוש נוספים.. חשבתי שקל יותר להגיע למידע והסבר עליהם....רציתי להכיר להבין ולהעביר אליכם כיצד ואלו  הם מנועי החיפוש הקיימים הטובים והפעילים ביותר בעולם הידע והאינטרנט.
 מקווה שהצלחתי.

נעזרתי בהכנת פוסט זה במצגת של  ד"ר דוד פסיג עתידן באוניברסיטת בר אילן ,בבלוג הספריות של יפה אהרוני ובבלוג של עמי  סלנט, בערך על גוגל בוויקיפדיה, באתר networking  ובפורום seo