כיצד פועלים מנועי החיפוש ? 

איך הם מחליטים לאיזה אתר לתת חשיפה במיקום גבוה/רלוונטי יותר?

האלגוריתמים של מנועי החיפוש הם הסודות השמורים ביותר בתעשייה, אף אחד לא יודע כיצד הם עובדים בדיוק ולכן הכל הוא על סמך תחושות, ניסוי ותהייה עד לקבלת התוצאות הרצויות.
עדיין, על סמך ניתוחים רבים ניתן לבודד מספר "חוקים" (גם אם יש מידי פעם חריגים לחוק).

מעט סטטיסטיקה ומספרים
- 85% מהגולשים לא עוברים לדף השני של תוצאות השליפה במנוע החיפוש.
- רוב מנועי החיפוש מציגים 10 תוצאות בדף תוצאות השליפה.
- רק כ- 5% מהגולשים עוברים לדף השלישי ומעלה של התוצאות.

על פי נתונים אלו מובן שמטרתם של מנהלי אתרים לגרום לכך שמנועי החיפוש יתנו לאתר שלהם דירוג טוב בקטגוריה שלהם וימקמו אותו בתוצאות החיפוש הראשונות עבור גולשים המחפשים אינפורמציה (בנושא הקשור לאתר).
לפני מספר שנים כדי לבצע אופטימיזציה היה צריך רק להירשם למנוע החיפוש ולבחור מילות מפתח. הרבה מנהלי אתרים נצלו מצב זה לבצע אופטימיזציה למילות חיפוש שאינן רלוונטיות לאתר שלהם על מנת להגדיל את מספר הכניסות של גולשים לאתר.

עקב השימוש לרעה במילות המפתח הפכו תוצאות החיפוש של המנועים להיות לא רלוונטיות. כך למעשה הגיע השלב הבא בו כתבו מנועי החיפוש אלגוריתמים מתוחכמים לאיתור רמאויות וניפוין שהחזירו את הרלוונטיות לתוצאות השליפה.

 מנועי חיפוש מפעילים תוכנות, הנקראות רובוטים או עכבישים, לצורך הוספת אתרים לבסיס הנתונים שלהם. אותם עכבישים זוחלים ברשת בחיפוש אחר דפים חדשים ועדכונים לדפים המצויים במאגר כאשר לצורך כך יעברו מכתובת URL אחת לשנייה עד שלא ימצאו יותר כתובות. בכל דף בו הם מבקרים יקליטו העכבישים את כל הטקסט המופיע בעמוד - משמש לתוצאות שליפה בעתיד ובדיקת השינויים בדף. לאחר שגמרו לזחול באתר מסוים יעקבו אחר קישורים היוצאים ממנו לאתרים נוספים וימשיכו לחפש גם אתרים חדשים.
כאשר העכביש ביקר באתר מסוים הוא יחזור לבדוק שינויים ועדכונים שבוצעו בו אחת למספר ימים. יאהו ו- MSN חוזרים בתדירות גבוהה של פעם ביום (לפעמים יותר) ואילו גוגל חוזר אחת לארבעה ימים בערך.
לעכבישים מטרה נוספת מלבד למצוא אתרים חדשים  - לתת לאתרים  ציון לפי הרלוונטיות שלהם למילות חיפוש. מציאת האתרים היא משימה פשוטה יחסית העכביש זוחל ברשת, עוקב אחרי לינקים ומאנדקס אותם. המשימה הקשה היא מתן הציון לכל אתר באופן כזה שכאשר תקליד מילת חיפוש כלשהי תתקבל התוצאה הכי רלוונטית לחיפוש שלך בראש התוצאות.
העכבישים מנסים "לחשוב" כמו הגולש - מה מעניין אותו בחיפוש מסוים - ומצד שני משחקים בחתול ועכבר עם מנהלי/ מקדמי אתרים המנסים לתמרן אותם לתת לאתר שלהם דירוג גבוה.
העכביש בודק אם מילת חיפוש/ ביטוי הוא רלוונטי לאתר או אם הוא נראה "יותר מידי" רלוונטי לאתר מסוים. כאשר מנוע חיפוש עולה על טקטיקה חדשה לקידום אתרים הוא בונה טקטיקת נגד, וכך ממשיך המשחק כל הזמן.
ניתן לומר שהיום אין יותר דירוג טבעי (ללא ביצוע אופטימיזציה) של אתרים וכל אתר נבחן בזהירות רבה. רוב העכבישים מתוכננים לבחון את האתרים מנקודת ראותו של הגולש המחפש אינפורמציה.
גוגל (המנוע המרכזי היום ברשת) נוטה לייחס חשיבות גדולה לאתרים המקשרים לאתר מסוים ומציב פרמטרים נוקשים יותר על מנת להיכנס לאינדקס. מדי תקופה הוא משיק עדכונים אלגוריתמיים בשם  ה.פנדה אשר "מבינים" את רצון  הגולשים טוב יותר. עדכונים אילו שינו את תוצאות החיפוש בהיקפים נרחבים (כ- 12% מהתוצאות בארה"ב השתנו במסגרת העדכון הראשון בסדרה).

 באתרים חדשים לחלוטין או אתרים שעברו שינויים גדולים דוחה גוגל את הכנסת האתר לאינדקס שלו לתקופה של 6 עד 8 חודשים. בתקופה זו, הידועה כ"ארגז החול" של גוגל, הדירוג של האתר יהיה נמוך יחסית וגוגל יציג (אם בכלל) מעט דפים ממנו.
כאשר גוגל מוצא אתרים חדשים או אתרים שעברו שינויים מסיביים (גוגל מניח כי שינויים מסיביים בדף יכולים לנבוע משינויי בעלות. המשמעות מבחינתו היא שכל הדירוגים, הקישורים היוצאים והנכנסים הקודמים לא רלוונטיים לבעלים החדש), הוא שם את הדפים בתוצאות לשאילתות חיפוש בדרגת חשיבות נמוכה. למרות שמנועי חיפוש אחרים כן מציגים את האתר גוגל עשוי שלא להציג אותו לחלוטין (לפעמים מציג אותו בשאילתות חיפוש מסוימות, לדוגמא עבור שם החברה(.

מדד  Page Rank
על מנת לדעת כיצד מדורגים האתרים השונים ע"י מנוע החיפוש גוגל, ניתן להוריד ולהתקין על המחשב את סרגל הכלים של גוגל מהכתובת: http://toolbar.google.com.  לאחר התקנת הסרגל ניתן לראות עבור כל דף בו אתם נמצאים מהו הדירוג שגוגל נותן לאותו הדף לפי מדד. Page Rank  המדד נותן ציון בין 1 ל- 10 לכל דף בעיקר לפי הפופולריות שלו (מספר הקישורים מאתרים אחרים ואיכותם) ושכלול מספר גורמים נוספים שגוגל לא מוכנים לחשוף.
גוגל הגישה בקשה לפטנט על שיטת ה Page Rank, מן הבקשה ניתן להקיש מהם אותם גורמים נוספים המשפיעים על הדירוג במנוע:
- תדירות השינויים בדף
- היקף השינויים - שינויים קטנים או גדולים
- שינוי במשקל מילות המפתח
- מספר האתרים החדשים המקשרים אל הדף
- שינוי בטקסט של הקישורים לדפים אחרים
- כמות הקישורים מדף בודד לאתרים בעלי דירוג נמוך (בודק האם מדובר בשיתוף פעולה בין אתרים   
  המקשרים בינם לבין עצמם ברשת רק לצורך העלאת הדירוג(.

אינדקסים
לעומת המנועים הזוחלים קיימת שיטת האינדקסים. בדיקת האתרים נעשית ע"י עורכים אנושיים המחליטים אם אתר יופיע  והיכן (באיזו קטגוריה) לפי שיקולם. דוגמאות לאינדקסים הם nana, Ynet וגם וואלה למרות שהיום הוא משלב גם יכולות של מנוע חיפוש.