موتور های جستجوی و نحوه عملکرد ربات ها

موتورهای جستجو از دید ما چهار بخش اصلی دارند:

۱٫ جمع آوری کننده اطلاعات (Crawler, Spider, Robot, Bot) : به صفحات مختلف سر می زند (فضولی کردن در وب) محتوای آنها را می خواند اطلاعات مورد نیاز را جمع آوری می کند و در اختیار سایر بخش های موتور جستجو قرار می دهد.
۲٫ بایگانی کننده داده ها (Indexer)
۳٫ سیستم رتبه بندی (Algorithm Ranking Formula)
۴٫ تحلیلگر درخواست (Query Processor)

نحوه عملکرد ربات ها:
Follow Links ==> Gather Info ==> Add to database
(ذخیره در پایگاه داده موتور جستجو) (جمع آوری اطلاعات) (ربات به دنبال لینک ها می رود)

معروفترین موتورهای جستجو:
Google, Bing, Yahoo, Msn, Ask, Alexa, Cuil, Gigablast, Wikia