download 36

گوگل بات GoogleBot یک خزنده است. اصطلاحا به این گونه ربات ها کراولر می گویند. این ربات صفحات وب را از داده هایی که دقیقه به دقیقه در فضای وب منتشر می شود شناسایی می کند. تعداد این ربات ها زیاد است و تقریبا هر موتور جستجو یکی از این ربات ها دارد. چند تا از این ربات های معروف در ادامه آورده شده اند:

Googlebot ربات گوگل

Bingbot ربات بینگ

Alexa Crawler ربات آمازون الکسا

DuckDuckBot ربات داک داک گو

ربات های گوگل چطور کار میکنند؟

این ربات ها با استفاده از نقشه سایت (Site Map) و بک لینک های مشاهده شده از بررسی های گذشته تصمیم میگیرد که در قدم بعدی به کجا برود. هنگامی که ربات به یک بک لینک جدید میرسد، آن را به لیست بررسی خود اضافه میکند تا آن ها را بررسی نماید. اگر ربات متوجه تغییر در لینک ها و یا خرابی آن ها شود، صفحه ایندکس شده خود را بروزرسانی میکند. ساختار برنامه نویسی ربات های گوگل زمان بازگشت مجدد و بررسی صفحات را برای ربات مشخص میکنند.

ربات های گوگل چطور سایت های شما را بازدید می کنند؟

برای اینکه بفهمید ربات های گوگل چه زمان هایی به سایت شما مراجعه می کنند، می بایست فایل های Log سایت خود را بررسی کنید و یا به قسمت Crawl در کنسول جستجوی گوگل مراجعه کنید.

گوگل لیست آدرس های آی پی ربات های خود را هیچ گاه منتشر نمی کند و همین طور این آی پی ها مدام در حال تغییر هستند. اگر می خواهید ماهیت ربات های گوگل را تایید کنید، می بایست از ابزارهای تبدیل آی پی به نام استفاده کنید. اسپمرها می توانند به راحتی نام user-agent خود را به Googlebot تغییر دهند اما شبیه سازی آی پی به این راحتی نیست.

شما می توانید با استفاده از فایل Robots.txt به ایجاد محدودیت و کنترل دسترسی ربات گوگل به سایت خود بپردازید. دقت داشته باشید که در صورت اشتباه در این کار، ممکن است جلوی دسترسی گوگل به محتوای اصلی سایت را بگیرید. این کار موجب عدم ایندکس محتوای سایت خواهد شد. همچنین راه های دیگری نیز برای جلوگیری از ایندکس شدن بعضی از صفحات سایت وجود دارد.

download 37

امکان ارسال دیدگاه وجود ندارد!