2

فایل robots.txt


فایل robots.txt

احتمالا با فایل robots.txt آشنا هستید و می خواهید که آن را برای موتورهای جستجوگر بهینه سازی کنید تا وضعیت سئو سایت بهتر شود، اما نمی دانید که چگونه باید این کار را انجام دهید؟ با ما همراه باشید تا نحوه بهینه سازی robots.txt برای سئو را به شما نشان دهیم و بگوییم که چرا این مورد از اهمیت بالایی برخوردار است.

آیا به فایل robots.txt نیاز داریم؟

اگر شما فایل robots.txt را بر روی سایت خود نداشته باشید مشکلی به وجود نخواهد آمد و موتورهای جستجوگر وب سایت شما را ایندکس خواهند کرد. با این وجود پیشنهاد می شود که حتما این فایل را بر روی سایت خود داشته باشید.
اگر بخواهید که نقشه XML سایت را به موتورهای جستجوگر بشناسانید، می توانید آدرس آن را در فایل robots.txtt وارد کنید تا موتورهای جستجوگر دیگری که مانند گوگل ابزار وبمستر ندارند، قادر به شناسایی نقشه سایت باشند.

قبل از اینکه ادامه مطلب را دنبال کنید، پیشنهاد می کنیم که اگر این فایل را همچنان روی سایت خود ندارید، حتما آن را ایجاد کنید.

 

فایل robots.txt کجاست؟ چگونه فایل robots.txt ایجاد کنیم؟

به طور معمول فایل robots.txt در مسیر اصلی سایت (root) قرار می گیرد. برای مشاهده آن می توانید از پنل هاست یا اتصال FTP استفاده کنید.
البته اگر صرفا بخواهید که فایل را مشاهده کنید، کافیست که از آدرس yourdomain.ir/robots.txt استفاده کنید. فراموش نکنید که به جای yourdomain.irr آدرس دامنه سایت خود را جایگزین کنید.

در صورتی که این فایل وجود نداشت، شما به راحتی می توانید خودتان یکی ایجاد کنید. تمام کاری که باید انجام دهید ایجاد یک فایل متنی ساده و ذخیره کردن آن به نام robots.txt است. سپس فایل مذکور را بر روی سایت خود آپلود کنید.

حتما بخوانید  آموزش افزودن شماره صفحات وردپرس بدون افزونه

 

چگونه از فایل robots.txt استفاده کنیم؟

نحوه استفاده از فایل robots.txt بسیار ساده است. در خط اول نام کاربر عامل مشخص می شود. منظور از نام عامل همان نام ربات موتورهای جستجوگر است که می خواهید با آن ارتباط برقرار کنید.
برای مثال، Googlebot برای خزنده های گوگل و Bingbott برای خزنده های بینگ مورد استفاده قرار می گیرد. اگر بخواهید که تمام موتورها مورد خطاب قرار گیرند آن موقع باید از علامت ستاره * استفاده کنید.

خط بعدی دسترسی یا عدم دسترسی را برای کاربر عامل مشخص می کند. بدین طریق، موتورهای جستجوگر مطلع خواهند شد که کدام صفحات را ایندکس کنند و از ایندکس کردن کدام بخش های سایت خودداری کنند.

یک نمونه ساده از فایل robots.txt را مشاهده کنید:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

در این فایل robots.txt که برای سایت وردپرسی است؛ مشخص کرده ایم که تمام موتورهای جستجوگر می توانند پوشه تصاویر سایت را ایندکس کنند. در مقابل حق ایندکس کردن پوشه افزونه ها و فایل readme.html را از آنها صلب کرده ایم.

2
فایل robots.txt

بهینه سازی فایل robots.txt برای سئو

براساس دستور العمل های وبمسترها، گوگل تاکید کرده است که مدیران سایت ها از فایل robots.txt برای مخفی کردن محتوای بی کیفیت استفاده نکنند.
بنابراین اگر تصمیم گرفته اید که با استفاده از فایل robots.txtt از ایندکس شدن صفحات مربوط به آرشیوها، دسته ها و غیره جلوگیری کنید، قطعا انتخاب عاقلانه ای نکرده اید.

در نظر داشته باشید که هدف از وجود فایل robots.txt مشخص کردن نحوه رفتار ربات ها با محتوای مورد خزش قرار گرفته است. به عبارتی، موتورهای جستجوگر از خزش سایت دست نخواهند کشید.

حتما بخوانید  آموزش افزودن زمینه دلخواه به قالب وردپرس

بسیاری از افراد صفحات مدیریت و ورود به ناحیه کاربری را در فایل robots.txt وارد می کنند تا از ایندکس آنها جلوگیری کنند، این در حالی است که انجام این کار لازم نیست. چون وردپرس به صورت پیشفرض برای این صفحات از متاتگ noindex استفاده می کند.

در مقابل قطع دسترسی به فایل readme.html می تواند گزینه مناسبی باشد. در این فایل اطلاعات مربوط به نسخه وردپرس وجود دارد. بنابراین، اگر شما از آخرین نسخه وردپرس استفاده نمی کنید و در نسخه های قبلی حفره امنیتی وجود داشته باشد، افراد با اطلاع از این موضوع می توانند حملاتی را بر روی سایت انجام دهند.

 

اضافه کردن نقشه XML سایت به فایل Robots.txt

در صورتی که از افزونه Yoast’s WordPress SEO و یا سایر افزونه های ایجاد نقشه XML سایت استفاده کنید، به احتمال زیاد افزونه مورد نظر اطلاعات مربوط به نقشه سایت را به فایل Robots.txt سایت اضافه خواهد کرد.
اگر اینگونه نبود، آن موقع باید خودتان این کار را به صورت دستی انجام دهید. به مثال زیر توجه کنید:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

شما هر چند تا که نقشه سایت داشته باشید، می توانید آدرس آنها را در فایل robots.txt درج کنید.

 

فایل robots.txt باید چگونه باشد؟

تا به این قسمت به صورت بخش بخش به بررسی فایل robots.txt پرداختیم. اما اگر همچنان مطمئن نیستید که یک فایل robots.txt باید به شکلی باشد، در زیر به یکی از ساده ترین و البته رایج ترین مدل اشاره می کنیم:

User-agent: *

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

امکان ارسال دیدگاه وجود ندارد!