بطور خلاصه فایل robots.txt محدودیت هایی رو برای موتورهای جستجو در زمینه جستجو و گردآوری سایت شما انجام می ده.
شاید شما هم به این فکر رسیده باشید که اگر بخواهید جلوی قسمتی از سایت، محتوا و یا جایی از سایتتون رو برای خوانده شدن توسط موتورهای جستجویی نظیر گوگل یا یاهو بگیرید چه کاری باید انجام بدید.
خب، راه حل استفاده از فایل robots.txt هست. موتورهای جستجو قبل از هر کاری ابتدا به این فایل مراجعه می کنند و اگر اجازه داشتند به ادامه کار می پردازند. پیروی از فایل robots.txt نوعی قانون در موتورهای جستجو محسوب می شه.
خب، اگه شما می خواهید موتورهایی جستجو همه سایت شما رو بخوانند بنابراین نیازی نیست این مطلب رو بخوانید. نبود این فایل نشانگر رضایت شما از خوانده شدن تمام محتوای قابل دسترس برای موتورهای جستجو هست …
+ فایل robots.txt کجا باید قرار گیرد؟
- فایل robots.txt باید در root هاست شما ( پوشه اصلی که دامنه شما در آن قرار دارد ) قرار گیرد. بطور مثال آدرس فایل http://www.example.com/robots.txt قابل قبول هست ولی آدرسی مانند http://www.example.com/mysite/robots.txt غیرقابل قبول محسوب می شود و محتویات اون خوانده نمی شود. اگر شما به پوشه اصلی ( root ) دسترسی ندارید می توانید از
Meta Tag ها استفاده کنید .
+ چگونه فایل robots.txt رو بسازم ؟
- شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text رو انتخاب کنید. با برنامه ای مثل notepad می توانید خیلی راحت این کار را انجام دهید.
ساده ترین فایل robots.txt شامل ۲ نقش است:
* User-agent : روبات های مجاز
* Disallow : صفحه های غیرمجاز
بطور مثال برای اجازه دادن به تمامی روبات های خزنده وب می تونید از دستور زیر استفاده کنید :
User-agent: *
چند تا مثال کاربردی:
- جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو:
User-agent: *
Disallow: /
- جلوگیری از خوانده شدن محتوای ۴ پوشه مشخص شده :
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
- جلوگیری از خواندن محتویات پوشه private توسط گوگل :
User-agent: Googlebot
Disallow: /private/
- جلوگیری از خوانده شدن یک فایل خاص :
User-agent: *
Disallow: /directory/file.html
- برای کامنت گذاری از # استفاده می شه. تمامی نوشته ها بعد از # در یک خط کامنت محسوب می شوند ( در نظر گرفته نمی شوند ).
- توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است
- برای مشاهده لیستی کامل از نام روبات های جستجوگر می توانید
به اين آدرس مراجعه كنيد.
جهت مشاهده اطلاعات بیشتر به
راهنماي گوگل يا
ما robots.txt مراجعه کنید.
منبع :
ويكيپديا -
گوگل
