چگونه فایل Robots.txt بسازیم

[doctor.sniff]

کار ساده‌ای که شما می‌توانید برای کمک به موتورهای جستجو برای یافتن وب‌سایتان انجام دهید، داشتن فایل Robots.txt است. این فایل مخصوصا برای آن وب‌سایت‌هایی پراهمیت است که دارای بخش‌هایی می‌باشند و مایل به فهرست‌گذاری آنها توسط موتورهای جستجو نیستند.
به علاوه، فایل Robots.txt می‌تواند مکان نقشه سایتتان را ذخیره و برای الگوریتم موتور جستجو دستیابی و رفتن به صفحات را آسان کند.
ساخت فایل‌های Robots.txt خیلی راحت هست و شما می‌توانید مثالی از فایل Robots.txt را مشاهده کنید:

User-agent:* 
Disallow: /tmp/
Disallow: /private/
Sitemap:http://www.example.com/sitemap.xml.gz

اولین خط User-agent:* به تمام الگوریتم‌های موتور جستجو می‌گوید این وب‌سایت قابل دسترسیست.
دو خط بعدی به الگوریتم‌ها اعلام می‌دارند آنها نباید به پوشه‌های tmp و private بروند.
خط آخر به الگوریتم‌ها می‌گوید کجا می‌توانند نقشه سایت را بیابند.
فایل Robots.txt همیشه در پوشه سطح بالا بر روی دامنه شما پیدا می‌شود.
یک نمونه از وب‌سایت‌هایی که می‌توانید به رایگان ازش استفاده کنید و فایل robots.txt بسازید.
Robots.txt Generator - McAnerin International Inc.

منبع: دیجی سئو - چگونه فایل Robots.txt بسازیم