سلام دوستای عزیز. موضوع امروز مدرسه وردپرس درباره بهینه سازی فایل robots.txt برای سئو هستش. اما بهتره در ابتدا بدونیم که اصن چرا فایل robots.txt براس سئو مهم و ضروری است. در این مقاله از مدرسه وردپرس یاد میگیریم که فایل robots.txt را بهینه کنیم و همچنین نکات مفیدی درباره این فایل را خواهیم گفت.
ممکنه سوال بپرسید که اصن این فایل چرا میتونه برای سایت ما مفید باشه؟ در جواب این سوال باید بگم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما داره.
این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنینبه موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.
آیا واقعا به فایل robots.txt نیاز داریم؟
این رو باید بدونید که اگر این فایل رو نداشته باشید باعث نمیشه که موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند. با این حال خیلی زیاد توصیه می کنیم که این فایل رو بسازید
اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید
این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )
نحوه استفاده از فایل robots.txt
فرمت این فایل در واقع خیلی ساده هستش. در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.
در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.
این یک نمونه کد فایل robots.txt است:
1
2
3
4
User-Agent:*
Allow:/wp-content/uploads/
Disallow:/wp-content/plugins/
Disallow:/readme.html
بهینه سازی فایل robots.txt برای سئو
بسیار خب در اینجا نحوه بهینه سازی فایل robots.txt رو میگم.
البته این رو به یاد داشته باشید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگم که این کار اصن عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید
همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد
ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …..
فایل نقشه سایت را در robots.txt قرار دهید
اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.
به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر :
1
2
Sitemap:http://www.example.com/post-sitemap.xml
Sitemap:http://www.example.com/page-sitemap.xml
یک فایل robots.txt استاندارد چگونه خواهد بود؟
راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :
User-agent:*
Disallow:
Sitemap:http://www.example.com/post-sitemap.xml
Sitemap:http://www.example.com/page-sitemap.xml
کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند
اینم یه نمونه دیگه:
User-Agent:*
Allow:/?display=wide
Allow:/wp-content/uploads/
Disallow:/wp-content/plugins/
Disallow:/readme.html
Disallow:/refer/
Sitemap:http://www.sample.com/post-sitemap.xml
Sitemap:http://www.sample.com/page-sitemap.xml
Sitemap:http://www.sample.com/deals-sitemap.xml
Sitemap:http://www.sample.com/hosting-sitemap.xml
بسیار خب مقاله امروز مدرسه وردپرس به پایان رسید. امیدوارم خوشتون اومده باشه
موفق باشید
منبع
ممکنه سوال بپرسید که اصن این فایل چرا میتونه برای سایت ما مفید باشه؟ در جواب این سوال باید بگم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما داره.
این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنینبه موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.
آیا واقعا به فایل robots.txt نیاز داریم؟
این رو باید بدونید که اگر این فایل رو نداشته باشید باعث نمیشه که موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند. با این حال خیلی زیاد توصیه می کنیم که این فایل رو بسازید
اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید
این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )
نحوه استفاده از فایل robots.txt
فرمت این فایل در واقع خیلی ساده هستش. در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.
در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.
این یک نمونه کد فایل robots.txt است:
1
2
3
4
User-Agent:*
Allow:/wp-content/uploads/
Disallow:/wp-content/plugins/
Disallow:/readme.html
بهینه سازی فایل robots.txt برای سئو
بسیار خب در اینجا نحوه بهینه سازی فایل robots.txt رو میگم.
البته این رو به یاد داشته باشید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگم که این کار اصن عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید
همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد
ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …..
فایل نقشه سایت را در robots.txt قرار دهید
اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.
به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر :
1
2
Sitemap:http://www.example.com/post-sitemap.xml
Sitemap:http://www.example.com/page-sitemap.xml
یک فایل robots.txt استاندارد چگونه خواهد بود؟
راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :
User-agent:*
Disallow:
Sitemap:http://www.example.com/post-sitemap.xml
Sitemap:http://www.example.com/page-sitemap.xml
کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند
اینم یه نمونه دیگه:
User-Agent:*
Allow:/?display=wide
Allow:/wp-content/uploads/
Disallow:/wp-content/plugins/
Disallow:/readme.html
Disallow:/refer/
Sitemap:http://www.sample.com/post-sitemap.xml
Sitemap:http://www.sample.com/page-sitemap.xml
Sitemap:http://www.sample.com/deals-sitemap.xml
Sitemap:http://www.sample.com/hosting-sitemap.xml
بسیار خب مقاله امروز مدرسه وردپرس به پایان رسید. امیدوارم خوشتون اومده باشه
موفق باشید
منبع