یک مشکل جدی در robots.txt

[ctcn8311885]

سلام در گوگل وبمستر یک اختار در مورد robots.txt دریافت کردم در خط 15هم robots.txt نوشته: Crawl-delay: 1 گوگل هم به این مورد warning(هشدار) داده و میگه که rule ignored by googlebot حالا مشکل چی هست و باید چی کار کرد؟ من این مشکل را از پشتیبانی رزبلاگ برسیدم گفت که کد ها رو عوض کن. خوب من نمیدانم باید چه کار کنم و چه کدهایی بزارم مگرنه سوال نمیکردم.
من تمام کد های robots.txt رو در اختیار شما میزارم - در یک فایل تکس در این تاپیک آپلود شد

 

[mazyar123]

درود
گوگل اگر بطور دستی سایت مپ رو براش تاخیر تعریف کنید اون رو اجرا نمی کنه دلایلش هم بسیار زیاده شما باید از گوگل وب مستر تاخیر براش تعریف کنید
از وب مستر به بخش Site Settings
سپس Limit Google's maximum crawl rate
وبعد رو فیلد کلیک کرده از پنجره باز شده تاخیر رو تعیین کنید

 

[ctcn8311885]

درود
گوگل اگر بطور دستی سایت مپ رو براش تاخیر تعریف کنید اون رو اجرا نمی کنه دلایلش هم بسیار زیاده شما باید از گوگل وب مستر تاخیر براش تعریف کنید
از وب مستر به بخش Site Settings
سپس Limit Google's maximum crawl rate
وبعد رو فیلد کلیک کرده از پنجره باز شده تاخیر رو تعیین کنید

همونجا یه گزینه هست به نام Let Google optimize for my site که کنارش نوشته (recommended) یعنی بطور پیشفرض باید این گزینه باشه حالا اون گزینه ای که شما گفتید یعنی Limit Google's maximum crawl rate زیر این گزینه باید یک رنج بین Low و High اینخاب کنم - حالا اون رو ببرم اول Low یا آخر High یا بین این دو؟ - حالا همه این کار ها باعث میشه که robots.txt ارور مربوطه رو نده؟ یا این کار به چیز دیگه ای کمک میکنه؟

 

[mazyar123]

رنج مربوطه مدت تاخیر روبر ثانیه مشخص می کنه شما وقتی نشانگر رو جابجا می کنید می تونید مدت تاخیر رو در زیرش ببینید و هرجا دیدید مناسب هست همون رو انتخاب کنید
بله ارور برطرف می شه و اگر مشکل دیگه ای باشه بعد از تست مجدد سایت مپ می تونید توضیح و علت مشکل رو ببینید

 

[ctcn8311885]

مدتییه که گذشته - با انجام اینکار مشکل robots.txt حل نشد - ورودی گوگل هم هنوز صفره

 

[mazyar123]

اگر همچنان مشکل ارور در وب مستر تولز رو دارید پیشنهاد می کنم یه بکاپ از نسخه فعلی سایت مپ گرفته و بعد حذفش کنید سپس سایت مپ جدید بسازید فقط مد نظر داشته باشید در سایت مپ جدید بطور دستی تاخیر رو تعیین نکنید از طریق وب مستر تاخیر مدنظر خودتون رو تعریف کرده و سایت مپ رو فچ کنید

 

[ctcn8311885]

سایت مپ و... درست هستند مشکل فقط این جمله در robots.txt هست. Crawl-delay: 1 معنی میشه تاخیر خزش - حالا این مورد را حذف کنم یا در جای خود بماند؟ اگه حذفش کنم اتفاق خاصی نمییفته؟(بدتر نمیشه؟)
حذفش کنم؟

 

[mazyar123]

این تاخیر تاثیر چشمگیری در عملکرد های مهمی که گوگل برای کرول تعریف کرده نداره و عملا هیچ نقشی در تعدادو عمق کرول مطالب سایت شما بازی نمی کنه تقش این پارامتر فقط در تعداد دفعات لود صفحات شما توسط ربات ها هست که گاهی منجر به پایین اومدن سرعت سرور می شه عمل کردش در همین حد هست پس اگر این تاخیر رو تعریف کردید تا کرولینگ سایت شما تعدادش کمتر بشه و یا عمق نفوذ ربات هاپایین بیاد و یا دسترسیشون به برخی نقاط سایت شما محدود بشه چنین کاری انجام نمیده
این مورد هم مد نظر قرار بدید فرمان تاخیر جزو کارکتر های استانداردی که گوگل برای فایل ربات تعیین کرده نیست بنابراین
تشخیصش با خودتون هست که این تاخیر رو تعریف کنید (که گوگل توصیه نکرده اینکار رو) یا خیر و حذفش کنید در هر حال اگر تشخیص دادید تاخیر تعریف کنید می تونید از طریق وب مستر بشکلی که توضیح دادم عمل کنید اگر دستی ورود کنید ربات ها اون رو نادیده می گیرند
موتور های جستجوی دیگه مثل بینگ yandex و .. اینجوری نیستند و می تونید دستی تعریف کنید