رفع ارور Unreachable robots.txt

[atlantis5]

سلام دوستان

سایت من نمی دونم چه مشکلی در وبمستر تولز پیدا کرده که crawl درست کار نمیکنه عکس هم گذاشتم

fetch az google هم این ارور رو میده
Unreachable robots.txt
گاهی موقفه ها fetch میشه اما بعضی موقعه ها نه !!

مشکل چی میتونه باشه ؟

لطفا راهنمایی کنید

 

[nitiX]

مشکل در وبمستر تولز نیست ,
از هاست پیگیر باشید , ظاهرا ثبات ندارد ,

وقتی گوگل فایل robots.txt را نمی تواند بخواند , یعنی یا ربات های گوگل بلاک شده اند یا بخاطر مشکلات هاست , دسترسی به این فایل محدود و با مشکل مواجه شده است .

 

[atlantis5]

مشکل در وبمستر تولز نیست ,
از هاست پیگیر باشید , ظاهرا ثبات ندارد ,

وقتی گوگل فایل robots.txt را نمی تواند بخواند , یعنی یا ربات های گوگل بلاک شده اند یا بخاطر مشکلات هاست , دسترسی به این فایل محدود و با مشکل مواجه شده است .

ممنون از جوابت دوست عزیز
میدونم که روی هاست فایروال نصب هست . آیا روبات های گوگل از پورت خاصی استفاده میکنن که این مشکل به وجود میاد . چون گاهی موقعه دسترسی داره .

 

[nitiX]

مدیران هاست میدونند که چه آی پی هایی را نباید بلاک کنند , اگر هاستی ربات گوگل را بلاک کند که دیگر هاست نیست !

بلاک شدن ربات گوگل می تواند توسط فایل robots.txt صورت گرفته باشد که البته احتمال خیلی ضعیف است ( خودتان می توانید چک کنید ) و یا خود هاست مشکلات قطع ارتباط با شبکه اینترنت را دارد و برای لحظاتی سایت شما را از دسترس خارج می کند , اگر گوگل در همان لحظات به سایت شما سر بزند و از فایل robots.txt , کد 200 یا 404 دریافت نکند , به شما پیام Unreachable robots.txt خواهد داد .

اگر همچنان مشکل برقرار هست , با پشتیبانی هاست تماس بگیرید .