مشکل سرور اررور و robots.txt سایت

[hamedjf]

سلام دوستان کسی میدونه این ارورها برای چی هی رخ میده؟
فایل ربات هم اررور میده هر پست جدیدی گذاشته میشه میزنه not found ربات پیداش نمیکنه
اینم عکسهاش
سایت مپم چند وقته اضافه کردم به وبمستر اما هنوز ایندکس نشده

https://img.techpowerup.org/190216/photo-2019-02-16-18-31-00.jpg

https://img.techpowerup.org/190216/untitled145.png

https://img.techpowerup.org/190216/photo-2019-02-16-18-30-36.jpg

 

[arashdownload]

اون خط مرتبط با بوت گوگل رو بردار بلکه درست شد

 

[ali998]

من که متوجه نشدم مشکل شما چیست.
با مثال بگو مشکل چیه.
فایل ربات رو هم این طور کن:

User-agent: Googlebot
User-agent: *

Disallow: /cgi-bin/
Sitemap: http://factplus.ir/sitemap.xml