سلام وقت بخیر
یه مشکلی برای سایت پیش اومده ( احتمالا بعد از انتقال به هاستینگ جدید ).
گوگل فایل robots.txt رو در حالتی که دامنه با www. هست رو میشناسه و مشکلی نداره اما بدون www. همون فایل رو از robot tester چک می کنیم ، میگه چنین فایلی نیست و خطای 404 میده
چون سایت بدون www بوده ، الان کلی ارور گرفتیم ،
روی مروگر در هر دو حالت فایل robots.txtبالا میاد و مشکلی نداره ، مشکل سر دسترسی ربات های گوگل به این فایل هست.
