عدم دسترسی گوگل به css و تصاویر سایت

[kvm]

آیا وقتی از ssl یا همون https استفاده مکینیم برای سایت در کراول مشکل پیش میاد؟
ممکنه https جلوی کراول صحیح گوگل رو بگیره؟ چون سرعت کراول گوگل بالاست فکر کنه حمله ddos هست و نزاره فایل ها به درستی برای گوگل لود بشن؟

 

[99+1]

آیا وقتی از ssl یا همون https استفاده مکینیم برای سایت در کراول مشکل پیش میاد؟
ممکنه https جلوی کراول صحیح گوگل رو بگیره؟ چون سرعت کراول گوگل بالاست فکر کنه حمله ddos هست و نزاره فایل ها به درستی برای گوگل لود بشن؟

باسلام
صرفا استفاده از ssl هیچ مشکلی برای ربات گوگل پیش نمیاره، اتفاقا از نظر سئو داشتن ssl توصیه میشه
اما دقت کنید که سایتتون فقط با یک آدرس باز بشه
مثلا از نظر گوگل همه این سایت ها با هم متفاوت هستند
http://site.com
http://www.site.com
https://site.com
https://www.site.com

 

[99+1]

با استفاده از دستور زیر بجز گوگل میشه همه ربات ها را محدود کرد

User-agent: RobotName
crawl-delay: 60

اما گوگل خوشبختانه سرعت کراول مناسبی داره و با توجه به کیفیت سایت و سرور و میزان کاربر و ... کراول میکنه
البته فقط یکبار برای من سرعت کراول زیاد بود اون هم به این دلیل که سایتی رو تازه راه اندازی کرده بودیم و اول کار چند هزار مطلب داشت
اما چند روز بعد تعداد کراول ها نرمال و عادی شد

 

[99+1]

به نظرم این ربات ها جزو بدترین ربات ها هستند که بهتره بلاکشون کنی

AhrefsBot
SemrushBot
SemrushBot-SA
sogou spider
sogou web spider
dotbot