من فکر می کنم میشه در روبوت تعیین کرد
robot.txt که چه لینکهایی زیاد مهم نیستند ..
لینک های مهم و پربازدید خوذ به خود نمایش داده میشن
البته زمانبره
حدود 3-6 ماهه
نه دوست عزیز
1- شما در robots.txt دسترسی رو مشخص مشخص می کنید که ربات ها به چه صفحاتی دسترسی داشته باشند و چه صفحاتی رو اجازه کراول ندارند
2- می تونید یک ربات خاص رو محدود کنید
3- و یا آدرس سایت مپ رو معرفی کنید
4- و یا فاصله زمانی تعداد کراول یک ربات رو مشخص کنید (این مورد برای ربات های گوگل کار نمی کنه)
شاید منظور شما سایت مپ باشه
در فایل sitemap.xml یک تگ با نام priority وجود داره که میزان ارزش صفحه رو مشخص میکنه که از 1.0 با ارزش ترین صفحه که معمولا صفحه اصلی هست تا بی ارزش ترین صفحه که با 0.0 مشخص میشه در صورتی که این مقدار رو مشخص نکنید به صورت پیشفرض 0.5 ارزشگذاری میشه
با تعریف این مقادیر هم باز گوگل خودش تعیین میکنه که کدوم صفحات رو نشون بده