همه ما با اهمیت فعالیت های سئو آشنا هستیم: تهیه یک سایت خوش ساخت، استفاده از کلمات کلیدی مرتبط و تگ گذاری مناسب، رعایت استانداردهای فنی و تهیه حجم بسیار زیادی محتوا. اما کمتر کسی با موضوع بهینه سازی گوگل بوت آشناست. بهینه سازی گوگل بوت با بهینه سازی موتورهای جستجو فرق دارد و یک مرحله قبل از آن است. بهینه سازی موتورهای جستجو بیشتر بر روی پروسه بهینه سازی کوئری های کاربر تمرکز دارد؛ ولی بهینه سازی گوگل بوت با نحوه دستیابی خزنده های گوگل بوت به سایت ها سروکار دارد. هرچند این دو مقوله نقاط اشتراک زیادی دارند، با این حال ازآنجاکه هرکدام تاثیر قابل ملاحظه ای بر روی عملکرد سایت دارند، لازم است تفاوت های هریک را به شکل اساسی بررسی کنیم. قابلیت خزش سایت مهم ترین فاکتور برای نمایش آن به جستجوکنندگان است.
گوگل بوت چیست؟
گوگل بوت یا همان عنکبوت، روبات جستجوی گوگل است که داخل وب سایت ها می خزد و صفحات را اندیس گذاری می کند. گوگل بوت داخل هر صفحه ای که اجازه داشته باشد می خزد و آن را به اندیس ها اضافه می کند تا در قالب نتایج جستجو به کاربران نمایش داده شود. برای درک بهتر پروسه بهینه سازی گوگل بوت ابتدا باید ببینیم گوگل بوت چطور به درون سایت ها می خزد:
۱) گوگل بوت برای خزیدن داخل سایت هایی که پیج رنک بالاتری دارند، وقت بیشتری صرف می کند؛ کلّ زمانی که به یک سایت اختصاص داده می شود “بودجه خزش” آن است. هرچه اعتبار یک صفحه بیشتر باشد، بودجه خزش بیشتری دریافت می کند.
۲) گوگل بوت به صورت پیوسته داخل سایت ها می خزد. گوگل در این مقاله صراحتا اعلام کرده: “گوگل بوت به طور میانگین نهایتا هرچند ثانیه یک بار داخل سایت ها می خزد.” درنتیجه درصورتی که سایتتان به خزنده ها اجازه ورود بدهد، به صورت پیوسته خزیده می شود. در حوزه سئو درخصوص نرخ خزش سایت و اینکه چطور می توانیم کاری کنیم که گوگل مجددا درون سایتمان بخزد و رنکینگ بهینه ای به آن اختصاص بدهد، به صورت مفصل بحث می شود. اما این اصطلاح سوء تفاهم ایجاد کرده است. درواقع منظور از نرخ خزش گوگل، سرعت درخواست های گوگل بوت است، نه دفعات خزش به سایت. نرخ خزش را می توانیم (از مسیر آیکون چرخ دنده تنظیمات سایت نرخ خزش) داخل ابزار مدیران وب تغییر بدهیم.
گوگل بوت صفحات سایت را به صورت پیوسته بررسی می کند و هرچه محتوای تهیه شده تازه تر باشد، بک لینک های بیشتری وجود داشته باشد و داخل رسانه های اجتماعی از سایت بیشتر صحبت شده باشد، شانس نمایش سایت در نتایج جستجو هم بیشتر می شود. نکته قابل تامل این است که گوگل بوت هر دفعه تمام صفحات سایت را بررسی نمی کند؛ درنتیجه لازم است در قالب کمپین بازاریابی تان، به صورت آهسته و پیوسته فعالیت کنید. تهیه محتوای دست اول به صورت مستمر، توجه گوگل بوت را به سایت جلب می کند و شانس صفحات را برای کسب رنکینگ بهتر افزایش می دهد.
۳) گوگل بوت اول از همه به فایل robots.txt سر می زند تا دستورات خزش درون سایت را بررسی کند. درصورتی که مجاز به بررسی محتوای بعضی از صفحه ها نباشد، درون آن ها نمی خزد و اندیس گذاری شان نمی کند.
۴) گوگل بوت به کمک sitemap.xml تمام نقاط سایت را برای خزش و اندیس گذاری شناسائی می کند. ازآنجاکه سایت های مختلف به شکل مختلفی طراحی و پیاده سازی می شوند، خزنده ها به صورت خودکار داخل هر صفحه یا بخشی نمی شود.
۶ اصل اساسی بهینه سازی سایت برای گوگل بوت
ازآنجاکه بهینه سازی گوگل بوت یک مرحله قبل از بهینه سازی موتورهای جستجو انجام می شود، لازم است سایت را به صورتی سازماندهی کنیم که تا حد ممکن به ساده ترین شکل و با دقت بالا اندیس گذاری شود. روش کار به این صورت است:
• بیش از حد فانتزی عمل نکنید
موضوع این است که گوگل بوت نمی تواند جاوا اسکریپت، فریم ها، DHTML، فلش و Ajax را به خوبی قالب فسیل شده HTML بخواند. درحقیقت گوگل هنوز به صورت مشخص اعلام نکرده محتوای جاوا اسکریپت و Ajax را تا چه ابعادی parse می کند؛ درنتیجه بهتر است ریسک نکنیم و المان های مهم سایت و/ یا محتوای آن را در قالب دیگری پیاده سازی کنیم.
هرچند مت کاتس توضیح داده بود که خزنده ها می توانند جاوا اسکریپت را بخوانند، با این حال براساس شواهد موجود و راهکارهای مدیران وب گوگل، بهتر است به خاطر داشته باشیم:
درصورتی که داخل سایت از امکانات فانتزی مثل جاوا اسکریپت، کوکی، session ID، فریم، DHTML و یا فلش استفاده کنیم و درنتیجه نتوانیم تمام قسمت ها را داخل مرورگرهای متنی ببینیم، باید احتمال بدهیم که عنکبوت های موتورهای جستجو هم در خزیدن داخل سایت مشکل پیدا کنند.
بهتر است در مورد استفاده از جاوا اسکریپت کمی بدبین باشیم و فانتزی هایمان را در قسمت های دیگر پیاده سازی کنیم.
• فایل robots.txt را به بهترین نحو ویرایش کنید
هیچ وقت فکر کرده اید فایل robots.txt به چه دردی می خورد؟ استانداردهای سئو می گویند باید چنین فایلی داشته باشیم، اما چرا؟ یکی از دلایل این است که این فایل گوگل بوت بزرگ را هدایت می کند. گوگل بوت می تواند بودجه اش را در هرکدام از صفحات سایت خرج کند؛ این خود ما هستیم که باید مشخص کنیم بودجه را به کدام صفحات اختصاص بدهد. درصورتی که تمایل نداریم صفحه یا آرشیو خاصی از سایت خزیده شود، باید فایل robots.txt را براساس آن ویرایش کنیم. گوگل بوت هرچه بر روی بخش های غیر ضروری سایت وقت کمتری صرف کند، برای بخش های مهم تر بودجه بیشتری به دست می آورد.
پیشنهاد دوستانه من را قبول کنید و صفحات مهم سایت را از دسترس گوگل بوت خارج نکنید! گوگل بوت به صورت پیش فرض به درون همه چیز می خزد و همه چیز را اندیس گذاری می کند. وظیفه اصلی فایل robots.txt هم این است که به گوگل بوت اعلام کند کجا نرود. بهتر است گوگل بوت را آزاد کنید تا درون تمام بخش های مهم سایت بخزد.
• محتوای دست اول تهیه کنید
محتوایی که بیشتر خزیده شود، احتمالا ترافیک بیشتری هم به دست می آورد. هرچند که به نظر می رسد پیج رنک عامل تعیین کننده فرکانس خزش باشد، با این وجود در مورد صفحاتی که رنکینگ مشابهی دارند، تازه بودن محتوا نسبت به پیج رنک اولویت دارد.
به خصوص در مورد بهینه سازی گوگل بوت، لازم است همانطور که AJ Kohn معتقد است، ترتیبی بدهیم تا صفحاتی که رنکینگ پائینی دارند تا جای ممکن خزیده شوند تا بهترین نتیجه ممکن را بگیریم.
• صفحات infinite scrolling را بهینه سازی کنید
درصورتی که صفحاتتان قالب infinite scrolling دارند هم می توانید گوگل بوت را بهینه سازی کنید؛ فقط باید با مواردی که گوگل صراحتا اعلام کرده و داخل مقاله من لیست شده اند همگام بمانید.
• لینک دهی داخلی سایت را اصلاح کنید
ساختار لینک داخلی درست مثل نقشه ای است که به گوگل بوت کمک می کند داخل سایت راهش را پیدا کند. درنتیجه هرچه لینک های داخلی مان یکپارچه تر و منسجم تر باشند، کار گوگل بوت هم راحت تر می شود. یکی از دقیق ترین روش ها برای تحلیل ساختار لینک داخلی، این است که مسیر ابزار مدیران وب ترافیک جستجو لینک های داخلی را دنبال کنیم. درصورتی که صفحات بالای لیست، جزء مهم ترین صفحات سایت با بهترین محتوا هستند که قصد داریم داخل SERP نمایش داده شوند، همه چیز مرتب است.
• فایل sitemap.xml تهیه کنید
نقشه سایت یکی از مشخص ترین پیغام های صفحات به گوگل بوت است که مانند یک نقشه راه نشان می دهد چطور درون صفحات بخزد. درواقع خزش درون بعضی از سایت ها چندان ساده نیست. برخی از عوامل ممکن است گوگل بوت را سردرگم کنند یا به هنگام خزیدن درون سایت، از مسیر اصلی منحرفش کنند. نقشه های سایت در چنین مواقعی به کار می آیند و کمک می کنند تمام بخش های مهم سایت خزیده شوند.
تحلیل عملکرد گوگل بوت داخل سایت
یکی از مهم ترین مسائل درخصوص بهینه سازی گوگل بوت این است که بررسی عملکرد سایت و روند خزش آن نیاز به حدس و گمان ندارد و کاملا سرراست است. با استفاده از اطلاعات ارزشمند ابزار مدیران وب گوگل می توانیم به راحتی فعالیت های گوگل بوت را ارزیابی کنیم. چنین داده هایی حجم چندانی ندارند، اما می توانند مشکلات اساسی احتمالی در مسیر خزش سایت را با دقت بالائی مشخص کنند.
وارد ابزار مدیران وب گوگل بشوید و در بخش Crawl، لیست مشکلات شناسائی شده را بررسی کنید.
خطاهای خزش
درصورتی که در مسیر خزش درون سایت کوچکترین مشکلی وجود داشته باشد، در این قسمت مشاهده می کنیم. گوگل بوت به صورت پیوسته درون سایت ها می خزد و درصورتی که سایت مشکلی داشته باشد، به آن تعدادی کارت قرمز می دهد؛ مثلا ممکن است بعضی از صفحات که دفعه قبل در اندیس ها قرار گرفته بودند از بین رفته باشند. بررسی خطاهای خزش، گام اول در مسیر بهینه سازی گوگل بوت است. گاهی خطاهای خزش آن قدر کم تعداد یا کم اهمیت هستند که یک باره بر روی ترافیک یا رنکینگ صفحات تاثیر نمی گذارند. با این حال به مرور زمان باعث افت ترافیک می شوند. مثال زیر سایتی را نشان می دهد که دچار خطا شده است:
آمار خزش
گوگل دقیقا مشخص می کند بوتش هر روز چند صفحه و چند کیلوبایت از سایت را درنوردیده است. کمپین های بازایابی محتوا که به صورت آهسته و پیوسته حرکت می کنند و به صورت مستمر محتوای دست اول به سایت تزریق می کنند، در این بخش عملکرد بسیار مثبتی دارند.
Fetch as Google
با استفاده از قابلیت “Fetch as Google” می توانیم سایت یا تک تک صفحاتمان را آنطور که گوگل می بیند ببینیم.
URL های بلوکه شده
درصورتی که تصمیم دارید ببینید وضعیت فایل robots.txt سایت در چه حال است، بهتر است سری به بخش URL های بلوکه شده بزنید.
نقشه سایت
در بخش sitemap می توانیم یک نقشه سایت اضافه یا تست کنیم و ببینیم داخل نقشه چه محتوایی اندیس گذاری شده است.
پارامترهای URL
اندیس های پارامترهای URL هم ممکن است براساس حجم محتوای تکراری ایجاد شده در URL های دینامیک، مساله دار شده باشند. در این بخش می توانیم نحوه خزش درون URL های پارامترها و اندیس گذاری ها را برای گوگل پیکربندی کنیم. تمامی صفحات به صورت پیش فرض آن طور که گوگل بوت صلاح می داند خزیده می شوند:
گوگل بوت چیست؟
گوگل بوت یا همان عنکبوت، روبات جستجوی گوگل است که داخل وب سایت ها می خزد و صفحات را اندیس گذاری می کند. گوگل بوت داخل هر صفحه ای که اجازه داشته باشد می خزد و آن را به اندیس ها اضافه می کند تا در قالب نتایج جستجو به کاربران نمایش داده شود. برای درک بهتر پروسه بهینه سازی گوگل بوت ابتدا باید ببینیم گوگل بوت چطور به درون سایت ها می خزد:
۱) گوگل بوت برای خزیدن داخل سایت هایی که پیج رنک بالاتری دارند، وقت بیشتری صرف می کند؛ کلّ زمانی که به یک سایت اختصاص داده می شود “بودجه خزش” آن است. هرچه اعتبار یک صفحه بیشتر باشد، بودجه خزش بیشتری دریافت می کند.
۲) گوگل بوت به صورت پیوسته داخل سایت ها می خزد. گوگل در این مقاله صراحتا اعلام کرده: “گوگل بوت به طور میانگین نهایتا هرچند ثانیه یک بار داخل سایت ها می خزد.” درنتیجه درصورتی که سایتتان به خزنده ها اجازه ورود بدهد، به صورت پیوسته خزیده می شود. در حوزه سئو درخصوص نرخ خزش سایت و اینکه چطور می توانیم کاری کنیم که گوگل مجددا درون سایتمان بخزد و رنکینگ بهینه ای به آن اختصاص بدهد، به صورت مفصل بحث می شود. اما این اصطلاح سوء تفاهم ایجاد کرده است. درواقع منظور از نرخ خزش گوگل، سرعت درخواست های گوگل بوت است، نه دفعات خزش به سایت. نرخ خزش را می توانیم (از مسیر آیکون چرخ دنده تنظیمات سایت نرخ خزش) داخل ابزار مدیران وب تغییر بدهیم.
گوگل بوت صفحات سایت را به صورت پیوسته بررسی می کند و هرچه محتوای تهیه شده تازه تر باشد، بک لینک های بیشتری وجود داشته باشد و داخل رسانه های اجتماعی از سایت بیشتر صحبت شده باشد، شانس نمایش سایت در نتایج جستجو هم بیشتر می شود. نکته قابل تامل این است که گوگل بوت هر دفعه تمام صفحات سایت را بررسی نمی کند؛ درنتیجه لازم است در قالب کمپین بازاریابی تان، به صورت آهسته و پیوسته فعالیت کنید. تهیه محتوای دست اول به صورت مستمر، توجه گوگل بوت را به سایت جلب می کند و شانس صفحات را برای کسب رنکینگ بهتر افزایش می دهد.
۳) گوگل بوت اول از همه به فایل robots.txt سر می زند تا دستورات خزش درون سایت را بررسی کند. درصورتی که مجاز به بررسی محتوای بعضی از صفحه ها نباشد، درون آن ها نمی خزد و اندیس گذاری شان نمی کند.
۴) گوگل بوت به کمک sitemap.xml تمام نقاط سایت را برای خزش و اندیس گذاری شناسائی می کند. ازآنجاکه سایت های مختلف به شکل مختلفی طراحی و پیاده سازی می شوند، خزنده ها به صورت خودکار داخل هر صفحه یا بخشی نمی شود.
۶ اصل اساسی بهینه سازی سایت برای گوگل بوت
ازآنجاکه بهینه سازی گوگل بوت یک مرحله قبل از بهینه سازی موتورهای جستجو انجام می شود، لازم است سایت را به صورتی سازماندهی کنیم که تا حد ممکن به ساده ترین شکل و با دقت بالا اندیس گذاری شود. روش کار به این صورت است:
• بیش از حد فانتزی عمل نکنید
موضوع این است که گوگل بوت نمی تواند جاوا اسکریپت، فریم ها، DHTML، فلش و Ajax را به خوبی قالب فسیل شده HTML بخواند. درحقیقت گوگل هنوز به صورت مشخص اعلام نکرده محتوای جاوا اسکریپت و Ajax را تا چه ابعادی parse می کند؛ درنتیجه بهتر است ریسک نکنیم و المان های مهم سایت و/ یا محتوای آن را در قالب دیگری پیاده سازی کنیم.
هرچند مت کاتس توضیح داده بود که خزنده ها می توانند جاوا اسکریپت را بخوانند، با این حال براساس شواهد موجود و راهکارهای مدیران وب گوگل، بهتر است به خاطر داشته باشیم:
درصورتی که داخل سایت از امکانات فانتزی مثل جاوا اسکریپت، کوکی، session ID، فریم، DHTML و یا فلش استفاده کنیم و درنتیجه نتوانیم تمام قسمت ها را داخل مرورگرهای متنی ببینیم، باید احتمال بدهیم که عنکبوت های موتورهای جستجو هم در خزیدن داخل سایت مشکل پیدا کنند.
بهتر است در مورد استفاده از جاوا اسکریپت کمی بدبین باشیم و فانتزی هایمان را در قسمت های دیگر پیاده سازی کنیم.
• فایل robots.txt را به بهترین نحو ویرایش کنید
هیچ وقت فکر کرده اید فایل robots.txt به چه دردی می خورد؟ استانداردهای سئو می گویند باید چنین فایلی داشته باشیم، اما چرا؟ یکی از دلایل این است که این فایل گوگل بوت بزرگ را هدایت می کند. گوگل بوت می تواند بودجه اش را در هرکدام از صفحات سایت خرج کند؛ این خود ما هستیم که باید مشخص کنیم بودجه را به کدام صفحات اختصاص بدهد. درصورتی که تمایل نداریم صفحه یا آرشیو خاصی از سایت خزیده شود، باید فایل robots.txt را براساس آن ویرایش کنیم. گوگل بوت هرچه بر روی بخش های غیر ضروری سایت وقت کمتری صرف کند، برای بخش های مهم تر بودجه بیشتری به دست می آورد.
پیشنهاد دوستانه من را قبول کنید و صفحات مهم سایت را از دسترس گوگل بوت خارج نکنید! گوگل بوت به صورت پیش فرض به درون همه چیز می خزد و همه چیز را اندیس گذاری می کند. وظیفه اصلی فایل robots.txt هم این است که به گوگل بوت اعلام کند کجا نرود. بهتر است گوگل بوت را آزاد کنید تا درون تمام بخش های مهم سایت بخزد.
• محتوای دست اول تهیه کنید
محتوایی که بیشتر خزیده شود، احتمالا ترافیک بیشتری هم به دست می آورد. هرچند که به نظر می رسد پیج رنک عامل تعیین کننده فرکانس خزش باشد، با این وجود در مورد صفحاتی که رنکینگ مشابهی دارند، تازه بودن محتوا نسبت به پیج رنک اولویت دارد.
به خصوص در مورد بهینه سازی گوگل بوت، لازم است همانطور که AJ Kohn معتقد است، ترتیبی بدهیم تا صفحاتی که رنکینگ پائینی دارند تا جای ممکن خزیده شوند تا بهترین نتیجه ممکن را بگیریم.
• صفحات infinite scrolling را بهینه سازی کنید
درصورتی که صفحاتتان قالب infinite scrolling دارند هم می توانید گوگل بوت را بهینه سازی کنید؛ فقط باید با مواردی که گوگل صراحتا اعلام کرده و داخل مقاله من لیست شده اند همگام بمانید.
• لینک دهی داخلی سایت را اصلاح کنید
ساختار لینک داخلی درست مثل نقشه ای است که به گوگل بوت کمک می کند داخل سایت راهش را پیدا کند. درنتیجه هرچه لینک های داخلی مان یکپارچه تر و منسجم تر باشند، کار گوگل بوت هم راحت تر می شود. یکی از دقیق ترین روش ها برای تحلیل ساختار لینک داخلی، این است که مسیر ابزار مدیران وب ترافیک جستجو لینک های داخلی را دنبال کنیم. درصورتی که صفحات بالای لیست، جزء مهم ترین صفحات سایت با بهترین محتوا هستند که قصد داریم داخل SERP نمایش داده شوند، همه چیز مرتب است.
• فایل sitemap.xml تهیه کنید
نقشه سایت یکی از مشخص ترین پیغام های صفحات به گوگل بوت است که مانند یک نقشه راه نشان می دهد چطور درون صفحات بخزد. درواقع خزش درون بعضی از سایت ها چندان ساده نیست. برخی از عوامل ممکن است گوگل بوت را سردرگم کنند یا به هنگام خزیدن درون سایت، از مسیر اصلی منحرفش کنند. نقشه های سایت در چنین مواقعی به کار می آیند و کمک می کنند تمام بخش های مهم سایت خزیده شوند.
تحلیل عملکرد گوگل بوت داخل سایت
یکی از مهم ترین مسائل درخصوص بهینه سازی گوگل بوت این است که بررسی عملکرد سایت و روند خزش آن نیاز به حدس و گمان ندارد و کاملا سرراست است. با استفاده از اطلاعات ارزشمند ابزار مدیران وب گوگل می توانیم به راحتی فعالیت های گوگل بوت را ارزیابی کنیم. چنین داده هایی حجم چندانی ندارند، اما می توانند مشکلات اساسی احتمالی در مسیر خزش سایت را با دقت بالائی مشخص کنند.
وارد ابزار مدیران وب گوگل بشوید و در بخش Crawl، لیست مشکلات شناسائی شده را بررسی کنید.
خطاهای خزش
درصورتی که در مسیر خزش درون سایت کوچکترین مشکلی وجود داشته باشد، در این قسمت مشاهده می کنیم. گوگل بوت به صورت پیوسته درون سایت ها می خزد و درصورتی که سایت مشکلی داشته باشد، به آن تعدادی کارت قرمز می دهد؛ مثلا ممکن است بعضی از صفحات که دفعه قبل در اندیس ها قرار گرفته بودند از بین رفته باشند. بررسی خطاهای خزش، گام اول در مسیر بهینه سازی گوگل بوت است. گاهی خطاهای خزش آن قدر کم تعداد یا کم اهمیت هستند که یک باره بر روی ترافیک یا رنکینگ صفحات تاثیر نمی گذارند. با این حال به مرور زمان باعث افت ترافیک می شوند. مثال زیر سایتی را نشان می دهد که دچار خطا شده است:
آمار خزش
گوگل دقیقا مشخص می کند بوتش هر روز چند صفحه و چند کیلوبایت از سایت را درنوردیده است. کمپین های بازایابی محتوا که به صورت آهسته و پیوسته حرکت می کنند و به صورت مستمر محتوای دست اول به سایت تزریق می کنند، در این بخش عملکرد بسیار مثبتی دارند.
Fetch as Google
با استفاده از قابلیت “Fetch as Google” می توانیم سایت یا تک تک صفحاتمان را آنطور که گوگل می بیند ببینیم.
URL های بلوکه شده
درصورتی که تصمیم دارید ببینید وضعیت فایل robots.txt سایت در چه حال است، بهتر است سری به بخش URL های بلوکه شده بزنید.
نقشه سایت
در بخش sitemap می توانیم یک نقشه سایت اضافه یا تست کنیم و ببینیم داخل نقشه چه محتوایی اندیس گذاری شده است.
پارامترهای URL
اندیس های پارامترهای URL هم ممکن است براساس حجم محتوای تکراری ایجاد شده در URL های دینامیک، مساله دار شده باشند. در این بخش می توانیم نحوه خزش درون URL های پارامترها و اندیس گذاری ها را برای گوگل پیکربندی کنیم. تمامی صفحات به صورت پیش فرض آن طور که گوگل بوت صلاح می داند خزیده می شوند:
