پس از طی کردن مراحل طراحی سایت و
سئو، معمولا مشکلات کوچک و بزرگ بسیاری بر سر راه وبمسترها سبز میشوند. یکی از این مشکلات ایندکس نشدن صفحات سایت در گوگل و سایر موتورهای جستجو میباشد. اولین قدم برای گرفتن ورودی از گوگل، ایندکس شدن صفحات سایت در گوگل است و اگر این اتفاق رخ ندهد، وب سایت شما حتی در صفحات آخر نتایج گوگل نیز نمایش داده نمیشود.
در اینجا دو مساله وجود دارد:
- صفحات سایت کند و با تاخیر زیاد در گوگل ایندکس میشوند
- صفحات سایت در گوگل ایندکس نمیشوند
اگر شما با مشکل اول دست به گریبان هستید یعنی صفحات سایت شما در گوگل ایندکس میشوند اما سرعت ایندکس صفحات بسیار پایین است و مدت زمان زیادی طول میکشد تا گوگل صفحات جدید سایت شما را ایندکس کند، میتوانید راهکارهای موجود در نوشتهی ۱۱ نکته برای افزایش سرعت ایندکس صفحات سایت را مطالعه کرده و به کار بگیرید. اما اگر با مشکل دوم مواجه شدهاید یعنی صفحات سایت شما ایندکس نمیشوند، در ادامهی این نوشته با ما همراه باشید.
دلایل ایندکس نشدن صفحات سایت در گوگل
در ابتدا باید بررسی کنیم که آیا در حال حاضر صفحهای از وب سایت شما در گوگل ایندکس شده است یا خیر. برای این کار عبارت site:yoursite.com را در گوگل جستجو کنید (به جای yoursite.com آدرس وب سایت خود را وارد کنید). با جستجوی این عبارت، لیست تمامی صفحات وب سایت شما که توسط گوگل ایندکس شدهاند را مشاهده میکنید.
پس از بررسی وضعیت ایندکس صفحات با یکی از دو حالت زیر مواجه شویم:
- ممکن است هیچکدام از صفحات وب سایت ایندکس نشده باشند
- ممکن است فقط بخشی از صفحات مانند تگها و یا دستهها ایندکس نشده باشند
اگر هیچکدام از صفحات سایت ایندکس نمیشوند:
اگر وب سایت شما قبلا در گوگل ایندکس شده اما پس از گذشت مدتی از فعالیت سایتتان ناگهان تمامی ایندکسها حذف شده و ورودی سایت شما از گوگل به شدت کاهش یافته است، احتمالا با بحرانی به نام پنالتی گوگل (پنالایز) مواجه شدهاید که پرداختن به این موضوع خارج از بحث این نوشته میباشد.
اما اگر مدتی از راه اندازی وب سایت شما گذشته و هنوز هیچکدام از صفحات وب سایتتان ایندکس نشده است، باید دلایل زیر را به ترتیب بررسی کنید:
وجود متاتگ robots با مقدار noindex در هدر سایت
یکی از مهمترین دلایل ایندکس نشدن صفحات در گوگل، وجود قطعه کد زیر در هدر سایت است:
<meta name="robots" content="noindex,follow"/>
برای اینکه بدانید این کد در هدر سایت شما وجود دارد یا خیر، با مرورگر کروم یا فایرفاکس وارد وب سایت خود شده و پس از کلیک راست بر روی صفحه، بر روی گزینهی View page source کلیک کنید (یا از کلید ترکیبی ctrl+u استفاده کنید). در صفحهی جدید کدهای وب سایت خود را مشاهده میکنید که میتوانید با جستجوی عبارت robots در این صفحه، مقادیر این متاتگ را بررسی کنید و در صورتی که با عبارت noindex مواجه شدین، باید آن را از طریق ویرایش فایلهای وب سایت خود و یا ویرایش تنظیمات افزونهی سئو اصلاح کنید.
در صورتی که قصد کسب درآمد از شبکههای اجتماعی را دارید، توصیه میکنم حتما کتاب الکترونیکی رایگان هفت نکتۀ طلایی در بازاریابی با اینستاگرام را دریافت کرده و مطالعه کنید
وجود دستورات اشتباه در فایل robots.txt
فایل robots.txt در ریشهی وب سایت قرار دارد و از طریق آدرس yoursite.com/robots.txt میتوانید محتویات آن را مشاهده کنید. هرگاه در این فایل دستور Disallow را مشاهده کردین، دقت کنید که برای چه مسیری از آن استفاده شده است زیرا این دستور باعث جلوگیری از دسترسی رباتهای گوگل به آن مسیر میشود. یکی از دلایل ایندکس نشدن صفحات سایت، استفادهی نادرست از دستور Disallow میباشد.
قبلا در مطلبی با عنوان راهنمای بهینه سازی فایل robots.txt به نکات مهمی در خصوص ایجاد و بهینه سازی این فایل اشاره کردهام که پیشنهاد میکنم حتما این مقاله را مطالعه کنید.
تنظیمات اشتباه در فایل htaccess
ممکن است دستوراتی در فایل htaccess وب سایت شما قرار داشته باشد که مانع از ایندکس شدن صفحات سایت در گوگل شود. برای مشاهدهی محتویات فایل htaccess میتوانید از کنترل پنل هاست خود اقدام کنید.
با توجه به پیچیدگی دستورات htaccess توصیه میکنم از یک متخصص کمک بگیرید زیرا ممکن است با ویرایش این فایل، اشکالاتی در وب سایت شما ایجاد شود.
اگر فقط بخشی از صفحات مانند تگها و یا دستهها ایندکس نمیشود:
در این صورت تمامی موارد بالا را برای آدرس و مسیر مورد نظر بررسی کنید. به عنوان مثال اگر فقط دسته بندیهای شما ایندکس نمیشوند، وارد آدرس یکی از دسته بندیهای خود شده و با بررسی کدهای صفحه با استفاده از دستور Ctrl+U یا همان View source گرفتن از صفحه، وجود متاتگ noindex را بررسی کنید. اگر متاتگ robots با مقدار noindex وجود داشته باشد، علت ایندکس نشدن صفحات وب سایتتان دقیقا همین است.
بنابراین بررسی کنید که این کد به چه دلیل به صفحات مورد نظر اضافه شده است و با حذف این متاتگ، مشکل را برطرف کنید.
نتیجه گیری
بجز عوامل بالا، عامل دیگری وجود ندارد که به قطعیت باعث جلوگیری از ایندکس صفحات سایت شود اما عواملی مانند وجود نقشه سایت، بهینه سازی ساختار پیوند یکتا، ثبت سایت در سرچ کنسول (Search Console) و… میتوانند در سریعتر شدن ایندکس صفحات وب سایتتان در گوگل موثر باشند.