درک چگونگی پیدا شدن محتوای جدید توسط موتورهای جستجو و تفسیر مکان این صفحات اهمیت فراوانی دارد. یک راه که موتورهای جستجو محتوای جدید را شناسایی میکنند با دنبال کردن لینک است، مانند من و شما که بر لینک کلیک میکنیم و از صفحه ای به صفحه دیگر میرویم، موتورهای جستجو نیز همین کار را برای پیدا کردن و ایندکس نمودن محتوا ها انجام میدهند. آنها بر لینکهایی که پیدا میکنند کلیک می نمایند. اگر میخواهید مطمئن بشوید که موتورهای جستجو محتوای جدید شما را فهرست میکند تنها کافی است که لینکی به آن اشاره داشته باشد. یک راه دیگری که موتورهای جستجو محتوا را پیدا میکند از طریق سایت مپ XML میباشد.سایت مپ XML در واقع لیستی از صفحات محتوای شما در حالت خاصی است که موتورهای جستجو به راحتی میتوانند ان را بخوانند. شما یا وب مستر سایتتان میتوانید با مراجعه به سایت sitemaps.org اطلاعات بیشتر در مورد سایت مپ XML کسب کنید. وقتی که نقشه ی سایت را به وجود آوردید، میتوانید مستقیما آنها را در موتورهای جستجو ثبت نمایید و به این صورت وقتی که محتوای جدیدی به سایت می افزایید آنها آگاه میشوند. موتورهای جستجو همیشه برای پیدا کردن محتوای بیشتر در بین لینکهای شما میچرخند. با وجودی که این چیز خوبی است ولی گاها ممکن است شما نخواهید که موتورهای جستجو صفحه ی خاصی را پیدا کنند.
جلوگیری از ایندکس شدن صفحات
در مورد صفحات آزمون و نواحی اعضای سایت فکر کنید که نمیخواهید در صفحه ی نتایج جستجو ظاهر شود. برای کنترل چگونگی حرکت موتورهای جستجو در سایتتان شما میتوانید از قوانینی به نام فایل robots.txt استفاده نمایید. این فایل را شما و یا وب مستر میتواند در فولدر روت سایت بسازد و وقتی که موتور جستجو آن را ببیند، آن را خوانده و از قانون شما پیروی میکند. شما میتوانید قوانینی را برای مرورگرها و موتورهای جستجوی مختلف تعیین کنید و شما میتوانید مشخص کنید که کدام بخش از سایتتان قابل مشاهده باشد یا نباشد .این کار کمی تخصصی است و برای کسب اطلاعات بیشتر در مورد ساخت robots.txt به سایت robotstxt.org مراجعه نمایید. وقتی که موتور جستجو محتوای شما را پیدا کرد، آدرس آن را ایندکس میکند. آدرسها اساسا مکان صفحه وب در اینترنت میباشند .حتما هر صفحه سایتتان باید یک آدرس منحصر به فرد داشته باشد تا موتورهای جستجو بتوانند آن را از صفحات دیگر تفکیک کنند، همچنین ساختار آدرس شما کمک شایانی به موتور جستجو برای درک ساختار کلی وب سایت میکند. راه های زیادی وجود دارد که موتورهای جستجو میتوانند صفحات را پیدا نمایند و با اینکه شما نمیتوانید چگونگی عملکرد موتورهای جستجو را کنترل نمایید ولی با ساخت لینکهای منحصر به فرد و ساختار بندی شده و نقشه های سایت و فایلهای robots.txt شما میتوانید هر کاری که برای فهرست شدن صفحات نیاز هست را انجام دهید. تنظیم دقیق فایل robots.txt میتواند تاثیر بسیار خوبی در سئو سایت و بهینه سازی سایت شما داشته باشد.
منبع : پرندسایت
جلوگیری از ایندکس شدن صفحات
در مورد صفحات آزمون و نواحی اعضای سایت فکر کنید که نمیخواهید در صفحه ی نتایج جستجو ظاهر شود. برای کنترل چگونگی حرکت موتورهای جستجو در سایتتان شما میتوانید از قوانینی به نام فایل robots.txt استفاده نمایید. این فایل را شما و یا وب مستر میتواند در فولدر روت سایت بسازد و وقتی که موتور جستجو آن را ببیند، آن را خوانده و از قانون شما پیروی میکند. شما میتوانید قوانینی را برای مرورگرها و موتورهای جستجوی مختلف تعیین کنید و شما میتوانید مشخص کنید که کدام بخش از سایتتان قابل مشاهده باشد یا نباشد .این کار کمی تخصصی است و برای کسب اطلاعات بیشتر در مورد ساخت robots.txt به سایت robotstxt.org مراجعه نمایید. وقتی که موتور جستجو محتوای شما را پیدا کرد، آدرس آن را ایندکس میکند. آدرسها اساسا مکان صفحه وب در اینترنت میباشند .حتما هر صفحه سایتتان باید یک آدرس منحصر به فرد داشته باشد تا موتورهای جستجو بتوانند آن را از صفحات دیگر تفکیک کنند، همچنین ساختار آدرس شما کمک شایانی به موتور جستجو برای درک ساختار کلی وب سایت میکند. راه های زیادی وجود دارد که موتورهای جستجو میتوانند صفحات را پیدا نمایند و با اینکه شما نمیتوانید چگونگی عملکرد موتورهای جستجو را کنترل نمایید ولی با ساخت لینکهای منحصر به فرد و ساختار بندی شده و نقشه های سایت و فایلهای robots.txt شما میتوانید هر کاری که برای فهرست شدن صفحات نیاز هست را انجام دهید. تنظیم دقیق فایل robots.txt میتواند تاثیر بسیار خوبی در سئو سایت و بهینه سازی سایت شما داشته باشد.
منبع : پرندسایت
