اولا : تعریف سایت اسمپر یعنی سایتی که هیچ محتوای خاصی نداشته باشد و تنها محتوای آن محتوای خود موتورهای جستجو و کلمات سرچ شده کاربران باشد . لذا بعضی از سایتهایی که در لیست آمده جزو سایت های اسپمر نبوده و بنا به رقابت اسپمی که در بازار جستجوی وبی ایران ایجاد شده برای ابقا در این بازار مجبور شده اند از سیستم Tagging استفاده کنند . اگر گوگل این امکان را از اول به هیچ سایتی نمیداد الان خیلی از سایتهای مجبور نبودن به خاطر اینکه از رقیب عقب نمانند دست به Tagging گسترده بزنند .
البته به نظرم یکی از این سایت ها که مربوط به اخبار IT میشه و نمیخوام نامش رو بیارم جزو اولین سایتهایی بود که دست به تگینگ گسترده زد که البته الگوی آن را هم از سایتهای کرک و warez مثل ddl2.com گرفته شده بود .
این مساله باعث شد دیگر وب مسترها هم دست به این کار بزنند و این رقابت روز به روز بیشتر و بیشتر شود به طوریکه در حال حاضر کنترل به صورت collabrative filtering به طور کامل قابل کنترل نیست و باید از الگوریتم های هوشمند مثل شبکه عصبی یا فازی و یا داده کاوی برای شناسایی سایت های متخلف استفاده کرد .
دوما : در مورد جلوگیری از بوجودن آمدن سایتهایی در آینده هم همه مشکل ها از این جا ناشی می شه که گوگل در URL مربوط به Referrer عبارت جستجو شده را با متغیر q میاره و به سایت ها لینک مستقیم میکنه
PHP:
http://www.google.com/search?hl=fa&q=test
این باعث میشه سایت های اسپمر از مقدار q که از Referrer میخونن برای خواندن عبارت جستجو شده کاربر استفاده کنن و اون رو در دیتابیس ذخیره کنن و توسط خود گوگل سرچش کنن و تو سایت نشون بدن !
چند راه حل بسیار ساده داره که البته گوگل در مورد اعضای Login شده در یکی از سرویس های گوگل این رو بکار میبره اما در مورد کاربران Login نشده بکار نمیبره :
1- به جای لینک مستقیم آیتم های موجود در result یک لینک واسط استفاده کنه و URL ها رو به یک صفحه واسط بفرسته و مقدار URL رو هم به وسیله یک الگوریتم کدینگ مثل base64
مثلا وقتی شما سرچ میکنی "سایت مفید"
و نتایج میاد به این صورت
payamsara.com
7rang.ir
....
کافیه به جای اینکه لینک مستقیم به paymsara.com بده به این صورت مثلا لینک بده
link.php?url=URLEncoded که منظور از در عمل مثلا میشه link.php?url=FFJRJRRXXKS
این باعث میشه که در مقدار REFERRER عبارت جستجو وجود نداشته باشه ! این طوری دیگه سایت های نمیتونن مقدار جستجوی کاربر رو بخونن !
2- اگر موقعی که کاربر دکمه جستجو رو میزنه از متد POST به جای متد GET استفاده کنه که خوب بعید میدونم گوگل همیچین کاری بکنه چون روش مرسومی نیست