exchanging

تشخیص کراولر گوگل و یاهو و ام اس ان از بازدید کننده معمولی

شروع موضوع توسط shervin ‏7 نوامبر 2007 در انجمن asp , ASP.NET

  1. shervin

    shervin ASP.net

    تاریخ عضویت:
    ‏26 ژوئن 2005
    نوشته ها:
    6,305
    تشکر شده:
    257
    محل سکونت:
    تهران
    الان حسین باز میاد میگه شروین تو چه چیزایی میخوای:p
    همونطور که میدونید کراولر ها هم مثل یه کاربر عادی صفحه رو باز میکنند و هیت هم میندازن
    اگه فوروم مای بی بی رو دیده باشید وقتی کراولر توی سایت هست اون پایین تو قسمت آمار مینویسه که کراولر فلان موتور جستجو تو سایت هست
    حالا من همینو میخوام:blink:
    ممنون
     
  2. H_R

    H_R مدیر بازنشسته

    تاریخ عضویت:
    ‏30 مارس 2005
    نوشته ها:
    3,285
    تشکر شده:
    15
    محل سکونت:
    North Pole
    شروین دقیقا میخواستم یه همیچنین چیزایی رو بگم !
    ولی واقعا سوالاتت آپگرید و داری به مراحل بالاتری میری ، تبریک میگم ، ببینم حالا چی داری میسازی ؟ به انرژی هسته ای که ربط نداره؟

    خوب تا جایی که من میدونم سرچ انجین های زیادی هست که ما فقط چند تاش رو میشناسیم که البته معمولا چند نوع کرولر بیشتر به سایت ما نمیاد ! مگه خیلی کار سایت درست باشه ! خوب همین که ما همون ها رو هم تشخیص بدیم کار بزرگی کردیم . خوب کافیه که رنج IP کرولر هاشون رو بدونم و قضیه حله ...

    حالا مشکل ما اینه که رنج IP ها رو از کجا میتونیم پیدا کنیم ؟! (تازه هر سرچ انجینی احتمالا چندین و چند رنج مختلف داره ! )
     
  3. Riazi

    Riazi کاربر تازه وارد

    تاریخ عضویت:
    ‏3 اکتبر 2007
    نوشته ها:
    5
    تشکر شده:
    0
    نیازی به دانستن IP کراولر نیست. کافی است Agent اون کراولر رو بررسی کنید.
    از این طریق خیلی راحت می تونید نرم افزار یا برنامه ای که داره سایتتون رو میبینه تشخیص بدید.
    مثلاً Agent زیر مشخص میکنه که داریم از IE نسخه 4 استفاده می کنیم:
    Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)

    کافی است به log مربوط به سایت خود نیز که توسط IIS یا Apache ساخته میشه هم یک نگاهی بکنید تا دقیقاً متوجه منظور من بشید.
     
  4. shervin

    shervin ASP.net

    تاریخ عضویت:
    ‏26 ژوئن 2005
    نوشته ها:
    6,305
    تشکر شده:
    257
    محل سکونت:
    تهران
    یه چیز سری دارم میسازم :دی
    کلا من بیشتر نظرم رو گوگل هست
    حالا گوگل و ام اس ان و اسک هم بشه که چه بهتر
    فکر نمیکنم رنج آیپی روش خیلی درستی باشه
    چون خود گوگل 30-40 تا سرور داره که از هرکدوم کراولر ممکنه بیاد
    ضمن اینکه ممکنه سرور جدید اضافه بشه با آیپی جدید
    یا به هر دلیلی آیپی همین قبلی ها عوض بشه
    چیز دیگه ای به ذهنت نمیرسه
     
  5. shervin

    shervin ASP.net

    تاریخ عضویت:
    ‏26 ژوئن 2005
    نوشته ها:
    6,305
    تشکر شده:
    257
    محل سکونت:
    تهران
    ممنون دوست عزیز
    متوجه منظورتون شدم
    خب این agent این سرچ انجینارو میدونید چیه؟
     
  6. shervin

    shervin ASP.net

    تاریخ عضویت:
    ‏26 ژوئن 2005
    نوشته ها:
    6,305
    تشکر شده:
    257
    محل سکونت:
    تهران
    خب فهمیدم
    با این یوزر ایجنت رو میخونیم
    HTML:
    Response.Write(Request.ServerVariables["HTTP_USER_AGENT"]);
    تو این سایتم لیست ایجنت ها هست
    http://www.user-agents.org/
     
  7. H_R

    H_R مدیر بازنشسته

    تاریخ عضویت:
    ‏30 مارس 2005
    نوشته ها:
    3,285
    تشکر شده:
    15
    محل سکونت:
    North Pole
    نکته جالبی بود ، شخصا اسفاده بردم :) شروین ما تورو نداشتیم چیکار میکردیم ؟! ;)
     
  8. shervin

    shervin ASP.net

    تاریخ عضویت:
    ‏26 ژوئن 2005
    نوشته ها:
    6,305
    تشکر شده:
    257
    محل سکونت:
    تهران
    البته این یوزر ایجنت هایی که تو اون سایت بود منکه نتونستم ازش استفاده کنم
    خودم دارم یوزر ایجنت هایی رو که میخوام تست میکنمو جمع میکنم
    الانم یه صفحه نوشتم که گوگلو بفرستم سراغش یوزر ایجنت گوگلم ازش د بیارم
    اینجوری هر وقت تغییر بکنه ایجنت این موتور ها من میفهمم

    پ.ن: یوزر فعال بخشم کن تا سوالای عجیب بیشتری بپرسم :D
     
  9. farbod_123

    farbod_123 Registered User

    تاریخ عضویت:
    ‏20 سپتامبر 2005
    نوشته ها:
    736
    تشکر شده:
    0
    میدونستین خیلی سایتا به کراولر ها اجازه میدن بدون یوزر و پسور مختوا رو ببینین ؟
    میدونستین برا فایرفاکس یه اد ان هست که شما رو جای اون کراولر ها جا میزنه و شما بدون یوزر و پسورد به اطلاعات دست پیدا میکنین :D?
     
  10. shervin

    shervin ASP.net

    تاریخ عضویت:
    ‏26 ژوئن 2005
    نوشته ها:
    6,305
    تشکر شده:
    257
    محل سکونت:
    تهران
    میدونی اونی که اینقدر بی اطلاع هست که چنین اجازه ایمیده سایتش ارزش نداره بری ببینی چی داره؟ :D
     
  11. H_R

    H_R مدیر بازنشسته

    تاریخ عضویت:
    ‏30 مارس 2005
    نوشته ها:
    3,285
    تشکر شده:
    15
    محل سکونت:
    North Pole
    میدونستید که وب کلاینت خود دات نت اجازه میده که یوزر ایجنتت رو خودت انتخاب کنی در نتیجه میتونیم یه برنامه کوچولو تحت دات نت بنوسیسم که بتونه بدون لاگین توی یه سری از سایت ها بره ؟!

    میدونستی که اگر دو جور برنامه فروم درست حسابی هم این قابلیت رو داشته باشند کلی کار مفیدی کردیم ;)

    فربد جان شما میتونی چند تا از این سایت ها رو مثال بزنی ؟!:blush:
     
  12. Graveworm

    Graveworm Registered User

    تاریخ عضویت:
    ‏23 می 2005
    نوشته ها:
    1,063
    تشکر شده:
    12
    محل سکونت:
    Tehran
    منظور از "بدون User pass محتوا رو دیدن" یعنی چی؟؟ منظور سیستم auth و لاگین به سایت از session و کوکی ها ؟

    حداقل میدونم گوگل چنین کاری نمیکنه :/
     
  13. avajang.com .leftavajang.com.right
  14. zibafilm

    zibafilm کاربر تازه وارد

    تاریخ عضویت:
    ‏27 می 2014
    نوشته ها:
    53
    تشکر شده:
    5
    محل سکونت:
    Tehran
    آی پی بیشتر کراولرهای گوگل تو رنج آی پی 72.46.141.77 هستند