برگزیده های پرشین تولز

تشخیص کراولر گوگل و یاهو و ام اس ان از بازدید کننده معمولی

shervin

ASP.net
کاربر قدیمی پرشین تولز
تاریخ عضویت
26 ژوئن 2005
نوشته‌ها
6,353
لایک‌ها
261
سن
38
محل سکونت
تهران
الان حسین باز میاد میگه شروین تو چه چیزایی میخوای:p
همونطور که میدونید کراولر ها هم مثل یه کاربر عادی صفحه رو باز میکنند و هیت هم میندازن
اگه فوروم مای بی بی رو دیده باشید وقتی کراولر توی سایت هست اون پایین تو قسمت آمار مینویسه که کراولر فلان موتور جستجو تو سایت هست
حالا من همینو میخوام:blink:
ممنون
 

H_R

مدیر بازنشسته
تاریخ عضویت
30 مارس 2005
نوشته‌ها
3,298
لایک‌ها
17
سن
42
محل سکونت
North Pole
شروین دقیقا میخواستم یه همیچنین چیزایی رو بگم !
ولی واقعا سوالاتت آپگرید و داری به مراحل بالاتری میری ، تبریک میگم ، ببینم حالا چی داری میسازی ؟ به انرژی هسته ای که ربط نداره؟

خوب تا جایی که من میدونم سرچ انجین های زیادی هست که ما فقط چند تاش رو میشناسیم که البته معمولا چند نوع کرولر بیشتر به سایت ما نمیاد ! مگه خیلی کار سایت درست باشه ! خوب همین که ما همون ها رو هم تشخیص بدیم کار بزرگی کردیم . خوب کافیه که رنج IP کرولر هاشون رو بدونم و قضیه حله ...

حالا مشکل ما اینه که رنج IP ها رو از کجا میتونیم پیدا کنیم ؟! (تازه هر سرچ انجینی احتمالا چندین و چند رنج مختلف داره ! )
 

Riazi

کاربر تازه وارد
تاریخ عضویت
3 اکتبر 2007
نوشته‌ها
5
لایک‌ها
0
نیازی به دانستن IP کراولر نیست. کافی است Agent اون کراولر رو بررسی کنید.
از این طریق خیلی راحت می تونید نرم افزار یا برنامه ای که داره سایتتون رو میبینه تشخیص بدید.
مثلاً Agent زیر مشخص میکنه که داریم از IE نسخه 4 استفاده می کنیم:
Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)

کافی است به log مربوط به سایت خود نیز که توسط IIS یا Apache ساخته میشه هم یک نگاهی بکنید تا دقیقاً متوجه منظور من بشید.
 

shervin

ASP.net
کاربر قدیمی پرشین تولز
تاریخ عضویت
26 ژوئن 2005
نوشته‌ها
6,353
لایک‌ها
261
سن
38
محل سکونت
تهران
شروین دقیقا میخواستم یه همیچنین چیزایی رو بگم !
ولی واقعا سوالاتت آپگرید و داری به مراحل بالاتری میری ، تبریک میگم ، ببینم حالا چی داری میسازی ؟ به انرژی هسته ای که ربط نداره؟

خوب تا جایی که من میدونم سرچ انجین های زیادی هست که ما فقط چند تاش رو میشناسیم که البته معمولا چند نوع کرولر بیشتر به سایت ما نمیاد ! مگه خیلی کار سایت درست باشه ! خوب همین که ما همون ها رو هم تشخیص بدیم کار بزرگی کردیم . خوب کافیه که رنج IP کرولر هاشون رو بدونم و قضیه حله ...

حالا مشکل ما اینه که رنج IP ها رو از کجا میتونیم پیدا کنیم ؟! (تازه هر سرچ انجینی احتمالا چندین و چند رنج مختلف داره ! )
یه چیز سری دارم میسازم :دی
کلا من بیشتر نظرم رو گوگل هست
حالا گوگل و ام اس ان و اسک هم بشه که چه بهتر
فکر نمیکنم رنج آیپی روش خیلی درستی باشه
چون خود گوگل 30-40 تا سرور داره که از هرکدوم کراولر ممکنه بیاد
ضمن اینکه ممکنه سرور جدید اضافه بشه با آیپی جدید
یا به هر دلیلی آیپی همین قبلی ها عوض بشه
چیز دیگه ای به ذهنت نمیرسه
 

shervin

ASP.net
کاربر قدیمی پرشین تولز
تاریخ عضویت
26 ژوئن 2005
نوشته‌ها
6,353
لایک‌ها
261
سن
38
محل سکونت
تهران
نیازی به دانستن IP کراولر نیست. کافی است Agent اون کراولر رو بررسی کنید.
از این طریق خیلی راحت می تونید نرم افزار یا برنامه ای که داره سایتتون رو میبینه تشخیص بدید.
مثلاً Agent زیر مشخص میکنه که داریم از IE نسخه 4 استفاده می کنیم:
Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)

کافی است به log مربوط به سایت خود نیز که توسط IIS یا Apache ساخته میشه هم یک نگاهی بکنید تا دقیقاً متوجه منظور من بشید.
ممنون دوست عزیز
متوجه منظورتون شدم
خب این agent این سرچ انجینارو میدونید چیه؟
 

shervin

ASP.net
کاربر قدیمی پرشین تولز
تاریخ عضویت
26 ژوئن 2005
نوشته‌ها
6,353
لایک‌ها
261
سن
38
محل سکونت
تهران
خب فهمیدم
با این یوزر ایجنت رو میخونیم
HTML:
Response.Write(Request.ServerVariables["HTTP_USER_AGENT"]);
تو این سایتم لیست ایجنت ها هست
http://www.user-agents.org/
 

H_R

مدیر بازنشسته
تاریخ عضویت
30 مارس 2005
نوشته‌ها
3,298
لایک‌ها
17
سن
42
محل سکونت
North Pole
نکته جالبی بود ، شخصا اسفاده بردم :) شروین ما تورو نداشتیم چیکار میکردیم ؟! ;)
 

shervin

ASP.net
کاربر قدیمی پرشین تولز
تاریخ عضویت
26 ژوئن 2005
نوشته‌ها
6,353
لایک‌ها
261
سن
38
محل سکونت
تهران
نکته جالبی بود ، شخصا اسفاده بردم :) شروین ما تورو نداشتیم چیکار میکردیم ؟! ;)
البته این یوزر ایجنت هایی که تو اون سایت بود منکه نتونستم ازش استفاده کنم
خودم دارم یوزر ایجنت هایی رو که میخوام تست میکنمو جمع میکنم
الانم یه صفحه نوشتم که گوگلو بفرستم سراغش یوزر ایجنت گوگلم ازش د بیارم
اینجوری هر وقت تغییر بکنه ایجنت این موتور ها من میفهمم

پ.ن: یوزر فعال بخشم کن تا سوالای عجیب بیشتری بپرسم :D
 

farbod_123

Registered User
تاریخ عضویت
20 سپتامبر 2005
نوشته‌ها
736
لایک‌ها
0
میدونستین خیلی سایتا به کراولر ها اجازه میدن بدون یوزر و پسور مختوا رو ببینین ؟
میدونستین برا فایرفاکس یه اد ان هست که شما رو جای اون کراولر ها جا میزنه و شما بدون یوزر و پسورد به اطلاعات دست پیدا میکنین :D?
 

shervin

ASP.net
کاربر قدیمی پرشین تولز
تاریخ عضویت
26 ژوئن 2005
نوشته‌ها
6,353
لایک‌ها
261
سن
38
محل سکونت
تهران
میدونی اونی که اینقدر بی اطلاع هست که چنین اجازه ایمیده سایتش ارزش نداره بری ببینی چی داره؟ :D
 

H_R

مدیر بازنشسته
تاریخ عضویت
30 مارس 2005
نوشته‌ها
3,298
لایک‌ها
17
سن
42
محل سکونت
North Pole
میدونی اونی که اینقدر بی اطلاع هست که چنین اجازه ایمیده سایتش ارزش نداره بری ببینی چی داره؟ :D

میدونستین خیلی سایتا به کراولر ها اجازه میدن بدون یوزر و پسور مختوا رو ببینین ؟
میدونستین برا فایرفاکس یه اد ان هست که شما رو جای اون کراولر ها جا میزنه و شما بدون یوزر و پسورد به اطلاعات دست پیدا میکنین :D?

میدونستید که وب کلاینت خود دات نت اجازه میده که یوزر ایجنتت رو خودت انتخاب کنی در نتیجه میتونیم یه برنامه کوچولو تحت دات نت بنوسیسم که بتونه بدون لاگین توی یه سری از سایت ها بره ؟!

میدونستی که اگر دو جور برنامه فروم درست حسابی هم این قابلیت رو داشته باشند کلی کار مفیدی کردیم ;)

فربد جان شما میتونی چند تا از این سایت ها رو مثال بزنی ؟!:blush:
 

Graveworm

Registered User
تاریخ عضویت
23 می 2005
نوشته‌ها
1,071
لایک‌ها
12
محل سکونت
Tehran
منظور از "بدون User pass محتوا رو دیدن" یعنی چی؟؟ منظور سیستم auth و لاگین به سایت از session و کوکی ها ؟

حداقل میدونم گوگل چنین کاری نمیکنه :/
 

zibafilm

کاربر تازه وارد
تاریخ عضویت
27 می 2014
نوشته‌ها
55
لایک‌ها
5
محل سکونت
Tehran
آی پی بیشتر کراولرهای گوگل تو رنج آی پی 72.46.141.77 هستند
 
بالا