برگزیده های پرشین تولز

راهنمایی برای شماسایی ربات و خزش بعضی از سایت ها

Business plan

کاربر فعال کسب درآمد از اینترنت
کاربر فعال
تاریخ عضویت
30 سپتامبر 2015
نوشته‌ها
10,714
لایک‌ها
13,908
محل سکونت
❤️️ ❤️️ ❤️️ ❤️️ ❤️️
بجز موتور های جستجو بعضی از سایت ها با ربات و خزش وارد سایت مقابل میشن مثلا تعدادی از سایت های اسپم - چطور میشه این ربات ها رو شناسایی کرد ؟ مثلا لینک فلان سایت را داشته باشیم و ربات سایت را پیدا کنیم . چطوری باید این کار رو کرد؟
 

golten

فروشنده معتبر
فروشنده معتبر
تاریخ عضویت
7 جولای 2018
نوشته‌ها
123
لایک‌ها
88
خیلی ساده
در زبان پی اچ پی با دستور
PHP:
<?php echo $_SERVER['HTTP_USER_AGENT']; ?>
می تونی اجنت کاربر رو بررسی کنی
در این دستور اگر کلمه bot دیدی یعنی کاربر جاری یه باته
 
Last edited:

Business plan

کاربر فعال کسب درآمد از اینترنت
کاربر فعال
تاریخ عضویت
30 سپتامبر 2015
نوشته‌ها
10,714
لایک‌ها
13,908
محل سکونت
❤️️ ❤️️ ❤️️ ❤️️ ❤️️
خیلی ساده
در زبان پی اچ پی با دستور
PHP:
<?php echo $_SERVER['HTTP_USER_AGENT']; ?>
می تونی اجنت کاربر رو بررسی کنی
در این دستور اگر کلمه bot دیدی یعنی کاربر جاری یه باته
ممنون . میشه بیشتر راهنمایی کنید یعنی این کد را کجا وارد کنم؟ منظورتون پیدا کردن این مورد در کد های سایت هست یا باید جایی واردش کنم؟
 

golten

فروشنده معتبر
فروشنده معتبر
تاریخ عضویت
7 جولای 2018
نوشته‌ها
123
لایک‌ها
88
دقیقا می خوای چیکار کنی؟
مثلا اگه متوجه بشی بات هستش چه کاری می خوای انجام بشه؟
 

Business plan

کاربر فعال کسب درآمد از اینترنت
کاربر فعال
تاریخ عضویت
30 سپتامبر 2015
نوشته‌ها
10,714
لایک‌ها
13,908
محل سکونت
❤️️ ❤️️ ❤️️ ❤️️ ❤️️
دقیقا می خوای چیکار کنی؟
مثلا اگه متوجه بشی بات هستش چه کاری می خوای انجام بشه؟
بزارمش اچ تی اکسس مسدودش کنم
میدونم چطور مسدودش کنم فقط دنبال پیدا کردنش هستم
باید بگردم دنبال این عبارت که گفتید داخل کد های سایت طرف مقابل؟
 

golten

فروشنده معتبر
فروشنده معتبر
تاریخ عضویت
7 جولای 2018
نوشته‌ها
123
لایک‌ها
88
ببین مسدود کردنش کار خوبی نیست چون گوگل و بینگ و ... هم بات هستن
اینو باید داخل فایل index.php بذاری. البته اگر سایتت با php نوشته شده
اگر با asp نوشته شده باشه باید معادل کد رو ببینی
این کد کاملشه:
PHP:
<?php
if ( strpos($_SERVER['HTTP_USER_AGENT'], 'bot')  ) {
    die();
}
?>
البته تستش نکردم
این کد حتی بات سرچ انجین و ... رو هم بلاک میکنه برای اینکه این کارو نکنه باید یه کم روش کار کرد
 

Mostafa313

کاربر قدیمی پرشین تولز
کاربر قدیمی پرشین تولز
تاریخ عضویت
10 سپتامبر 2003
نوشته‌ها
482
لایک‌ها
638
بله اگه این کد رو تغییر بدین که بات های سرچ انجین های معروف رو جدا کنه عالی میشه
 

Business plan

کاربر فعال کسب درآمد از اینترنت
کاربر فعال
تاریخ عضویت
30 سپتامبر 2015
نوشته‌ها
10,714
لایک‌ها
13,908
محل سکونت
❤️️ ❤️️ ❤️️ ❤️️ ❤️️
کد زیر که در اچ تی اکسس استفاده میشه
کد:
RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} .**bot* [OR]

RewriteCond %{HTTP_USER_AGENT} .***Bot.*

RewriteRule ^(.*)$ domain name . com [L,R=301]

Order Allow,

DenyAllow from all

Deny from ip

Deny from ....
و کد زیر که در robot.txt میزارن
کد:
User-agent: * Disallow: User-agent: ***bot Disallow: /

User-agent: ***Bot Disallow: /

User-agent: *** Disallow: /

User-agent: ***bot Disallow: /

User-agent: ***Bot Disallow: /
حالا سوال من این هست عبارت bot*** چطور انحصاری هست و اشتباه گرفته نمیشه؟ مثلا آدرس دامنه انحصاریه حالا اینجا فقط اسم ربات استفاده میکشه - چطوری هست استانداردش و چه جوری مسدودش میکنه فقط با اسم ربات بدون هیچگونه آدرس انحصاری که اشتباه گرفته نشه...
آی پی سایت ثابت هست یا متغریه؟ مطمئن نیستم آی پی سایت ثابت هست یا نه و دستورات اچ تی اکسس اطمینان دهنده هست یا اینم راه دور زدن داره؟
 

zgg123

کاربر فعال عکس و عکاسی
کاربر فعال
تاریخ عضویت
12 ژانویه 2010
نوشته‌ها
9,479
لایک‌ها
37,684
سن
34
محل سکونت
☼_☼
خب طرف که کپی میکنه که نمیاد یوزر ایجنت رو بزنه بات مسلما
 

Business plan

کاربر فعال کسب درآمد از اینترنت
کاربر فعال
تاریخ عضویت
30 سپتامبر 2015
نوشته‌ها
10,714
لایک‌ها
13,908
محل سکونت
❤️️ ❤️️ ❤️️ ❤️️ ❤️️

zgg123

کاربر فعال عکس و عکاسی
کاربر فعال
تاریخ عضویت
12 ژانویه 2010
نوشته‌ها
9,479
لایک‌ها
37,684
سن
34
محل سکونت
☼_☼
کپی و اسپم صرفا برای نمونه کار و مثال بود مگرنی خیلی مدل ربات هست
این یه پارامتر هست که طرف تو درخواست مینویسه میتونه میتونه ایجنت هر مرورگر و دیوایسی رو بفرسته برات
 

Business plan

کاربر فعال کسب درآمد از اینترنت
کاربر فعال
تاریخ عضویت
30 سپتامبر 2015
نوشته‌ها
10,714
لایک‌ها
13,908
محل سکونت
❤️️ ❤️️ ❤️️ ❤️️ ❤️️
اگر بجای این ها کد زیر را بزارم دسترسی مسدود میشه یا باز هم میتونه وارد بشه؟
کد:
RewriteRule ^(.*)$ http://www.site.com/ [L,R=301]
 

Business plan

کاربر فعال کسب درآمد از اینترنت
کاربر فعال
تاریخ عضویت
30 سپتامبر 2015
نوشته‌ها
10,714
لایک‌ها
13,908
محل سکونت
❤️️ ❤️️ ❤️️ ❤️️ ❤️️
کد زیر اون قسمت نشون داده شده برای ریدایرکت هست یا مسدود کردن؟
کد:
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} .**Bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .**Bot.*
►►►►  RewriteRule ^(.*)$ http://www.site.com/ [L,R=301]  ◄◄◄◄

Order Allow,Deny
Allow from all
Deny from ***ip
Deny from ....
 
بالا