راهنمایی برای مسدود کردن همه ربات ها در اچ تی اکسس

[Business plan]

دوستان, بجای اینکه تک تک ربات های مزاحم رو مسدود کنیم هیچ کد و دستوری برای اچ تی اکسس هست برای مسدود کردن همه ربات ها بجز...؟
"همه بجز a"
ولی الان وارد کردن دستی هست یعنی "فقط a, b, c و..."
مثلا فقط ربات گوگل بتونه وارد بشه و هیچ ربات دیگه ای دسترسی نداشته باشه

 

[MOHAMMAD026_1]

این کد تست شده و جواب میده:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*bot.*$ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*Googlebot.*$
RewriteRule !^robots\.txt$ - [F]

همه ربات هارو بجز ربات گوگل، مسدود میکنه
یه قابلیت هم داره که همه ربات ها به robots.txt دسترسی دارن. حتی وقتی که گوگل بات نباشن!

 

[Business plan]

یه قابلیت هم داره که همه ربات ها به robots.txt دسترسی دارن. حتی وقتی که گوگل بات نباشن!

ممنون ولی این موردش چه کاربردی داره؟
به یک لینک هم دسترسی داشته باشن ممکنه بتونه اختلال ایجاد کنه, دیداس و...

 

[MOHAMMAD026_1]

ممنون ولی این موردش چه کاربردی داره؟
به یک لینک هم دسترسی داشته باشن ممکنه بتونه اختلال ایجاد کنه, دیداس و...

محدود کردن ربات ها از طریق robots.txt خیلی بهتر جواب میده تا اینکه بصورت فنی مسدود کنیم
وقتی robots.txt رو بخونن و بدونن که محدود هستن، دیگه سعی نمیکنن صفحات بیشتری رو crawl کنند (البته باید ربات از فایل فوق و دستورات پیروی کنه)
این در حالی هست که اگر بصورت فنی مسدود کنی، ربات فکر میکنه در اون لحظه سایت مشکل داره و هی مجدد تلاش میکنه و همین باعث بار اضافه رو سرور میشه

به یک لینک هم دسترسی داشته باشن ممکنه بتونه اختلال ایجاد کنه, دیداس و...

فایل های متنی مثل این، توسط وب سرور هندل میشن و معمولا توسط وب سرور کش میشن(چون فایل static هستن). بنابراین نمیشه حملات موثری روی این نوع فایل های ثابت انجام داد