-
کد جلوگیری از bad_bot و spider توسط .htaccess
کد زیر رو در فایل .htaccess زیر کدی که جناب فیروزمندان برای جلوگیری ارائه دادن قرار بدید:
کد:
SetEnvIfNoCase user-agent "^Accoona" bad_bot
SetEnvIfNoCase user-agent "^BlackWidow" bad_bot
SetEnvIfNoCase user-agent "^Bot\ mailto:craftbot@yahoo.com" bad_bot
SetEnvIfNoCase user-agent "^ChinaClaw" bad_bot
SetEnvIfNoCase user-agent "^ConveraCrawler" bad_bot
SetEnvIfNoCase user-agent "^Curl" bad_bot
SetEnvIfNoCase user-agent "^Custo" bad_bot
SetEnvIfNoCase user-agent "^DISCo" bad_bot
SetEnvIfNoCase user-agent "^Download\ Demon" bad_bot
SetEnvIfNoCase user-agent "^eCatch" bad_bot
SetEnvIfNoCase user-agent "^EchO" bad_bot
SetEnvIfNoCase user-agent "^EirGrabber" bad_bot
SetEnvIfNoCase user-agent "^EmailSiphon" bad_bot
SetEnvIfNoCase user-agent "^EmailWolf" bad_bot
SetEnvIfNoCase user-agent "^Exabot" bad_bot
SetEnvIfNoCase user-agent "^Express\ WebPictures" bad_bot
SetEnvIfNoCase user-agent "^ExtractorPro" bad_bot
SetEnvIfNoCase user-agent "^EyeNetIE" bad_bot
SetEnvIfNoCase user-agent "^FAST" bad_bot
SetEnvIfNoCase user-agent "^FlashGet" bad_bot
SetEnvIfNoCase user-agent "^FrontPage" bad_bot
SetEnvIfNoCase user-agent "^GetRight" bad_bot
SetEnvIfNoCase user-agent "^GetWeb!" bad_bot
SetEnvIfNoCase user-agent "^Gigabot" bad_bot
SetEnvIfNoCase user-agent "^Go!Zilla" bad_bot
SetEnvIfNoCase user-agent "^Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase user-agent "^GrabNet" bad_bot
SetEnvIfNoCase user-agent "^Grafula" bad_bot
SetEnvIfNoCase user-agent "^Harvest" bad_bot
SetEnvIfNoCase user-agent "^HMView" bad_bot
SetEnvIfNoCase user-agent "^[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] bad_bot
SetEnvIfNoCase user-agent "^HTTrack" bad_bot
SetEnvIfNoCase user-agent "^ia_archiver" bad_bot
SetEnvIfNoCase user-agent "^Image\ Stripper" bad_bot
SetEnvIfNoCase user-agent "^Image\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^Indy\ Library" bad_bot
SetEnvIfNoCase user-agent "^InterGET" bad_bot
SetEnvIfNoCase user-agent "^Internet\ Ninja" bad_bot
SetEnvIfNoCase user-agent "^JetCar" bad_bot
SetEnvIfNoCase user-agent "^JOC\ Web\ Spider" bad_bot
SetEnvIfNoCase user-agent "^libwww-perl" bad_bot
SetEnvIfNoCase user-agent "^LinkWalker" bad_bot
SetEnvIfNoCase user-agent "^larbin" bad_bot
SetEnvIfNoCase user-agent "^Mass\ Downloader" bad_bot
SetEnvIfNoCase user-agent "^Microsoft\ URL\ Control" bad_bot
SetEnvIfNoCase user-agent "^MIDown\ tool" bad_bot
SetEnvIfNoCase user-agent "^Mister\ PiX" bad_bot
SetEnvIfNoCase user-agent "^Navroad" bad_bot
SetEnvIfNoCase user-agent "^NearSite" bad_bot
SetEnvIfNoCase user-agent "^NetAnts" bad_bot
SetEnvIfNoCase user-agent "^NetSpider" bad_bot
SetEnvIfNoCase user-agent "^Net\ Vampire" bad_bot
SetEnvIfNoCase user-agent "^NetZIP" bad_bot
SetEnvIfNoCase user-agent "^Nokia" bad_bot
SetEnvIfNoCase user-agent "^Nokia6230i" bad_bot
SetEnvIfNoCase user-agent "^Octopus" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Explorer" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Navigator" bad_bot
SetEnvIfNoCase user-agent "^PageGrabber" bad_bot
SetEnvIfNoCase user-agent "^page_verifier" bad_bot
SetEnvIfNoCase user-agent "^Papa\ Foto" bad_bot
SetEnvIfNoCase user-agent "^pavuk" bad_bot
SetEnvIfNoCase user-agent "^pcBrowser" bad_bot
SetEnvIfNoCase user-agent "^RealDownload" bad_bot
SetEnvIfNoCase user-agent "^ReGet" bad_bot
SetEnvIfNoCase user-agent "^schibstedsokbot" bad_bot
SetEnvIfNoCase user-agent "^ShopWiki" bad_bot
SetEnvIfNoCase user-agent "^SiteSnagger" bad_bot
SetEnvIfNoCase user-agent "^SmartDownload" bad_bot
SetEnvIfNoCase user-agent "^SMBot" bad_bot
SetEnvIfNoCase user-agent "^sogou" bad_bot
SetEnvIfNoCase user-agent "^Sphere" bad_bot
SetEnvIfNoCase user-agent "^Strategic\ Board\ Bot" bad_bot
SetEnvIfNoCase user-agent "^studybot" bad_bot
SetEnvIfNoCase user-agent "^SuperBot" bad_bot
SetEnvIfNoCase user-agent "^SuperHTTP" bad_bot
SetEnvIfNoCase user-agent "^Surfbot" bad_bot
SetEnvIfNoCase user-agent "^tAkeOut" bad_bot
SetEnvIfNoCase user-agent "^Teleport\ Pro" bad_bot
SetEnvIfNoCase user-agent "^Voila" bad_bot
SetEnvIfNoCase user-agent "^VoidEYE" bad_bot
SetEnvIfNoCase user-agent "^Voyager" bad_bot
SetEnvIfNoCase user-agent "^WasaBot" bad_bot
SetEnvIfNoCase user-agent "^Web\ Image\ Collector" bad_bot
SetEnvIfNoCase user-agent "^Web\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^WebAuto" bad_bot
SetEnvIfNoCase user-agent "^WebCopier" bad_bot
SetEnvIfNoCase user-agent "^WebFetch" bad_bot
SetEnvIfNoCase user-agent "^WebGo\ IS" bad_bot
SetEnvIfNoCase user-agent "^WebLeacher" bad_bot
SetEnvIfNoCase user-agent "^WebReaper" bad_bot
SetEnvIfNoCase user-agent "^WebSauger" bad_bot
SetEnvIfNoCase user-agent "^Website\ eXtractor" bad_bot
SetEnvIfNoCase user-agent "^Website\ Quester" bad_bot
SetEnvIfNoCase user-agent "^WebStripper" bad_bot
SetEnvIfNoCase user-agent "^WebWhacker" bad_bot
SetEnvIfNoCase user-agent "^WebZIP" bad_bot
SetEnvIfNoCase user-agent "^Wget" bad_bot
SetEnvIfNoCase user-agent "^Widow" bad_bot
SetEnvIfNoCase user-agent "^WISENutbot" bad_bot
SetEnvIfNoCase user-agent "^WWWeasel" bad_bot
SetEnvIfNoCase user-agent "^WWWOFFLE" bad_bot
SetEnvIfNoCase user-agent "^Xaldon\ WebSpider" bad_bot
SetEnvIfNoCase user-agent "^YodaoBot" bad_bot
SetEnvIfNoCase user-agent "^Zeus" bad_bot
SetEnvIfNoCase user-agent "^ZyBorg" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
موفق باشید
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
08-10-2007 08:12 PM
# ADS
تبلیغات در جوملا فارسی
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
اینم یک راه کاملتر و حرفه ای تر :
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
دوستان توجه داشته باشید که حتی اگه هیچکدوم از bot های بالا رو block نکردید, این bot رو حتما حتما حتما block کنید, چونکه تو این چند وقت اخیر خیلی از سایتها توسط این bot هک شدن:
کد:
SetEnvIfNoCase user-agent "^libwww-perl" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
نوید جان, این خیلی روش جالبیه, میخوام امروز رو یکی از سایتام حتما امتحان کنم
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
برای اینکه بخواید راه نوید رو امتحان کنید باید حداقل یه سرور داشته باشید با دسترسی VPS!
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
سلام
ميشه يه مقدار راجع به اين Bot ها و ... توضيح بديد ؟
گرچه با سرچ تو اينترنت ميشه چيزاي خوبي پيدا كرد
ولي اگر اينجا باشه، بچه ها هم تاييد ميكنند، آدم خيالش راحت تره
مرسي، يا علي
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
این bot ها اطلاعات سایت شما رو جمع آوری میکنند
هر کسی که هک رو بدونه چی هست این رو قبول داره که 70% یک پروسه هک جمع آوری اطلاعات هست.
در مقالاتم همیشه این جمله رو از آبراهام لینکن نقل کردم که :
"چنانچه نیاز باشد درختی را در مدت 6 ساعت قطع کنم 4 ساعت نخست آن را صرف تیز کردن تبرم خواهم کرد"
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
بله, همونجوری که جناب محمد توضیح دادن bot ها یا در واقع همون Robot ها برنامه هایی هستن که بصورت اتوماتیک روی اینترنت اجرا میشن و میتونن برای اهداف خوب و بد استفاده بشن, من یه توضیح کوچیک راجع به هر دو حالت میدم:
** bot های خوب **
بهترین مثال موتورهای جستجو هستن مثل گوگل که اطلاعات سایتها رو جمع اوری میکنه و در database خودش ذخیره میکنه و از اون اطلاعات برای فرستادن بازدید کننده به همون سایتها استفاده میکنه .
اگه نگاهی به log file سایتتون بندازید میبینید که تا به حال چه bot یا spider هایی از سایتتون بازدید کردن.
** bot های بد **
معمولا این bot ها این اهداف رو دنبال میکنن:
- مسدود کردن سطح دسترسی Robot های خوبی که شما در سایتهاتون قرار میدید
- تغییر هویت کاربری بصورت یک bot قانونی و مجاز ( اصطلاحا Spoofing )
- تغییر IP Address خودشون بصورت روزمره برای جلوگیری از کشف شدن
- دانلود کردن کامل وب سایت و اطلاعاتش و فرستادنش به شخص مورد نظر که میتونه باعث کاهش سرعت سایت در حد بالا بشه
- جمع اوری اطلاعات سایت و ادرسهای ایمیل و فروش اون بدون اجازه صاحب سایت ( اصطاحا plagiarism )
- اسپم بارون کردن دفترچه های مهمان
این bot ها میتونن از کشورهای مختلفی بیان که اکثرشون از چین هست, برای اطلاعات کاملتر در مورد اجازه دادن یا جلوگیری کردن از Robot ها این سایت رو ببینید:
این bad_bot ها مثل Virus ها هر روز به تعدادشون اضافه میشه و بعضی هاشون میتونن واقعا مخرب باشن, مثل "^libwww-perl" که ازش الانه بیشتر برای هک کردن سایتهای مامبو و جوملا استفاده میشه.
پیشنهاد من اینه که قسمتی رو در انجمن اختصاص بدیم برای همیشه Up-todate نگه داشتن فایل .htaccess .... اینجوری میتونیم اصطلاحا علاج واقعه قبل از وقوع بکنیم, خیلی دوست دارم که نظر دوستان و مدیران محترم رو بدونم.
موفق باشید
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
آقا این کدها رو تو .htaccess توس پوشه ی مامبو باید وارد کنیم؟
من توی htaccess پوشه ی public_html گذاشتم کل سایت خوابید یعنی تمام پوشه ها (حتی پوشه ی اصلی یعنی www ) باز نمیشد و ارور 403 forbidden رو میزد یعنی شما اجازه ی دیدن این پوشه رو ندارین.
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
-
پاسخ : کد جلوگیری از bad_bot و spider توسط .htaccess
Bayan جان توی فایل .htaccess بعد از کد جلوگیری از Exploit یک خط فاصله بذار بعدش کد هارو وارد کن مثل این مثل:
کد:
########## Begin - Rewrite rules to block out some common exploits
#
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
########## End - Rewrite rules to block out some common exploits
SetEnvIfNoCase user-agent "^Accoona" bad_bot
SetEnvIfNoCase user-agent "^BlackWidow" bad_bot
SetEnvIfNoCase user-agent "^Bot\ mailto:craftbot@yahoo.com" bad_bot
SetEnvIfNoCase user-agent "^ChinaClaw" bad_bot
SetEnvIfNoCase user-agent "^ConveraCrawler" bad_bot
SetEnvIfNoCase user-agent "^Curl" bad_bot
SetEnvIfNoCase user-agent "^Custo" bad_bot
SetEnvIfNoCase user-agent "^DISCo" bad_bot
SetEnvIfNoCase user-agent "^Download\ Demon" bad_bot
SetEnvIfNoCase user-agent "^eCatch" bad_bot
SetEnvIfNoCase user-agent "^EchO" bad_bot
SetEnvIfNoCase user-agent "^EirGrabber" bad_bot
SetEnvIfNoCase user-agent "^EmailSiphon" bad_bot
SetEnvIfNoCase user-agent "^EmailWolf" bad_bot
SetEnvIfNoCase user-agent "^Exabot" bad_bot
SetEnvIfNoCase user-agent "^Express\ WebPictures" bad_bot
SetEnvIfNoCase user-agent "^ExtractorPro" bad_bot
SetEnvIfNoCase user-agent "^EyeNetIE" bad_bot
SetEnvIfNoCase user-agent "^FAST" bad_bot
SetEnvIfNoCase user-agent "^FlashGet" bad_bot
SetEnvIfNoCase user-agent "^FrontPage" bad_bot
SetEnvIfNoCase user-agent "^GetRight" bad_bot
SetEnvIfNoCase user-agent "^GetWeb!" bad_bot
SetEnvIfNoCase user-agent "^Gigabot" bad_bot
SetEnvIfNoCase user-agent "^Go!Zilla" bad_bot
SetEnvIfNoCase user-agent "^Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase user-agent "^GrabNet" bad_bot
SetEnvIfNoCase user-agent "^Grafula" bad_bot
SetEnvIfNoCase user-agent "^Harvest" bad_bot
SetEnvIfNoCase user-agent "^HMView" bad_bot
SetEnvIfNoCase user-agent "^[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] bad_bot
SetEnvIfNoCase user-agent "^HTTrack" bad_bot
SetEnvIfNoCase user-agent "^ia_archiver" bad_bot
SetEnvIfNoCase user-agent "^Image\ Stripper" bad_bot
SetEnvIfNoCase user-agent "^Image\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^Indy\ Library" bad_bot
SetEnvIfNoCase user-agent "^InterGET" bad_bot
SetEnvIfNoCase user-agent "^Internet\ Ninja" bad_bot
SetEnvIfNoCase user-agent "^JetCar" bad_bot
SetEnvIfNoCase user-agent "^JOC\ Web\ Spider" bad_bot
SetEnvIfNoCase user-agent "^libwww-perl" bad_bot
SetEnvIfNoCase user-agent "^LinkWalker" bad_bot
SetEnvIfNoCase user-agent "^larbin" bad_bot
SetEnvIfNoCase user-agent "^Mass\ Downloader" bad_bot
SetEnvIfNoCase user-agent "^Microsoft\ URL\ Control" bad_bot
SetEnvIfNoCase user-agent "^MIDown\ tool" bad_bot
SetEnvIfNoCase user-agent "^Mister\ PiX" bad_bot
SetEnvIfNoCase user-agent "^Navroad" bad_bot
SetEnvIfNoCase user-agent "^NearSite" bad_bot
SetEnvIfNoCase user-agent "^NetAnts" bad_bot
SetEnvIfNoCase user-agent "^NetSpider" bad_bot
SetEnvIfNoCase user-agent "^Net\ Vampire" bad_bot
SetEnvIfNoCase user-agent "^NetZIP" bad_bot
SetEnvIfNoCase user-agent "^Nokia" bad_bot
SetEnvIfNoCase user-agent "^Nokia6230i" bad_bot
SetEnvIfNoCase user-agent "^Octopus" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Explorer" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Navigator" bad_bot
SetEnvIfNoCase user-agent "^PageGrabber" bad_bot
SetEnvIfNoCase user-agent "^page_verifier" bad_bot
SetEnvIfNoCase user-agent "^Papa\ Foto" bad_bot
SetEnvIfNoCase user-agent "^pavuk" bad_bot
SetEnvIfNoCase user-agent "^pcBrowser" bad_bot
SetEnvIfNoCase user-agent "^RealDownload" bad_bot
SetEnvIfNoCase user-agent "^ReGet" bad_bot
SetEnvIfNoCase user-agent "^schibstedsokbot" bad_bot
SetEnvIfNoCase user-agent "^ShopWiki" bad_bot
SetEnvIfNoCase user-agent "^SiteSnagger" bad_bot
SetEnvIfNoCase user-agent "^SmartDownload" bad_bot
SetEnvIfNoCase user-agent "^SMBot" bad_bot
SetEnvIfNoCase user-agent "^sogou" bad_bot
SetEnvIfNoCase user-agent "^Sphere" bad_bot
SetEnvIfNoCase user-agent "^Strategic\ Board\ Bot" bad_bot
SetEnvIfNoCase user-agent "^studybot" bad_bot
SetEnvIfNoCase user-agent "^SuperBot" bad_bot
SetEnvIfNoCase user-agent "^SuperHTTP" bad_bot
SetEnvIfNoCase user-agent "^Surfbot" bad_bot
SetEnvIfNoCase user-agent "^tAkeOut" bad_bot
SetEnvIfNoCase user-agent "^Teleport\ Pro" bad_bot
SetEnvIfNoCase user-agent "^Voila" bad_bot
SetEnvIfNoCase user-agent "^VoidEYE" bad_bot
SetEnvIfNoCase user-agent "^Voyager" bad_bot
SetEnvIfNoCase user-agent "^WasaBot" bad_bot
SetEnvIfNoCase user-agent "^Web\ Image\ Collector" bad_bot
SetEnvIfNoCase user-agent "^Web\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^WebAuto" bad_bot
SetEnvIfNoCase user-agent "^WebCopier" bad_bot
SetEnvIfNoCase user-agent "^WebFetch" bad_bot
SetEnvIfNoCase user-agent "^WebGo\ IS" bad_bot
SetEnvIfNoCase user-agent "^WebLeacher" bad_bot
SetEnvIfNoCase user-agent "^WebReaper" bad_bot
SetEnvIfNoCase user-agent "^WebSauger" bad_bot
SetEnvIfNoCase user-agent "^Website\ eXtractor" bad_bot
SetEnvIfNoCase user-agent "^Website\ Quester" bad_bot
SetEnvIfNoCase user-agent "^WebStripper" bad_bot
SetEnvIfNoCase user-agent "^WebWhacker" bad_bot
SetEnvIfNoCase user-agent "^WebZIP" bad_bot
SetEnvIfNoCase user-agent "^Wget" bad_bot
SetEnvIfNoCase user-agent "^Widow" bad_bot
SetEnvIfNoCase user-agent "^WISENutbot" bad_bot
SetEnvIfNoCase user-agent "^WWWeasel" bad_bot
SetEnvIfNoCase user-agent "^WWWOFFLE" bad_bot
SetEnvIfNoCase user-agent "^Xaldon\ WebSpider" bad_bot
SetEnvIfNoCase user-agent "^YodaoBot" bad_bot
SetEnvIfNoCase user-agent "^Zeus" bad_bot
SetEnvIfNoCase user-agent "^ZyBorg" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
جهت مشاهده لینک ها باید ثبت نام کنید یا لاگین کنید.
-
علاقه مندی ها (Bookmarks)