کد جلوگیری از bad_bot و spider توسط .htaccess

کد زیر رو در فایل .htaccess زیر کدی که جناب فیروزمندان برای جلوگیری ارائه دادن قرار بدید:

کد:

---

SetEnvIfNoCase user-agent "^Accoona" bad_bot
SetEnvIfNoCase user-agent "^BlackWidow" bad_bot
SetEnvIfNoCase user-agent "^Bot\ mailto:craftbot@yahoo.com" bad_bot
SetEnvIfNoCase user-agent "^ChinaClaw" bad_bot
SetEnvIfNoCase user-agent "^ConveraCrawler" bad_bot
SetEnvIfNoCase user-agent "^Curl" bad_bot
SetEnvIfNoCase user-agent "^Custo" bad_bot
SetEnvIfNoCase user-agent "^DISCo" bad_bot
SetEnvIfNoCase user-agent "^Download\ Demon" bad_bot
SetEnvIfNoCase user-agent "^eCatch" bad_bot
SetEnvIfNoCase user-agent "^EchO" bad_bot
SetEnvIfNoCase user-agent "^EirGrabber" bad_bot
SetEnvIfNoCase user-agent "^EmailSiphon" bad_bot
SetEnvIfNoCase user-agent "^EmailWolf" bad_bot
SetEnvIfNoCase user-agent "^Exabot" bad_bot
SetEnvIfNoCase user-agent "^Express\ WebPictures" bad_bot
SetEnvIfNoCase user-agent "^ExtractorPro" bad_bot
SetEnvIfNoCase user-agent "^EyeNetIE" bad_bot
SetEnvIfNoCase user-agent "^FAST" bad_bot
SetEnvIfNoCase user-agent "^FlashGet" bad_bot
SetEnvIfNoCase user-agent "^FrontPage" bad_bot
SetEnvIfNoCase user-agent "^GetRight" bad_bot
SetEnvIfNoCase user-agent "^GetWeb!" bad_bot
SetEnvIfNoCase user-agent "^Gigabot" bad_bot
SetEnvIfNoCase user-agent "^Go!Zilla" bad_bot
SetEnvIfNoCase user-agent "^Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase user-agent "^GrabNet" bad_bot
SetEnvIfNoCase user-agent "^Grafula" bad_bot
SetEnvIfNoCase user-agent "^Harvest" bad_bot
SetEnvIfNoCase user-agent "^HMView" bad_bot
SetEnvIfNoCase user-agent "^[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] bad_bot
SetEnvIfNoCase user-agent "^HTTrack" bad_bot
SetEnvIfNoCase user-agent "^ia_archiver" bad_bot
SetEnvIfNoCase user-agent "^Image\ Stripper" bad_bot
SetEnvIfNoCase user-agent "^Image\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^Indy\ Library" bad_bot
SetEnvIfNoCase user-agent "^InterGET" bad_bot
SetEnvIfNoCase user-agent "^Internet\ Ninja" bad_bot
SetEnvIfNoCase user-agent "^JetCar" bad_bot
SetEnvIfNoCase user-agent "^JOC\ Web\ Spider" bad_bot
SetEnvIfNoCase user-agent "^libwww-perl" bad_bot
SetEnvIfNoCase user-agent "^LinkWalker" bad_bot
SetEnvIfNoCase user-agent "^larbin" bad_bot
SetEnvIfNoCase user-agent "^Mass\ Downloader" bad_bot
SetEnvIfNoCase user-agent "^Microsoft\ URL\ Control" bad_bot
SetEnvIfNoCase user-agent "^MIDown\ tool" bad_bot
SetEnvIfNoCase user-agent "^Mister\ PiX" bad_bot
SetEnvIfNoCase user-agent "^Navroad" bad_bot
SetEnvIfNoCase user-agent "^NearSite" bad_bot
SetEnvIfNoCase user-agent "^NetAnts" bad_bot
SetEnvIfNoCase user-agent "^NetSpider" bad_bot
SetEnvIfNoCase user-agent "^Net\ Vampire" bad_bot
SetEnvIfNoCase user-agent "^NetZIP" bad_bot
SetEnvIfNoCase user-agent "^Nokia" bad_bot
SetEnvIfNoCase user-agent "^Nokia6230i" bad_bot
SetEnvIfNoCase user-agent "^Octopus" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Explorer" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Navigator" bad_bot
SetEnvIfNoCase user-agent "^PageGrabber" bad_bot
SetEnvIfNoCase user-agent "^page_verifier" bad_bot
SetEnvIfNoCase user-agent "^Papa\ Foto" bad_bot
SetEnvIfNoCase user-agent "^pavuk" bad_bot
SetEnvIfNoCase user-agent "^pcBrowser" bad_bot
SetEnvIfNoCase user-agent "^RealDownload" bad_bot
SetEnvIfNoCase user-agent "^ReGet" bad_bot
SetEnvIfNoCase user-agent "^schibstedsokbot" bad_bot
SetEnvIfNoCase user-agent "^ShopWiki" bad_bot
SetEnvIfNoCase user-agent "^SiteSnagger" bad_bot
SetEnvIfNoCase user-agent "^SmartDownload" bad_bot
SetEnvIfNoCase user-agent "^SMBot" bad_bot
SetEnvIfNoCase user-agent "^sogou" bad_bot
SetEnvIfNoCase user-agent "^Sphere" bad_bot
SetEnvIfNoCase user-agent "^Strategic\ Board\ Bot" bad_bot
SetEnvIfNoCase user-agent "^studybot" bad_bot
SetEnvIfNoCase user-agent "^SuperBot" bad_bot
SetEnvIfNoCase user-agent "^SuperHTTP" bad_bot
SetEnvIfNoCase user-agent "^Surfbot" bad_bot
SetEnvIfNoCase user-agent "^tAkeOut" bad_bot
SetEnvIfNoCase user-agent "^Teleport\ Pro" bad_bot
SetEnvIfNoCase user-agent "^Voila" bad_bot
SetEnvIfNoCase user-agent "^VoidEYE" bad_bot
SetEnvIfNoCase user-agent "^Voyager" bad_bot
SetEnvIfNoCase user-agent "^WasaBot" bad_bot
SetEnvIfNoCase user-agent "^Web\ Image\ Collector" bad_bot
SetEnvIfNoCase user-agent "^Web\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^WebAuto" bad_bot
SetEnvIfNoCase user-agent "^WebCopier" bad_bot
SetEnvIfNoCase user-agent "^WebFetch" bad_bot
SetEnvIfNoCase user-agent "^WebGo\ IS" bad_bot
SetEnvIfNoCase user-agent "^WebLeacher" bad_bot
SetEnvIfNoCase user-agent "^WebReaper" bad_bot
SetEnvIfNoCase user-agent "^WebSauger" bad_bot
SetEnvIfNoCase user-agent "^Website\ eXtractor" bad_bot
SetEnvIfNoCase user-agent "^Website\ Quester" bad_bot
SetEnvIfNoCase user-agent "^WebStripper" bad_bot
SetEnvIfNoCase user-agent "^WebWhacker" bad_bot
SetEnvIfNoCase user-agent "^WebZIP" bad_bot
SetEnvIfNoCase user-agent "^Wget" bad_bot
SetEnvIfNoCase user-agent "^Widow" bad_bot
SetEnvIfNoCase user-agent "^WISENutbot" bad_bot
SetEnvIfNoCase user-agent "^WWWeasel" bad_bot
SetEnvIfNoCase user-agent "^WWWOFFLE" bad_bot
SetEnvIfNoCase user-agent "^Xaldon\ WebSpider" bad_bot
SetEnvIfNoCase user-agent "^YodaoBot" bad_bot
SetEnvIfNoCase user-agent "^Zeus" bad_bot
SetEnvIfNoCase user-agent "^ZyBorg" bad_bot


<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

---

موفق باشید

اینم یک راه کاملتر و حرفه ای تر :
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]

دوستان توجه داشته باشید که حتی اگه هیچکدوم از bot های بالا رو block نکردید, این bot رو حتما حتما حتما block کنید, چونکه تو این چند وقت اخیر خیلی از سایتها توسط این bot هک شدن:

کد:

---

SetEnvIfNoCase user-agent "^libwww-perl" bad_bot

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

---

نوید جان, این خیلی روش جالبیه, میخوام امروز رو یکی از سایتام حتما امتحان کنم

برای اینکه بخواید راه نوید رو امتحان کنید باید حداقل یه سرور داشته باشید با دسترسی VPS!

سلام
ميشه يه مقدار راجع به اين Bot ها و ... توضيح بديد ؟ :) گرچه با سرچ تو اينترنت ميشه چيزاي خوبي پيدا كرد
ولي اگر اينجا باشه، بچه ها هم تاييد ميكنند، آدم خيالش راحت تره
مرسي، يا علي

این bot ها اطلاعات سایت شما رو جمع آوری میکنند

هر کسی که هک رو بدونه چی هست این رو قبول داره که 70% یک پروسه هک جمع آوری اطلاعات هست.

در مقالاتم همیشه این جمله رو از آبراهام لینکن نقل کردم که :
"چنانچه نیاز باشد درختی را در مدت 6 ساعت قطع کنم 4 ساعت نخست آن را صرف تیز کردن تبرم خواهم کرد"

بله, همونجوری که جناب محمد توضیح دادن bot ها یا در واقع همون Robot ها برنامه هایی هستن که بصورت اتوماتیک روی اینترنت اجرا میشن و میتونن برای اهداف خوب و بد استفاده بشن, من یه توضیح کوچیک راجع به هر دو حالت میدم:

** bot های خوب **
بهترین مثال موتورهای جستجو هستن مثل گوگل که اطلاعات سایتها رو جمع اوری میکنه و در database خودش ذخیره میکنه و از اون اطلاعات برای فرستادن بازدید کننده به همون سایتها استفاده میکنه .
اگه نگاهی به log file سایتتون بندازید میبینید که تا به حال چه bot یا spider هایی از سایتتون بازدید کردن.

** bot های بد **
معمولا این bot ها این اهداف رو دنبال میکنن:
- مسدود کردن سطح دسترسی Robot های خوبی که شما در سایتهاتون قرار میدید
- تغییر هویت کاربری بصورت یک bot قانونی و مجاز ( اصطلاحا Spoofing )
- تغییر IP Address خودشون بصورت روزمره برای جلوگیری از کشف شدن
- دانلود کردن کامل وب سایت و اطلاعاتش و فرستادنش به شخص مورد نظر که میتونه باعث کاهش سرعت سایت در حد بالا بشه
- جمع اوری اطلاعات سایت و ادرسهای ایمیل و فروش اون بدون اجازه صاحب سایت ( اصطاحا plagiarism )
- اسپم بارون کردن دفترچه های مهمان

این bot ها میتونن از کشورهای مختلفی بیان که اکثرشون از چین هست, برای اطلاعات کاملتر در مورد اجازه دادن یا جلوگیری کردن از Robot ها این سایت رو ببینید:

کد:

---

www.robotstxt.org

---

این bad_bot ها مثل Virus ها هر روز به تعدادشون اضافه میشه و بعضی هاشون میتونن واقعا مخرب باشن, مثل "^libwww-perl" که ازش الانه بیشتر برای هک کردن سایتهای مامبو و جوملا استفاده میشه.
پیشنهاد من اینه که قسمتی رو در انجمن اختصاص بدیم برای همیشه Up-todate نگه داشتن فایل .htaccess .... اینجوری میتونیم اصطلاحا علاج واقعه قبل از وقوع بکنیم, خیلی دوست دارم که نظر دوستان و مدیران محترم رو بدونم.

موفق باشید

آقا این کدها رو تو .htaccess توس پوشه ی مامبو باید وارد کنیم؟

من توی htaccess پوشه ی public_html گذاشتم کل سایت خوابید یعنی تمام پوشه ها (حتی پوشه ی اصلی یعنی www ) باز نمیشد و ارور 403 forbidden رو میزد یعنی شما اجازه ی دیدن این پوشه رو ندارین.

Bayan جان توی فایل .htaccess بعد از کد جلوگیری از Exploit یک خط فاصله بذار بعدش کد هارو وارد کن مثل این مثل:

کد:

---

########## Begin - Rewrite rules to block out some common exploits
#             
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
########## End - Rewrite rules to block out some common exploits

SetEnvIfNoCase user-agent "^Accoona" bad_bot
SetEnvIfNoCase user-agent "^BlackWidow" bad_bot
SetEnvIfNoCase user-agent "^Bot\ mailto:craftbot@yahoo.com" bad_bot
SetEnvIfNoCase user-agent "^ChinaClaw" bad_bot
SetEnvIfNoCase user-agent "^ConveraCrawler" bad_bot
SetEnvIfNoCase user-agent "^Curl" bad_bot
SetEnvIfNoCase user-agent "^Custo" bad_bot
SetEnvIfNoCase user-agent "^DISCo" bad_bot
SetEnvIfNoCase user-agent "^Download\ Demon" bad_bot
SetEnvIfNoCase user-agent "^eCatch" bad_bot
SetEnvIfNoCase user-agent "^EchO" bad_bot
SetEnvIfNoCase user-agent "^EirGrabber" bad_bot
SetEnvIfNoCase user-agent "^EmailSiphon" bad_bot
SetEnvIfNoCase user-agent "^EmailWolf" bad_bot
SetEnvIfNoCase user-agent "^Exabot" bad_bot
SetEnvIfNoCase user-agent "^Express\ WebPictures" bad_bot
SetEnvIfNoCase user-agent "^ExtractorPro" bad_bot
SetEnvIfNoCase user-agent "^EyeNetIE" bad_bot
SetEnvIfNoCase user-agent "^FAST" bad_bot
SetEnvIfNoCase user-agent "^FlashGet" bad_bot
SetEnvIfNoCase user-agent "^FrontPage" bad_bot
SetEnvIfNoCase user-agent "^GetRight" bad_bot
SetEnvIfNoCase user-agent "^GetWeb!" bad_bot
SetEnvIfNoCase user-agent "^Gigabot" bad_bot
SetEnvIfNoCase user-agent "^Go!Zilla" bad_bot
SetEnvIfNoCase user-agent "^Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase user-agent "^GrabNet" bad_bot
SetEnvIfNoCase user-agent "^Grafula" bad_bot
SetEnvIfNoCase user-agent "^Harvest" bad_bot
SetEnvIfNoCase user-agent "^HMView" bad_bot
SetEnvIfNoCase user-agent "^[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] bad_bot
SetEnvIfNoCase user-agent "^HTTrack" bad_bot
SetEnvIfNoCase user-agent "^ia_archiver" bad_bot
SetEnvIfNoCase user-agent "^Image\ Stripper" bad_bot
SetEnvIfNoCase user-agent "^Image\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^Indy\ Library" bad_bot
SetEnvIfNoCase user-agent "^InterGET" bad_bot
SetEnvIfNoCase user-agent "^Internet\ Ninja" bad_bot
SetEnvIfNoCase user-agent "^JetCar" bad_bot
SetEnvIfNoCase user-agent "^JOC\ Web\ Spider" bad_bot
SetEnvIfNoCase user-agent "^libwww-perl" bad_bot
SetEnvIfNoCase user-agent "^LinkWalker" bad_bot
SetEnvIfNoCase user-agent "^larbin" bad_bot
SetEnvIfNoCase user-agent "^Mass\ Downloader" bad_bot
SetEnvIfNoCase user-agent "^Microsoft\ URL\ Control" bad_bot
SetEnvIfNoCase user-agent "^MIDown\ tool" bad_bot
SetEnvIfNoCase user-agent "^Mister\ PiX" bad_bot
SetEnvIfNoCase user-agent "^Navroad" bad_bot
SetEnvIfNoCase user-agent "^NearSite" bad_bot
SetEnvIfNoCase user-agent "^NetAnts" bad_bot
SetEnvIfNoCase user-agent "^NetSpider" bad_bot
SetEnvIfNoCase user-agent "^Net\ Vampire" bad_bot
SetEnvIfNoCase user-agent "^NetZIP" bad_bot
SetEnvIfNoCase user-agent "^Nokia" bad_bot
SetEnvIfNoCase user-agent "^Nokia6230i" bad_bot
SetEnvIfNoCase user-agent "^Octopus" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Explorer" bad_bot
SetEnvIfNoCase user-agent "^Offline\ Navigator" bad_bot
SetEnvIfNoCase user-agent "^PageGrabber" bad_bot
SetEnvIfNoCase user-agent "^page_verifier" bad_bot
SetEnvIfNoCase user-agent "^Papa\ Foto" bad_bot
SetEnvIfNoCase user-agent "^pavuk" bad_bot
SetEnvIfNoCase user-agent "^pcBrowser" bad_bot
SetEnvIfNoCase user-agent "^RealDownload" bad_bot
SetEnvIfNoCase user-agent "^ReGet" bad_bot
SetEnvIfNoCase user-agent "^schibstedsokbot" bad_bot
SetEnvIfNoCase user-agent "^ShopWiki" bad_bot
SetEnvIfNoCase user-agent "^SiteSnagger" bad_bot
SetEnvIfNoCase user-agent "^SmartDownload" bad_bot
SetEnvIfNoCase user-agent "^SMBot" bad_bot
SetEnvIfNoCase user-agent "^sogou" bad_bot
SetEnvIfNoCase user-agent "^Sphere" bad_bot
SetEnvIfNoCase user-agent "^Strategic\ Board\ Bot" bad_bot
SetEnvIfNoCase user-agent "^studybot" bad_bot
SetEnvIfNoCase user-agent "^SuperBot" bad_bot
SetEnvIfNoCase user-agent "^SuperHTTP" bad_bot
SetEnvIfNoCase user-agent "^Surfbot" bad_bot
SetEnvIfNoCase user-agent "^tAkeOut" bad_bot
SetEnvIfNoCase user-agent "^Teleport\ Pro" bad_bot
SetEnvIfNoCase user-agent "^Voila" bad_bot
SetEnvIfNoCase user-agent "^VoidEYE" bad_bot
SetEnvIfNoCase user-agent "^Voyager" bad_bot
SetEnvIfNoCase user-agent "^WasaBot" bad_bot
SetEnvIfNoCase user-agent "^Web\ Image\ Collector" bad_bot
SetEnvIfNoCase user-agent "^Web\ Sucker" bad_bot
SetEnvIfNoCase user-agent "^WebAuto" bad_bot
SetEnvIfNoCase user-agent "^WebCopier" bad_bot
SetEnvIfNoCase user-agent "^WebFetch" bad_bot
SetEnvIfNoCase user-agent "^WebGo\ IS" bad_bot
SetEnvIfNoCase user-agent "^WebLeacher" bad_bot
SetEnvIfNoCase user-agent "^WebReaper" bad_bot
SetEnvIfNoCase user-agent "^WebSauger" bad_bot
SetEnvIfNoCase user-agent "^Website\ eXtractor" bad_bot
SetEnvIfNoCase user-agent "^Website\ Quester" bad_bot
SetEnvIfNoCase user-agent "^WebStripper" bad_bot
SetEnvIfNoCase user-agent "^WebWhacker" bad_bot
SetEnvIfNoCase user-agent "^WebZIP" bad_bot
SetEnvIfNoCase user-agent "^Wget" bad_bot
SetEnvIfNoCase user-agent "^Widow" bad_bot
SetEnvIfNoCase user-agent "^WISENutbot" bad_bot
SetEnvIfNoCase user-agent "^WWWeasel" bad_bot
SetEnvIfNoCase user-agent "^WWWOFFLE" bad_bot
SetEnvIfNoCase user-agent "^Xaldon\ WebSpider" bad_bot
SetEnvIfNoCase user-agent "^YodaoBot" bad_bot
SetEnvIfNoCase user-agent "^Zeus" bad_bot
SetEnvIfNoCase user-agent "^ZyBorg" bad_bot


<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

---

من همینطوری که شما گفتی گذاشتم توی .htaccess توی پوشه ی public_html بازم همون مشکل....

این اروریه که میده : ( حتی وقتی میخوای صفحه اول سایتو باز کنی )

کد:

---

Forbidden
You don't have permission to access / on this server.

Additionally, a 403 Forbidden error was encountered while trying to use an ErrorDocument to handle the request

---

.

شما مامبو رو کجا نصب کردی? این کد رو باید تو فایل .htaccess که در کنار بقیه فایلهای مامبو هست قرار بدی, اگر همه این کارهارو درست انجام دادی, یه کپی از فایل .htaccess رو تو pm برام بفرست.

َمنظورت htaccess.txt در پوشه ي مامبو هست؟

[quote author=bayan link=topic=8080.msg46606#msg46606 date=1187460275]
َمنظورت htaccess.txt در پوشه ي مامبو هست؟
[/quote]
بله