morteza34
May 5th, 2015, 21:47
سلام. این دستورات پایین توی htaccess جلوی googlebot و خزنده های گوگل رو هم میگیره و محدودشون میکنه ؟
1
IfModule mod_rewrite.c
1
SetEnvIfNoCase ^User-Agent$
1
.*(craftbot|download|extract|stripper|sucker|ninja |clshttp|webspider|leacher|collector|grabber|webpi ctures) HTTP_SAFE_BADBOT
1
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spiderman) HTTP_SAFE_BADBOT
1
Deny from env=HTTP_SAFE_BADBOT
1
/ifModule
1
IfModule mod_rewrite.c
1
SetEnvIfNoCase ^User-Agent$
1
.*(craftbot|download|extract|stripper|sucker|ninja |clshttp|webspider|leacher|collector|grabber|webpi ctures) HTTP_SAFE_BADBOT
1
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spiderman) HTTP_SAFE_BADBOT
1
Deny from env=HTTP_SAFE_BADBOT
1
/ifModule