سلام. این دستورات پایین توی htaccess جلوی googlebot و خزنده های گوگل رو هم میگیره و محدودشون میکنه ؟



1 IfModule mod_rewrite.c


1 SetEnvIfNoCase ^User-Agent$


1 .*(craftbot|download|extract|stripper|sucker|ninja |clshttp|webspider|leacher|collector|grabber|webpi ctures) HTTP_SAFE_BADBOT


1 SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spiderman) HTTP_SAFE_BADBOT


1 Deny from env=HTTP_SAFE_BADBOT


1 /ifModule