جلوگیری از ورود بوت های ناخواسته به سایت ما

[Rezash]

سلام

من میخواستم این روبوتهای یاهو کمتر به بیاند سایت من باید چکار کنم
مثلا ماه گذشته حدود 13 گیگ از پهنای باند سایت من را مصرف کردند
سایت گوگل یک بخش در قسمت وبمستر داره که میشه کنترل کرد آیا یاهو هم داره؟
خیلی ممنون میشم یکی راهنمایی کنه

تشکر

داخل robots.txt با Crawl-delay ميشه تنظيم كرد.اگر خيلي مشكل ساز هست Crawl-delay رو برابر 10 بذاريد براي ياهو.
ضمنا مشكلي هست كه فقط موتورهاي استاندارد و معتبر به محتويات فايل robots.txt اهميت ميدند ! وخيلي از ربات ها خودشون رو يا معرفي نميكنند ( خودشون رو به عنوان كاربر واقعي با مشخصات مرورگري مثل ff معرفي ميكنند) يا خودشون رو به نام ربات ياهو يا گوگل معرفي ميكنند و به كار خودشون ميپردازند ! (معمولا اهداف اسپم !). كه در اين مورد cms شما بايد تا حدودي جلوي درخواست هاي بالا يا جعلي رو شناسايي و مسدود كنه.