جلوگیری از ورود بوت های ناخواسته به سایت ما

[nasa_de]

پس از گذشت حدود 10-12 روز از عمر انجمن فقط یک موضوع در گوگل ایندکس شده. آیا این طبیعی هست موضوعات داخل فروم 300 موضوع هست.

[aslani606]

سلام

من میخواستم این روبوتهای یاهو کمتر به بیاند سایت من باید چکار کنم
مثلا ماه گذشته حدود 13 گیگ از پهنای باند سایت من را مصرف کردند
سایت گوگل یک بخش در قسمت وبمستر داره که میشه کنترل کرد آیا یاهو هم داره؟
خیلی ممنون میشم یکی راهنمایی کنه

تشکر

[aslani606]

یعنی هیچ راهی نیست؟!

[rahman_jalayer]

مرسی خیلی عالی بود.
من یه ارئه در مورد اسپایدرها دارم .اگه می شه یه منبع کامل فارسی(زبانم خوب نیست) در این مورد معرفی کنید.ممنون.

[Rezash]

سلام

من میخواستم این روبوتهای یاهو کمتر به بیاند سایت من باید چکار کنم
مثلا ماه گذشته حدود 13 گیگ از پهنای باند سایت من را مصرف کردند
سایت گوگل یک بخش در قسمت وبمستر داره که میشه کنترل کرد آیا یاهو هم داره؟
خیلی ممنون میشم یکی راهنمایی کنه

تشکر

داخل robots.txt با Crawl-delay ميشه تنظيم كرد.اگر خيلي مشكل ساز هست Crawl-delay رو برابر 10 بذاريد براي ياهو.
ضمنا مشكلي هست كه فقط موتورهاي استاندارد و معتبر به محتويات فايل robots.txt اهميت ميدند ! وخيلي از ربات ها خودشون رو يا معرفي نميكنند ( خودشون رو به عنوان كاربر واقعي با مشخصات مرورگري مثل ff معرفي ميكنند) يا خودشون رو به نام ربات ياهو يا گوگل معرفي ميكنند و به كار خودشون ميپردازند ! (معمولا اهداف اسپم !). كه در اين مورد cms شما بايد تا حدودي جلوي درخواست هاي بالا يا جعلي رو شناسايي و مسدود كنه.

[free-downloadha.com]

با احترام وخسته نباشید

من انجمنم با خاطر این اسپایدر ها از سرور منابع بیش از حد استفاده میکنه راهش چیه

- - - Updated - - -

هیچکی نیست منو راهنمایی کنه