پاسخ : دانلود روبوت های گوگل؟
نقل قول:
نوشته اصلی توسط
Raminn
سلام
دوستان بر روی یکی از سرور های دانلود ما گاهی پهنای باند در حال مصرف شدیدا افزایش پیدا می کند. طی بررسی که چندین بار در همان لحظه افزایش مصرف پورت سرور انجام شد. مشخص شد هر بار یک آیپی مثلا 60 درصد پورت را به مدت 20-30 دقیقه اشغال می کند و در حال دانلود از سرور است. عجیب اینکه وقتی whois می گیریم مشخصات گوگل برای این آیپی ها نمایش داده می شود و همگی با 66.249 که رنج آیپی های گوگل است شروع می شوند. آیا روبوت های گوگل نیز از سرور دانلود می کنند؟ واقعا اینها روبوت های گوگل هستند؟ بلاک این آیپی ها مشکلی ایجاد می کند؟
با سلام
بله اگر شما لينك هاي دانلود براي روبات ها باز بگذاريد اين فايل هارو دانلود مي كنند. براي مثال حتي نسخه هاي pdf كاملا دانلود و ذخيره ميكنند تا در نتياج جستجو استفاده بشه.
راه حل اينكار ويرايش قالب و اضافه كردن كد زير به لينك هاي دانلودتون هست با اين كد ديگه روبات متوجه ميشه نبايد اين لينك دنبال كنه.
rel="nofollow"
پاسخ : دانلود روبوت های گوگل؟
نقل قول:
نوشته اصلی توسط
EXXXIR
با سلام
بله اگر شما لينك هاي دانلود براي روبات ها باز بگذاريد اين فايل هارو دانلود مي كنند. براي مثال حتي نسخه هاي pdf كاملا دانلود و ذخيره ميكنند تا در نتياج جستجو استفاده بشه.
راه حل اينكار ويرايش قالب و اضافه كردن كد زير به لينك هاي دانلودتون هست با اين كد ديگه روبات متوجه ميشه نبايد اين لينك دنبال كنه.
rel="nofollow"
یعنی دانلود می کنند و لینک مستقیم را در نتایج گوگل نمایش می دهند؟ کدی برای .htaccess وجود ندارد؟
پاسخ : دانلود روبوت های گوگل؟
می توانید از robots.txt برای جلوگیری از رباتها استفاده کنید.
پاسخ : دانلود روبوت های گوگل؟
USER Agent هاشون را چک کنید
همچنین در webmastertools می توانید برای وبسایتتون که خیلی بزرگ هست محدودیت بگزارید کمتر بات ها سر بزنند
پاسخ : دانلود روبوت های گوگل؟
نقل قول:
نوشته اصلی توسط
Raminn
یعنی دانلود می کنند و لینک مستقیم را در نتایج گوگل نمایش می دهند؟ کدی برای .htaccess وجود ندارد؟
در رابطه با فايل هاي pdf و doc كه نوشتاري هستند بله حتي لينك مستقيم همون فايل هم در نتايج نمايش داده ميشه اما ساير فايل ها خير.
راهي كه من گفتم ساده ترين روش هست روبات هاي زيادي در آن واحد در سايت شما هستند و لينك هارو به سرعت دنبال ميكنند كه حالا لينك دانلود هم يكي از همين لينك هاست به همين دليل دنبال ميشه ولي اگر اون كدي كه گفتم در لينك هاي دانلود قرار بديد ديگه دنبال نخواهند كرد.
اگر همه فايل هاي دانلود در دايركتوري مشابهي هستند ميتونين از robot.txt هم استفاده كنيد.
