دانلود روبوت های گوگل؟

[Ramin]

سلام

دوستان بر روی یکی از سرور های دانلود ما گاهی پهنای باند در حال مصرف شدیدا افزایش پیدا می کند. طی بررسی که چندین بار در همان لحظه افزایش مصرف پورت سرور انجام شد. مشخص شد هر بار یک آیپی مثلا 60 درصد پورت را به مدت 20-30 دقیقه اشغال می کند و در حال دانلود از سرور است. عجیب اینکه وقتی whois می گیریم مشخصات گوگل برای این آیپی ها نمایش داده می شود و همگی با 66.249 که رنج آیپی های گوگل است شروع می شوند. آیا روبوت های گوگل نیز از سرور دانلود می کنند؟ واقعا اینها روبوت های گوگل هستند؟ بلاک این آیپی ها مشکلی ایجاد می کند؟

[EXXXIR]

سلام

دوستان بر روی یکی از سرور های دانلود ما گاهی پهنای باند در حال مصرف شدیدا افزایش پیدا می کند. طی بررسی که چندین بار در همان لحظه افزایش مصرف پورت سرور انجام شد. مشخص شد هر بار یک آیپی مثلا 60 درصد پورت را به مدت 20-30 دقیقه اشغال می کند و در حال دانلود از سرور است. عجیب اینکه وقتی whois می گیریم مشخصات گوگل برای این آیپی ها نمایش داده می شود و همگی با 66.249 که رنج آیپی های گوگل است شروع می شوند. آیا روبوت های گوگل نیز از سرور دانلود می کنند؟ واقعا اینها روبوت های گوگل هستند؟ بلاک این آیپی ها مشکلی ایجاد می کند؟

با سلام

بله اگر شما لينك هاي دانلود براي روبات ها باز بگذاريد اين فايل هارو دانلود مي كنند. براي مثال حتي نسخه هاي pdf كاملا دانلود و ذخيره ميكنند تا در نتياج جستجو استفاده بشه.

راه حل اينكار ويرايش قالب و اضافه كردن كد زير به لينك هاي دانلودتون هست با اين كد ديگه روبات متوجه ميشه نبايد اين لينك دنبال كنه.

rel="nofollow"

[Ramin]

با سلام

بله اگر شما لينك هاي دانلود براي روبات ها باز بگذاريد اين فايل هارو دانلود مي كنند. براي مثال حتي نسخه هاي pdf كاملا دانلود و ذخيره ميكنند تا در نتياج جستجو استفاده بشه.

راه حل اينكار ويرايش قالب و اضافه كردن كد زير به لينك هاي دانلودتون هست با اين كد ديگه روبات متوجه ميشه نبايد اين لينك دنبال كنه.

rel="nofollow"

یعنی دانلود می کنند و لینک مستقیم را در نتایج گوگل نمایش می دهند؟ کدی برای .htaccess وجود ندارد؟

[EXXXIR]

یعنی دانلود می کنند و لینک مستقیم را در نتایج گوگل نمایش می دهند؟ کدی برای .htaccess وجود ندارد؟

در رابطه با فايل هاي pdf و doc‌ كه نوشتاري هستند بله حتي لينك مستقيم همون فايل هم در نتايج نمايش داده ميشه اما ساير فايل ها خير.

راهي كه من گفتم ساده ترين روش هست روبات هاي زيادي در آن واحد در سايت شما هستند و لينك هارو به سرعت دنبال ميكنند كه حالا لينك دانلود هم يكي از همين لينك هاست به همين دليل دنبال ميشه ولي اگر اون كدي كه گفتم در لينك هاي دانلود قرار بديد ديگه دنبال نخواهند كرد.

اگر همه فايل هاي دانلود در دايركتوري مشابهي هستند ميتونين از robot.txt‌ هم استفاده كنيد.

[esh]

می توانید از robots.txt برای جلوگیری از رباتها استفاده کنید.

[Woshka]

USER Agent هاشون را چک کنید
همچنین در webmastertools می توانید برای وبسایتتون که خیلی بزرگ هست محدودیت بگزارید کمتر بات ها سر بزنند