پر شدن بیش از حد رم سرور به خاطر روبات های گوگل

[Esi]

سلام .

ممنون ، نه من نمیخوام crawl رو کم کنم یا کلا ببندم ، چون سایت ما روزی 5-6 هزار ورودی از گوگل داره . من میخوام بپرسم آیا راهی هست که خودکار در چنین شرایطی که رم پرشد ، آپاچی رو ریست بده ؟ یا این روبات ها رو بفرسته روی swap ؟

و اینکه من رم سرور رو افزایش بدم مشکل حل میشه یا خیر؟ یعنی مثلا با 8 گیگ رم هم این مشکل پیش میاد به نظرتون ؟

[srashedian]

سلام .

ممنون ، نه من نمیخوام crawl رو کم کنم یا کلا ببندم ، چون سایت ما روزی 5-6 هزار ورودی از گوگل داره . من میخوام بپرسم آیا راهی هست که خودکار در چنین شرایطی که رم پرشد ، آپاچی رو ریست بده ؟ یا این روبات ها رو بفرسته روی swap ؟

و اینکه من رم سرور رو افزایش بدم مشکل حل میشه یا خیر؟ یعنی مثلا با 8 گیگ رم هم این مشکل پیش میاد به نظرتون ؟

در مورد بستن کراولر ها که خوب توی همون آموزش گفتم، زحمتش فقط نوشتم یه فایل هست... اما کم کردنشون جزء امکانات اون سرچ انجین هست، باید ببینید میشه یا نه...
در مورد ریست شدن اتوماتیک آپاچی هم بله، نوعی بوت هست که به نام Ram Watchdog Bot یا Stack Watchdog Bot معروفه... باید متناسب با سیستم عاملنت پیداش کنی، یا از یه برنامه نویس بخوای برات بنیستش... یه اسکریپت ساده اس که مقدار رم رو بررسی میکنی، اگه از یه حد معین کمتر شد، آپاچی رو ری استارت میکنه... اینکه الزاما از سواپ استفاده کنن به نظرم بشه، اما من تاحالا کار نکردم، با یه برنامه نویس حرفه ای لینوکس صحبت کنید...
ممکنه اصلا مشکل رم نباشه... اول به یه برنامه نویس و مدیر سرور حرفه ای نشون بدید سیستمتون رو... اگه تایید کردن خوب مسلما رم زیاد بشه دیگه مشکلی پیش نمیاد...