پر شدن بیش از حد رم سرور به خاطر روبات های گوگل

[Esi]

سلام .

روی یکی از سرور ها که یک سایت بزرگ رو میزبانی می کنه ، یک مشکلی داریم .

cpu این سرور 4 هسته ای 3.0ghz هست و مشکلی توی لود تا حالا نداشته . مشکلی اصلی ما 4 گیگ رم هست . چون یک انجمن بزرگ رو پشتیبانی می کنه (سرور اختصاصی همین سایت هست ) بوت و روبات های یاهو و گوگل و msn ، وقتی داخل انجمن میان ، شروع به ایندکس کردن صفحات انجمن می کنن که بیش از 2 میلیون صفحه هست ، با این وجود ، بعد از مدت 24 یا 48 ساعت ، رم سرور بیش از 60 درصد پر میشه و دسترسی به سایت با اختلال مواجه میشه . یعنی پیام های database error و ... ظاهر می شوند . در حالی که در همین زمان لود سیستم کاملا عادی هست .

برای حل این مشکل چه پیشنهادی دارید ؟ آیا باید IP روبات های گوگل و یاهو را بست ؟
مشخصات :
cpanel/whm
csf firewall

[fastserver.ir]

معمولا بیشترین ترافیک رو گوگل ایجاد می کنه که می تونید در قسمت تنظیمات webmaster tools گوگل میزان Crawl rate رو کاهش بدید. Crawl rate اگر حداکثر باشه ترافیک رو بالا میبره و موجب کند شدن سرعت لود صفحات و در بعضی موارد دان شدن سایت میشه.
در قسمت webmaster tools وارد Site configuration بشید و Settings از اونجا Crawl rate رو کم کنید.

[srashedian]

سلام .

روی یکی از سرور ها که یک سایت بزرگ رو میزبانی می کنه ، یک مشکلی داریم .

cpu این سرور 4 هسته ای 3.0ghz هست و مشکلی توی لود تا حالا نداشته . مشکلی اصلی ما 4 گیگ رم هست . چون یک انجمن بزرگ رو پشتیبانی می کنه (سرور اختصاصی همین سایت هست ) بوت و روبات های یاهو و گوگل و msn ، وقتی داخل انجمن میان ، شروع به ایندکس کردن صفحات انجمن می کنن که بیش از 2 میلیون صفحه هست ، با این وجود ، بعد از مدت 24 یا 48 ساعت ، رم سرور بیش از 60 درصد پر میشه و دسترسی به سایت با اختلال مواجه میشه . یعنی پیام های database error و ... ظاهر می شوند . در حالی که در همین زمان لود سیستم کاملا عادی هست .

برای حل این مشکل چه پیشنهادی دارید ؟ آیا باید IP روبات های گوگل و یاهو را بست ؟
مشخصات :
cpanel/whm
csf firewall

برای حذف دسترسی اسپایدرهای سایت های جستجویی که خوشتون نمیاد سایتتون رو ایندکس کنن مطالب این تاپیک رو بخونید... (نوشته خودم هست، ممکنه ضعف هایی داشته باشه، خوشحال میشم تذکر بدید برطرف کنم)

[Esi]

سلام .

ممنون ، نه من نمیخوام crawl رو کم کنم یا کلا ببندم ، چون سایت ما روزی 5-6 هزار ورودی از گوگل داره . من میخوام بپرسم آیا راهی هست که خودکار در چنین شرایطی که رم پرشد ، آپاچی رو ریست بده ؟ یا این روبات ها رو بفرسته روی swap ؟

و اینکه من رم سرور رو افزایش بدم مشکل حل میشه یا خیر؟ یعنی مثلا با 8 گیگ رم هم این مشکل پیش میاد به نظرتون ؟

[srashedian]

سلام .

ممنون ، نه من نمیخوام crawl رو کم کنم یا کلا ببندم ، چون سایت ما روزی 5-6 هزار ورودی از گوگل داره . من میخوام بپرسم آیا راهی هست که خودکار در چنین شرایطی که رم پرشد ، آپاچی رو ریست بده ؟ یا این روبات ها رو بفرسته روی swap ؟

و اینکه من رم سرور رو افزایش بدم مشکل حل میشه یا خیر؟ یعنی مثلا با 8 گیگ رم هم این مشکل پیش میاد به نظرتون ؟

در مورد بستن کراولر ها که خوب توی همون آموزش گفتم، زحمتش فقط نوشتم یه فایل هست... اما کم کردنشون جزء امکانات اون سرچ انجین هست، باید ببینید میشه یا نه...
در مورد ریست شدن اتوماتیک آپاچی هم بله، نوعی بوت هست که به نام Ram Watchdog Bot یا Stack Watchdog Bot معروفه... باید متناسب با سیستم عاملنت پیداش کنی، یا از یه برنامه نویس بخوای برات بنیستش... یه اسکریپت ساده اس که مقدار رم رو بررسی میکنی، اگه از یه حد معین کمتر شد، آپاچی رو ری استارت میکنه... اینکه الزاما از سواپ استفاده کنن به نظرم بشه، اما من تاحالا کار نکردم، با یه برنامه نویس حرفه ای لینوکس صحبت کنید...
ممکنه اصلا مشکل رم نباشه... اول به یه برنامه نویس و مدیر سرور حرفه ای نشون بدید سیستمتون رو... اگه تایید کردن خوب مسلما رم زیاد بشه دیگه مشکلی پیش نمیاد...