مشکل افزایش Load Averages سرور با پردازش imedated و خطای HANG: chkservd

سلام به دوستان گرامی

یک مشکل عجیبی که سرور سی پنل با اون مواجه شده اینه که بعد از مدت تقریباً 3 یا 4 روز که سرور به درستی کار می کنه، یک دفعه ای خطای HANG: chkservd از جانب WHM داده میشه.

در همین بین پردازشی با نام imedated که ارتباطی هم با systemd-timedated داره، یک هسته از CPU رو به خودش اختصاص میده و Load سرور رو بالا می بره!!

در این حالت تمامی سرویس های سرور به درستی کار می کنند. فقط مدام هر 15 دقیقه خطای HANG: chkservd داده میشه و لود هم بالاست.

زمانی که سرور یک بار Restart می شه مشکل رفع میشه، تا اینکه 3 یا 4 روز بعد، روز از نو ؛ روزی از نو ...!



در ضمن یکی از خطاهای دیگه ای که WHM میده، مربوط به یکی از RPM های مرتبط با cpanel-perl-524-LWP-UserAgent-DNS-Hosts هست که هر روز این خطا هم صادر میشه.

و باید دستور تعمیر RPM های سی پنل داده بشه که بعد از مدت زمانی دوباره خطا به حالت خودش بر می گرده.

/usr/local/cpanel/scripts/check_cpanel_rpms --fix

حالا معلوم نیست که اینم به اون خطای اول ارتباط داره یا خیر!؟


ممنون میشم از دوستان اگر راه حلی به ذهن شون میرسه بنده رو راهنمایی کنند.

روی سرور فایروال و انتی ویروس کانفیگ شده دارید ؟ مثلا csf ؟

نقل قول:

---

نوشته اصلی توسط a1994n1373

روی سرور فایروال و انتی ویروس کانفیگ شده دارید ؟ مثلا csf ؟

---

بله. Csf و آنتی ویروس clam نصبه...

این رو اجرا کنید . نتیجشو بنویسید .

grep CPANEL= /etc/cpupdate.conf

CPANEL=stable

نسخۀ استیبل به حالت انتخابه.

v66.0.23

محتویات لاگ chkservd و tailwatchd رو چک کنید

/var/log/chkservd.log

/usr/local/cpanel/logs/tailwatchd_log

کد:

---

root [/]# tail  /var/log/chkservd.log
crond [[check command:+][socket connect:N/A]]...
cpsrvd [[http_service_auth:1][check command:N/A][socket connect:+]]...
cphulkd [[check command:+][socket connect:+]]...
cpdavd [[http_service_auth:1][check command:+][socket connect:+]]...
cpanellogd [[check command:+][socket connect:N/A]]...
cpanel_php_fpm [[check command:N/A][socket connect:N/A]]...
cpanel-dovecot-solr [[check command:+][socket connect:+]]...
clamd [[check command:+][socket connect:N/A]]...
apache_php_fpm [[check command:+][socket connect:N/A]]...Done
Service Check Finished

---

کد:

---

root [/]# tail  /usr/local/cpanel/logs/tailwatchd_log
[25173] [2017-09-24 18:30:00 +0330] [Cpanel::TailWatch::Eximstats] Resetting email limits to new starttime of 1506265200
[25173] [2017-09-24 18:46:13 +0330] [Cpanel::TailWatch] [INFO] tailwatch saving positions and reloading configuration on SIG
[25173] [2017-09-24 18:46:13 +0330] [Cpanel::TailWatch] [INFO] Flushing all readers
[25173] [2017-09-24 19:30:00 +0330] [Cpanel::TailWatch::Eximstats] Resetting email limits to new starttime of 1506268800
[25173] [2017-09-24 20:30:00 +0330] [Cpanel::TailWatch::Eximstats] Resetting email limits to new starttime of 1506272400
[25173] [2017-09-24 20:42:58 +0330] [Cpanel::TailWatch] [INFO] tailwatch saving positions and reloading configuration on SIG
[25173] [2017-09-24 20:42:58 +0330] [Cpanel::TailWatch] [INFO] Flushing all readers
[25173] [2017-09-24 21:07:34 +0330] [Cpanel::TailWatch::Eximstats] Loading email sending limits from 1506272400 - 1506276000
[25173] [2017-09-24 21:07:34 +0330] [Cpanel::TailWatch] [INFO] tailwatch saving positions and reloading configuration on SIG
[25173] [2017-09-24 21:07:34 +0330] [Cpanel::TailWatch] [INFO] Flushing all readers

---

با تشکر از دوستان...

- - - Updated - - -

علاوه بر موارد بالا؛
زمانی هم که سرور با مشکل خطاهای مذکور روبرو میشه، نتیجۀ دستور وضعیت سرویس timedated به این صورته:

کد:

---

root [/]# systemctl status systemd-timedated
● systemd-timedated.service - Time & Date Service
  Loaded: loaded (/usr/lib/systemd/system/systemd-timedated.service; static; vendor preset: disabled)
  Active: failed (Result: timeout) since Wed 2017-09-20 07:03:02 +0430; 46s ago
    Docs: man:systemd-timedated.service(8)
          man:localtime(5)
          http://www.freedesktop.org/wiki/Software/systemd/timedated
  Process: 9152 ExecStart=/usr/lib/systemd/systemd-timedated (code=killed, signal=TERM)
 Main PID: 9152 (code=killed, signal=TERM)


Sep 20 07:01:32 name.server.com systemd[1]: Starting Time & Date Service...
Sep 20 07:03:02 name.server.com systemd[1]: systemd-timedated.service start operation timed out. Terminating.
Sep 20 07:03:02 name.server.com systemd[1]: Failed to start Time & Date Service.
Sep 20 07:03:02 name.server.com systemd[1]: Unit systemd-timedated.service entered failed state.
Sep 20 07:03:02 name.server.com systemd[1]: systemd-timedated.service failed.

---

بازدید سایت های روی سرور به چه صورت هست ؟ چیز غیر عادی دیده نمیشه . به نظر میرسه فشار روی سرور باعث میشه یکی از سرویس ها ( timedated ) عملکرد غیر عادی داشته باشه . وب سرور آپاچی هست به تنهایی ؟ از varnish یا سایر موارد برای بالانس کردن لود سرور استفاده نمیکنید ؟

آیا مشکلی که پیش میاد در بازه های زمانی خاص یا ساعتی خاص رخ میده ؟

بازدید سایت ها عادی است و هیچ مشکلی از این بابت وجود نداره.

اصلاً به همین دلیل هم هست که مشکوکه!

3 یا 4 روز همه چیز درست کار می کنه. بعد از اون یکدفعه لود به خاطر سرویس

timedated میره بالا!

وب سرور هم به تنهایی آپاچی است. لود بالانسینگ هم نداره.

آخرین باری که این مشکل پیش اومد بعد از زمانی بود که کران آپدیت WHM اجرا شد.


نتیجۀ دستور systemctl status systemd-timedated نشون میده که این سرویس از کار افتاده (در زمان ایجاد مشکل)!

یک مانیتورینگ انجام بدید ببینید که ساعت های پیش آمدن مشکل چه ساعاتی هست ؟ برای مثال اگر هر 3 روز یک بار در ساعت 8 شب مشکل پیش میاد ، میتونه به دلیل اجرای یک کران جاب باشه . چیزی که واضح هست اینه که خود سرویس timedated مشکلی نداره بلکه یک عامل دیگه باعث میشه که عملکردش غیر عادی بشه . مثلا یک کران جاب موقع اجرا شدن به این سرویس فشار بیش از حد میاره و باعث داون شدن process میشه . یک بار هم سعی کنید ببینید میتونید ارور Hang رو بازسازی کنید ؟ مثلا سرور رو ریست کنید و سرویس timedated رو kill کنید ببینید بازم شرایط اولیه ایجاد میشه ؟

با تشکر از راهنمایی دوستان عزیز

قابل ذکر است که زمان پارتیشن بندی و نصب سیستم عامل، برای tmp یک پارتیشن تعریف شده.

این موضوع نمی تونه ارتباطی با این مشکل داشته باشه؟

چرا اتفاقا این process از /tmp به عنوان loading point استفاده میکنه . محتوای etc/fstab چیه ؟

میتونید دستور زیر رو استفاده کنید

کد:

---

systemctl mask tmp.mount

---

- - - Updated - - -

الان یه ریپورت باگ روی centos هم دیدم با همین موضوع . چک کنید شاید به دردتون خورد .

https://bugzilla.redhat.com/show_bug.cgi?id=1298109

این محتوای etc/fstab :

کد:

---

/dev/mapper/cl-root        /        xfs        defaults,uquota        0        0
UUID=8b883682-a420-4fdc-8410-39758399f8fb /boot                  xfs    defaults        0 0
/dev/mapper/cl-tmp      /tmp                    xfs    defaults        0 0
/dev/mapper/cl-swap    swap                    swap    defaults        0 0
/tmp            /var/tmp                    ext3    defaults,bind,noauto        0 0

---

الان اون دستوری که دادید، چه کار می کنه؟ اون رو باید زد؟

خیلی خیلی ممنون ...

تو ساختار ارائه شده دو تا مشکل دیده میشه اول اینکه partition format روی xfs هست . بهتر بود ext4 باشه و اگه به بنده بود سیستم رو کلا از اول نصب میکردم فقط برای همین مورد ! مورد بعدی اینکه موقع نصب خود سیستم عامل

کد:

---

/dev/mapper/cl-tmp      /tmp                    xfs    defaults        0 0

---

رو در نظر گرفته . علت وجود این پارتیشن زیر چیه ؟

کد:

---

/tmp            /var/tmp                    ext3    defaults,bind,noauto        0 0

---

دستور mask برای غیر فعال کردن لود سرویس یا پارتیشن در زمان بوت هست و همچنین به process های با دسترسی root هم اجازه نمیده از پارتیشن یا سرویس مورد نظر استفاده کنن

کد:

---

systemctl mask tmp.mount

---

پارتیشن tmp رو mask میکنه . مخالفش هم unmask هست اگه نتیجه نگرفتید میتونید به حالت عادی برگردونید

من پیشنهادم نصب مجدد سیستم عامل هست و فرمت پارتیشن ها رو ext4 کنید و بهتر پارتیشن بندی کنید . تبدیل از فرمت xfs به ext4 ممکن نیست !

اتفاقا ما هفته پیش بعد از چند سال سرور سی پنلمون رو به Centos 7 اپگرید کردیم و از اون به بعد همین مشکل گریبانگیر ما شده.
این پردازش مربوط به systemd هست و سرویس systemd-timedated هست و فایل اجراییش در مسیر /usr/lib/systemd/systemd-timedated قرار گرفته.
در کنار این مشکل که systemctl از دسترسی به زمان و کنترل زمان بی بهره میمونه، ارتباط پروسس ها با D-BUS هم به مشکل برمیخوره و سرویس هایی مثل systemd-logind و systemd-reboot هم عملا از کار میوفتن شما حتی با ریستارت کردن dbus پروسس systemd دسترسیشو برای ارتباط از دست میده.
همینطور اگر شما php-fpm هم روی سرورتون فعال کنید به محض بوجود اومدن این مشکل پروسس اصلی php-fpm هم داخل یک حلقه بی نهایت میوفته و علاوه بر اینکه تمام CPU رو استفاده میکنه سایت هاتون هم ارور 502 میدن چون unlix socket ایجاد نمیشه.
البته داخل مخزن اصلی systemd چند نفر دیگه همین موارد رو ذکر کرده بودند ولی توسعه دهنده های این پروژه همشون ذکر کرده بودند که نسخه نصب شده روی سرورشون خیلی قدیمیه و با بروز رسانی حل میشه!
(بصورت پیشفرض Centos 7 نسخه 219 رو نصب میکنه و الان نسخه 234 بصورت stable منتشر شده: https://github.com/systemd/systemd/releases )

من تا الان هیچ راه حلی به جز ریبوت کردن سرور پیدا نکردم که بصورت موقتی تا دو الی سه روز مشکل حل میشه و اگر نتونستیم مشکل رو تا آخر هفته حل کنیم مجددا بر میگردیم به Centos 6 چون از لحاظ پایداری واقعا شرایط خوبی نداره...

نقل قول:

---

نوشته اصلی توسط Mr-Pro

تو ساختار ارائه شده دو تا مشکل دیده میشه اول اینکه partition format روی xfs هست . بهتر بود ext4 باشه و اگه به بنده بود سیستم رو کلا از اول نصب میکردم فقط برای همین مورد ! مورد بعدی اینکه موقع نصب خود سیستم عامل

کد:

---

/dev/mapper/cl-tmp      /tmp                    xfs    defaults        0 0

---

رو در نظر گرفته . علت وجود این پارتیشن زیر چیه ؟

کد:

---

/tmp            /var/tmp                    ext3    defaults,bind,noauto        0 0

---

...

من پیشنهادم نصب مجدد سیستم عامل هست و فرمت پارتیشن ها رو ext4 کنید و بهتر پارتیشن بندی کنید . تبدیل از فرمت xfs به ext4 ممکن نیست !

---

تشکر از شما دوست و استاد گرامی

خب، اینکه می فرمایید Partition Format روی xfs است که خود نصاب پیش فرض CentOS هم که همین فرمت رو انتخاب می کنه!

پارتیشن /dev/mapper/cl-tmp در زمان نصب خود بنده تعیینش کردم که ساخته بشه.
اما /tmp /var/tmp رو به نظر می رسه که خود سی پنل ساختش. البته اسکریپت securetmp سی پنل هم اجرا شده. می تونه دلیلش این باشه.


بنده زمانی که خواستم سیستم عامل رو نصب کنم، پارتیشن بندی به صورت زیر تعیین شد:

فایل پیوست 36858

علی الظاهر که مشکلی دیده نمیشه!

بنده هم دقیقا همین مشکل رو دارم
این رو هم میتونم اضافه کنم که قطعا مشکل ساعت 12 شب به وقت سرور اتفاق می افته

نقل قول:

---

نوشته اصلی توسط 0251

بنده هم دقیقا همین مشکل رو دارم
این رو هم میتونم اضافه کنم که قطعا مشکل ساعت 12 شب به وقت سرور اتفاق می افته

---

خب؛ شما هم برای tmp پارتیشن درست کردید؟ و کلاً دستی پارتیشن بندی کردید؟

نقل قول:

---

نوشته اصلی توسط jamal

خب؛ شما هم برای tmp پارتیشن درست کردید؟ و کلاً دستی پارتیشن بندی کردید؟

---

حقیقت مطلب بحث نصب و پیکربندی سیستم عامل و سی پنل رو شرکتی که سرور رو ازشون تهیه کردم انجام دادن و البته اینم بگم از شرکت های واقعا خوش نام هستن

سلام دوستان
هنوز راه حلی برای این مشکل نیست؟

دوستان راه حل منطقی برا حل این باگ نیست ؟؟؟
ما نیز روی سرور های سی پنل به این مشکل بر خوردیم جالب اینکه تماماً روی centos7.4 که هست برا دو تا سرور مشکلی نداره برا دو تا دیگه مشکل داره و لود سی پی یو 100% میشه با اینکه کانفینگ یکی هست!

راه حل این مشکل بر میگرده به پارتیشن tmp شما. این پارتیشن باید به درستی تنظیم شده باشه.

اگر در زمان نصب سیستم عامل یک پارتیشن tmp تعیین کرده باشید، معمولاً با این مشکل روبرو میشید.

در این صورت اگر با دستور systemctl mask tmp.mount این پارتیشن رو ماسکش کنید، مشکل باید برطرف بشه.

نقل قول:

---

نوشته اصلی توسط jamal

راه حل این مشکل بر میگرده به پارتیشن tmp شما. این پارتیشن باید به درستی تنظیم شده باشه.

اگر در زمان نصب سیستم عامل یک پارتیشن tmp تعیین کرده باشید، معمولاً با این مشکل روبرو میشید.

در این صورت اگر با دستور systemctl mask tmp.mount این پارتیشن رو ماسکش کنید، مشکل باید برطرف بشه.

---

سلام .
زده ام این دستور رو مشکل کانکشن تایم اوت میده .

سلام
آیا از لایسنس اورجینال استفاده می کنید؟

دوستان این مشکل اول مریوط به systemd میشد که چک کنید systemctl --version باید 219 باشه
در غیر این صورت اگر کلودلینوکس استفاده میکنید مربوط به mount و cagefs میشه به طوری که دستور df هم خروجی نمیده

نقل قول:

---

نوشته اصلی توسط arazit

سلام
آیا از لایسنس اورجینال استفاده می کنید؟

---

بله . یوزر رو تریال این اتفاق براش افتاد !

- - - Updated - - -

نقل قول:

---

نوشته اصلی توسط TeraServerCo

دوستان این مشکل اول مریوط به systemd میشد که چک کنید systemctl --version باید 219 باشه
در غیر این صورت اگر کلودلینوکس استفاده میکنید مربوط به mount و cagefs میشه به طوری که دستور df هم خروجی نمیده

---

راه حلی به غیر اینکه برگردیم به 6 وجود دارد ؟

سلام،
پس از پیگیری های انجام شده با دوستان، راه حلی پیدا کردم بنده و مشکل در طی اون به صورت کامل حل شد.
تا امشب به جهت حل مشکل سراسری، این راه حل عمومی خواهد شد در انجمن.
نیازی نیست به ورژن ۶ برگردید.

با احترام.

نقل قول:

---

نوشته اصلی توسط asrhosting

بله . یوزر رو تریال این اتفاق براش افتاد !

- - - Updated - - -



راه حلی به غیر اینکه برگردیم به 6 وجود دارد ؟

---

اگر cloudlinux دارید و مشکل به وسیله mount به وجود میاد با اپدیت cagefs به اخرین نسخه که بتا هست حل میشه

خروجی cagefsctl --version را ارسال کنید

نقل قول:

---

نوشته اصلی توسط Farid Saadat

سلام،
پس از پیگیری های انجام شده با دوستان، راه حلی پیدا کردم بنده و مشکل در طی اون به صورت کامل حل شد.
تا امشب به جهت حل مشکل سراسری، این راه حل عمومی خواهد شد در انجمن.
نیازی نیست به ورژن ۶ برگردید.

با احترام.

---

درود

آیا این راه حل رو انتشار دادید؟

متشکرم

نقل قول:

---

نوشته اصلی توسط peym@n

درود

آیا این راه حل رو انتشار دادید؟

متشکرم

---

بسیار سپاسگزارم از یادآوری شما.
http://www.webhostingtalk.ir/showthr...98#post1720998

با احترام.