چگونه يک پتابايت سرور ارزان بسازيم؟

[royalserver.ir]

همان‌طور که مي‌دانيد، قيمت‌هايي كه شركت‌هاي بزرگ مانند NETGEAR، QNAP، Sonology، Thecus و سايرين براي عرضه سرورهاي پيشرفته NAS در «كلاس تجاري» دريافت مي‌كنند، بسيار بيشتر از هزينه‌اي است كه براي راه‌اندازي يك سرور دست‌ساز هزينه مي‌شود. البته، مي‌دانيم كه اين شركت‌ها براي كسب منفعت وارد بازار رقابت شده‌اند، بنابراين حاصل زحمات خود را به سادگي و با قيمت پايين در اختيار سايرين نمي‌گذارند. با وجود اين، گاهي بين محصولي كه به‌صورت آماده خريداري‌مي‌كنيد با ابزار مشابهي كه خودتان براي رفع نيازهايتان مي‌سازيد، تفاوت به قدري زياد است كه به‌احتمال خودتان تصميم مي‌گيريد وارد عمل شده و يك سرور NAS سفارشي بسازيد. شركت Backblaze كه در زمينه تهيه نسخه‌پشتيبان مبتني بر Cloud فعاليت مي‌كند، هنگامي كه از قيمت چنين سيستم‌هاي ذخيره‌سازي‌اي آگاه شد، تفكر مشابهي داشت. اين شركت خدمات ‌ابري تهيه نسخه پشتيبان از اطلاعات سيستم‌هاي تحت ويندوز يا Mac را به‌صورت نامحدود و ماهانه، به مبلغ پنج دلار به ازاي هر سيستم عرضه مي‌كند. بنابراين، به فضاي ذخيره‌سازي بسيار زياد يعني چندين پتابايت فضا نياز دارد (يك پتابايت معادل 1000 ترابايت است).

مسئولان اين شركت ابتدا به دنبال راه‌حل‌هاي تجاري بودند، اما پس از بررسي جدول مقايسه‌اي قيمت‌ها به اين نتيجه رسيدند كه بهتر است طراحي و ساخت تجهيزات موردنياز خود را رأساً برعهده بگيرند و آن را بسازند. در اين مقاله قصد نداريم تمام جزئيات سرورهاي Backblaze را بررسي‌كنيم، بلكه به مطالبي مي‌پردازيم كه سازندگان سرورهاي بسيار كوچك‌تر از سرورهاي Backblaze مي‌توانند از تجربيات اين شركت بياموزند. البته اين توضيح لازم است که در طراحي Backblaze قابليت رسيدن به سرعت صد مگابايت بر ثانيه لحاظ نشده است، زيرا برنامه مبتني بر وب اين شركت به چنين سرعتي نياز ندارد. با وجود اين، هنوزهم درس‌هاي با ارزشي براي يادگيري وجود دارد.
طرح اوليه
دستگاه Storage Pod كه توسط Backblaze طراحي شده، از يك محفظه فلزي سفارشي و مجموعه‌اي از تجهيزات سخت‌افزاري داخلي تشكيل شده‌است. هر محفظه فلزي حاوي يك مادربرد اينتل است كه چهار كارت SATA روي آن نصب شده است (شكل 2). نه كابل SATA از اين كارت‌ها به سمت پانل پشتي محفظه كشيده‌شده است كه هركدام به‌طورمستقيم به پنج هاردديسك متصل هستند (جمعاً 45 عدد هاردديسك درون هر محفظه قرار دارد). نكته جالب توجه اين است كه در اين طراحي قيمت هاردديسك‌ها بخش زيادي از هزينه ساخت سرور را تشكيل مي‌دهند و ساير اجزاي سيستم از تجهيزات معمول موجود در بازار تشكيل شده‌اند.

شكل 1- هزينه راه‌اندازي يك سرور پتابايتي بر مبناي تجهيزات سازندگان مطرح

محفظه
بزرگ‌ترين مشكلي كه اغلب افراد هنگام ساخت سرورهاي NAS با آن مواجه مي‌شوند، يافتن يك محفظه مناسب براي پيكربندي اجزاي سخت‌افزاري است. طراحي و ساخت يك محفظه سفارشي براي اغلب افراد امكان‌پذير نيست (شكل2). با وجود اين، مي‌توان با استفاده از امكاناتي كه در اختيار اغلب افراد قرار دارد، محفظه‌اي شبيه نمونه مورد نظر را ساخت. به‌عنوان‌مثال، اگر بخواهيد از سيستم‌هاي RAID باسه درايو توكار استفاده‌كنيد، بهتر است طراحي محفظه‌هاي Better Box را درنظربگيريد. در اين طراحي از يك قاب Apevia و يك ماجول سه‌دهانه SATA استفاده شده است. اگر مايليد با صرف هزينه بيشتر از محفظه‌هاي غيرفلزي استفاده كنيد، بهره‌گيري از طراحي مدل ES34069 محصول شركت Chenbro را براي سرورهايي با چهار درايو توكار توصيه مي‌كنيم.

شكل 2_ نماي باز شده از طراحي سرورهاي Backblaze

طرح حرارتي
در محفظه سرور براي خنك‌سازي درايو‌ها از شش فن 120 ميلي‌متري در يك ساختار دمش/مكش استفاده شده است. هدف نهايي شركت Backblaze از به‌كارگيري اين ساختار، تثبيت دماي محيط داخلي محفظه روي 50 درجه سانتي‌گراد است. علت اين رويكرد كاملاً واضح است؛ باوجود اين‌كه اغلب درايوها قادرند تا دماي 60 درجه سانتي‌گراد به خوبي عمل كنند، تجهيزات تأمين توان مصرفي سيستم تنها تحمل گرمايي تا 50 درجه سانتي‌گراد را دارند. طبق اظهارات مسئولان شركت Backblaze حسگرهاي گرمايي درايوها معمولاً دمايي كمتر از 40 درجه سانتي‌گراد را نمايش مي‌دهند. بنابراين، دماي كل سرور كمتر از ميزان موردانتظار است و اين شركت به اهداف خود از طراحي سيستم خنك‌سازي دست يافته است. توان مصرفي فن‌ها تقريباً كم است و از آنجا كه امكان خرابي آن‌ها زياد است، استفاده از شش عدد فن در يك سيستم همواره تثبيت دماي مناسب را تضمين مي‌كند. فن‌ها، هوا را از قسمت جلوي محفظه به قسمت پشت آن (جايي كه تجهيزات تأمين نيرو نصب شده است) مي‌دمند، بنابراين گرماي تجهيزات تأمين توان، به درون محفظه دميده نمي‌شود.
مادربردها
سازندگان سرورهاي NAS دست‌ساز، معمولاً در انتخاب مادربرد مناسب دچار شك‌ مي‌شوند. اما از آنجا كه سرورهاي NAS به اغلب قابليت‌هاي مادربردهاي امروزي نياز چنداني ندارند، استفاده از مادربردهايي كه از امكانات و پردازنده‌هاي پيشرفته پشتيباني مي‌كنند، به نوعي صرف هزينه اضافي است. يكي از عواملي که در انتخاب مادربردهاي LGA 775 G43 ATX BOXDG43 NB لحاظ نشد، قابليت پشتيباني از پورت‌هاي توكار SATA بود. در سرور اين شركت به هيچ‌وجه از تجهيزات توكار SATA استفاده نمي‌شود؛ زيرا با وجود ادعاهاي اينتل درباره پشتيباني از سيستم افزاينده پورت‌ها، شركت Backblaze هنگام آزمون‌هاي خود نتايج‌عجيبي را از كارايي پل جنوبي ICH10 به دست‌آورد. شركت Backblaze به جاي استفاده از قابليت مذكور، به‌منظور پشتيباني از 45 درايو SATA كارت‌هاي كنترلر و صفحات توسعه‌دهنده SATA را به‌كار گرفت. شركت Backblaze نياز چنداني به حافظه نداشت، بنابراين وجود دو شيار DIMM براي نصب چهار گيگابايت حافظه DDR2 800 كافي بود. با تمام اين اوصاف، به دلايل مالي، شركت تصميم گرفت طراحي خود را با شرايط موجود درمورد شيارهاي PCIe x1 وفق دهد. درنتيجه، متخصصان شركت مجبور شدند از هر دو نوع كنترل كننده‌هاي PCI SATA وPCIe SATA استفاده كنند.

شكل 3- محفظه فلزي سرورها

شكل 4- اتصالات تجهيزات SATA

تجهيزات SATA
ساختار نصب تجهيزات SATA را در شکل4 مشاهده مي‌کنيد. اين ساختار از سه كنترلر دوپورتي PCI Express SATA II از نوع Syba SD-SA2PEX-2IR و يك كنترلر چهار پورتي SATA II PCI از نوعAdonics ADSA4R5 تشكيل شده است. هريك از نه‌كابل SATA به يك صفحه پنج پورتي SATA از نوع CFI-B53PM محصول شركتChang Fun Industry متصل شده است.

گزينه‌هايي كه براي كارت‌هاي SATA و کارت افزاينده پورت، پيش‌روي شركت Bacblaze قرار داشت، تنها به محصولاتي محدود مي‌شد كه از تجهيزات Silicon Image‌ استفاده مي‌كردند. از ديدگاه Backblaze شرکت Silicon Image بنيان‌گذار فناوري افزاينده‌هاي پورت محسوب‌مي‌شود و تراشه‌هاي اين شركت به‌خوبي باهم كار مي‌كنند. کارت‌هاي افزاينده پورت از يك تراشه SiI3726، كارت‌هاي SYBA از يك تراشه SiI3132 و كارت Adonics از يك تراشه SiI3124 بهره مي‌گيرد. شركت Backblaze در پاسخ به اين پرسش كه آيا كارت مبتني بر فناوري PCI بر كارايي سيستم تأثيري دارد يا خير، تأييد كرد كارايي اين نوع كارت‌ها نسبت به كارت‌هاي PCIe كمتر است. اما كارت Addonics با سرعت 25 مگابايت بر ثانيه هنوزهم به قدركافي سريع بود تا تمام نيازهاي اين شرکت را برآورده سازد. متخصصان اين شركت مي‌گويند، با سرعت 25 مگابايت برثانيه، دو ترابايت اطلاعات را مي‌توان در طول يك روز ضبط كرد و يك محفظه سرور، ظرف يك ماه كاملاً پر مي‌شود.

درايوها
همان‌طور كه تاكنون متوجه شده‌ايد، انتخاب درايوها از اهميت زيادي برخوردار است. شركت Backblaze تصميم‌گرفت، از درايوهاي 1,5 ترابايتي شركت سي‌گيت با نام Baracuda7200.11 استفاده كند. زيرا اين درايوها هنگام انجام آزمون، در مقايسه با درايوهاي وسترن ديجيتال در پيكربندي RAID پايداري بيشتري داشتند و قيمت آن‌ها نسبت به ظرفيتي كه در اختيار مي‌گذاشتند، مناسب بود.

متخصصان Backblaze مي‌گويند، درايوهاي سامسونگ و هيتاچي را مورد آزمون قرار داده‌اند و اين درايوها نيز عملكرد خوبي‌داشته‌اند. اما درايو‌هاي 1,5 ترابايتي سي‌گيت تركيب مناسبي از قيمت، ظرفيت و اندازه را در اختيار مي‌گذاشتند.علاوه‌براين، متخصصان شركت Backblaze گفتند، درايوهاي جديد در طول آزمون‌هاي فني تحت فشار بسيار زيادي قرار گرفتند. همچنين هريك از درايوهاي به‌كار رفته در سيستم نتايج مناسبي را در آزمون‌هاي حرارتي كسب كرده‌اند. اين آزمون‌ها تنها براساس نوع درايوها استانداردسازي مي‌شوند و فاكتورهايي مانند نگارش فرم‌ور يا شركت توليدكننده تأثيري در آزمون‌ها ندارد. براي نصب سيستم‌عامل از درايو WD Caviar 80GB 7200 RPM IDE استفاده شده است. اين درايو حداقل بر سرعت سيستم تأثيري ندارد.

شكل 5- ساختار نرم‌افزار سرورهاي Backblaze

سيستم عامل و سيستم فايلي
اين سرور، يك سيستم‌عامل 64 بيتي Debian 4 Linux را با استفاده از ‌سيستم‌فايلي JFS اجرا مي‌كند و دسترسي به آن از طريق پروتكل HTTPS امکان‌پذير مي‌شود. علت استفاده از ‌سيستم‌فايلي JFS نياز شركت Backblaze به پشتيباني از درايو‌هاي چند ترابايتي، سازگاري اين سيستم‌فايلي با سيستم‌عامل Debian و همچنين بهره‌مندي آن از يك انجمن پشتيباني توانمند بود. علت انتخاب سيستم‌عامل Debian اين بود كه سيستم‌عامل مذكور «واقعاً رايگان» است. شركت Backblaze در جريان انتخاب سيستم‌عامل به اين نتيجه رسيد كه از ساير سيستم‌عامل‌هاي اپن‌سورس به‌عنوان نقطه شروعي براي عرضه پيشنهادات پولي استفاده مي‌شود. به‌منظور آماده‌سازي فضاي هاردديسك ابتدا از دستور fdisk براي ايجاد يك پارتيشن در هر درايو استفاده شد. سپس با استفاده از دستور mdadm پانزده درايو 1,5 ترابايتي در يك ساختار RAID6 پيكربندي شده و درپايان در قالب ‌سيستم‌فايلي JFS و در بلوك‌هايي به اندازه چهار كيلوبايت فرمت شدند. فضاي فرمت‌شده قابل استفاده در هر سيستم 87 درصد از 67 ترابايت فضاي هاردديسك‌ها است كه حدود 57 ترابايت فضاي ذخيره‌سازي را در اختيار مي‌گذارد.

چنان‌كه پيش از اين گفته شد، دسترسي به اين سيستم‌ها از طريق پروتكل HTTPS امکان‌پذير مي‌شود. اين پروتكل در لايه اپليکيشن از يك اپليکيشن سرور Apache Tomcat 5.5 اجرا مي‌شود. شركت Backblaze با وجود پروتكل‌هايي مانند iSCSI، NFS، SQL، Fibre Channel و ... به دليل قيمت مناسب، ضريب اطمينان بالا و مديريت ساده پروتكل HTTPS اين پروتكل را انتخاب كرد.

جمع‌بندي
فرآيند طراحي سرور همواره جنگي برسررسيدن به تعادل مناسبي از هزينه‌ها، زمان و بازدهي است. به‌احتمال مهم‌ترين نتيجه‌اي كه مي‌توان از رويكرد طراحي سرورهاي Backblaze گرفت، نحوه مبادله ويژگي‌هاي غيرضروري تجهيزات با قابليت‌هاي موردنياز براي دستيابي به اهداف موردنظر اين شركت شامل هزينه پايين و فشردگي اندازه سيستم و فضاي ذخيره‌سازي بسيار زياد است. سرور Backblaze با استفاده از دو مؤلفه سفارشي شامل محفظه و وب‌سرور Apache تكميل شد. در اين رويكرد به واسطه توليد انبوه تجهيزات در هزينه و زمان صرفه‌جويي مي‌شود و به گفته Backblaze «مي‌توان روي شانه بزرگان ايستاد و به اختراع دوباره چرخ نيازي نيست!» نكته كليدي ديگر، درك ميزان بازدهي موردنياز در سرور بود. از آنجا كه اين سرورها بخشي از يك سرويس مبتني بر وب هستند، نيازي نيست كه با سرعت بسيار بالا كار كنند. با توجه به سرعت به‌نسبت پايين تبادل اطلاعات در اينترنت و همچنين اجراي برنامه‌ها، ارتباطي كه بين سرور و كامپيوتر كاربران برقرار مي‌شود، Backblaze طراحي سيستم را به منظور دستيابي به حداقل سرعت موردنياز براي تأمين اهداف اصلي ساخت اين سرورها تغيير داد. با توجه به اين كه خواندن و نوشتن با سرعت صد مگابايت برثانيه در شرايطي كه سيستم فراگير قادر به استفاده از مزاياي آن نيست، كاري بيهوده خواهد بود. شركت Backblaze در پاسخ به اين پرسش كه چرا از پردازنده‌هاي پرمصرف E8600 Core 2 Duo براي سرورها استفاده كردند، پاسخ داد اين پردازنده‌ها در جريان توليد آزمايش نشدند. اين شركت به جاي صرف مدت‌زماني به‌نسبت طولاني براي آزمايش پردازنده‌ها و در نهايت صرفه‌جويي به ميزان حداكثر صد دلار به ازاي هر پردازنده ترجيح داد زمان خود را براي بهبود ساير جنبه‌هاي طراحي صرف كند و در مقابل براي تهيه پردازنده‌ها هزينه بيشتري را درنظر بگيرد.

[CANOR]

ممنون از توضیحاتت
بسیار مفید و جالب بود
فقط یه ابهامی در مورد شکل 1 برام پیش اومد
اگه درست متوجه شده باشم منظور شما از شکل اول این هست که سروری که برای یک شرکتی مثل backblaze کمتر از 10 هزار دلار هزینه داره، این شرکت در قبال اجاره ی این سرور 117000 دلار از مشتری دریافت میکنه، درسته ؟

[amirHoseein]

خنک کردنشون یه مقدار غیر منطقی می یاد ! اصلا جور در نمی یاد