گذری بر ساختار معماری دیتاسنترها

گذری بر ساختار معماری دیتاسنترها

دیتاسنتر محلی برای محاسبات زیاد برنامه های کاربردی وذخیره سازی داده های مورد نیاز برای پشتیبانی ازفضاهای کسب و کار و تجارت می باشد . ساختار دیتاسنترمحور اصلی معماری های فناوری اطلاعات می باشد که همه ی محتوا از آن سرچشمه گرفته و یا از آن می گذرد . آمادگی برای طراحی ساختار ، کارآیی و چالاکی یک دیتاسنتر بسیار حیاتی است . مقیاس پذیری آن نیازمند دقت و ملاحظه است .
جنبه ی مهم دیگر طراحی دیتاسنترانعطاف پذیری در توسعه ی سریع جهت پشتیبانی از سرویس های جدید می باشد . طراحی یک معماری منعطف که قادر به پشتیبانی از برنامه های کاربردی جدید در یک بازه ی زمانی کوتاه باشد ، می تواند نتیجه ی مزایای رقابت های شدید باشد . پی ریزی نیازهای حیاتی وطراحی مطمئن ، با ملاحظه در تراکم پورت ها ، پهنای باند Uplink لایه ی دسترسی ، ظرفیت صحیح سرور و تعهدات بیش ازحد آن ، بایستی مورد توجه طراحان قرار گیرد .
طراحی شبکه و ساختار دیتاسنتر مبتنی بر رهیافت لایه بندی می باشد که در چندین سال گذشته در پیاده سازی دیتاسنترهای بزرگ جهان امتحان شده و بهبود یافته است . رهیافت لایه بندی پایه ای اساسی از طراحی دیتاسنتر است که بهبود مقیاس پذیری ، کارآیی ، انعطاف پذیری ، چالاکی و نگهداری را دنبال می کند . شکل1-1طراحی لایه ای اولیه را نشان می دهد . لایه های طراحی معماری دیتاسنتر عبارتند از :

http://www.ParsiBlog.com/PhotoAlbum/...9d8585d85e.jpg

لایه ی هسته ( core layer ) ، لایه ی تجمیع ( aggregation layer ) ، لایه ی دسترسی ( access layer )
این لایه ها به صورت خلاصه درزیر تشریح گردیده اند :
لایه ی هسته : این لایه سوئیچینگ با سرعت بالای بسته های ورودی و خروجی به دیتاسنتر را فراهم می کند . لایه ی هسته به چندین ما ژول لایه ی تجمیع متصل است . یک لایه ی سوم (layer 3 ) مسیریابی شده ی پایه را بدون هیچ نقطه ی شکستنی تدارک دیده است . لایه ی هسته یک پروتکل مسیریابی درونی مانند OSPF و EIGRP و توازن ترافیک بار بین هسته ی خارجی (پردیس) و لایه های تجمیع را با استفاده از الگوریتم های درهم سازی مبتنی بر ارسال سیسکو اجرا می کند.
ماژول های لایه ی تجمیع : این ماژول ها عملکردهای مهمی همچون ماژول یکپارچه ومجتمع سرویس ، تعاریف دامنه ی لایه ی دوم ، پردازش درخت پوشا و افزونگی دروازه ی پیش فرض را فراهم می کنند . ترافیک چند ردیفی ( Multi Tire ) سرور به سرور از طریق لایه ی تجمیع جریان می یابد ومی تواند سرویس ها را مورد استفاده قرار دهد ، مانند دیواره ی آتش و متوازن کردن بار سرور برای بهبود استحکام برنامه های کاربردی . شکل ها و آیکون های کوچک موجود در سوئیچ لایه ی تجمیع ماژول های سرویس مجتمع شده را نشان می دهند.این ماژول ها خدماتی مانند سوئیچینگ محتوا ، دیواره ی آتش ، SSL ، کشف نفوذی ها و تجزیه و تحلیل شبکه و ... را فراهم می کنند .
لایه ی دسترسی : این لایه نشان میدهد که سرورها بطور فیزیکی به شبکه متصل شده اند . اجزاء سرورها متشکل از سرورهای 1RU ، سرورهای Blade با سوئیچ های منظم ، سرورهای Blade ارسال کننده از طریق کابل ، سرورهای خوشه ای و ابرکامپیوترها با آداپتورهای OSA می باشند . ساختار شبکه ی لایه ی دسترسی از سوئیچ های مدولار ، سوئیچ های 1RU و 2RU با پیکربندی مناسب و سوئیچ های منظم Blade سرور تشکیل شده است . سوئیچ ها ، توپولوژهای لایه ی 2 و3 و نیز انواع پخش فراگیر در دامنه ی سرور و یا نیازهای مدیریتی را تدارک دیده اند .
در اینجا خلاصه ای از چهار چوب معماری های پیشنهادی برای دیتاسنترها در دو مدل چند-ردیفی ( Multi Tire ) و خوشه ای سرور ( Server Cluster ) معرفی می گردد .
مدل چند ردیفی متداول ترین طرح در محیط های بزرگ و مهم است و برپایه وب، برنامه های کاربردی و پایگاه داده لایه بندی شده وبرای پشتیبانی از اقتصاد و راه حل های تجارت های مهم ERPوCRMطراحی می شود .این نوع طراحی از تعداد زیادی معماری های خدمات مبتنی بر وب مانند آنهایی که مبتنی بر Microsoft.Netوویرایش دومJava هستند پشتیبانی می کند . این محیط های کاربردی خدمات مبتنی بر وب را توسط راه حل هایERPوCRMکه توسط oracle وSieble به کار می روند ارائه می دهند . مدل چند ردیفی مبتنی بر امنیت و خدمات بهبود یافته است که در شبکه تدارک دیده شده اند .مدل خوشه ای سروردر دانشگاه ها و انجمن های علمی رشد کرد ودرسرتاسرافق های تجاری ،مالی، کارخانه ها وسرگرمی ها ظهور یافت .مدل خوشه ای سرورها اغلب به محاسبات با کارآیی بالا HPC،محاسبات موازی و محیط های محاسباتی با توان عملیاتی بالا مربوط می شود. همچنین می تواند به محاسبات شبکه ای یا ابزاری مربوط باشند.این طراحی ها عمدتا براساس سفارشات هستند و گاهی نیز اختصاصی اند و یا برای معماری های برنامه های کاربردی که برای اهداف تجاری خاص مورد نظر هستند طراحی می شوند. مدل چند ردیفی Mulit- Tier)) دیتا سنتر توسط برنامه های کاربردی مبتنی برHTTPو دریک رهیافت چند ردیفی حاکم و غالب شده است. رهیافت چند ردیفی شامل وب ،برنامه های کاربردی و ردیف هایی ازسرورهای پایگاه داده می باشد. امروزه اغلب برنامه های کاربردی مبتنی بر وب به صورت برنامه های کاربردی چندردیفی ساخته می شوند .مدل چند ردیفی نرم افزاری را به کار می برد که فرایندهای جدایی را روی همان ماشین بااستفاده از ارتباط داخلی فرایندها IPCو یا روی ماشین های متفاوتی از طریق ارتباط آنها روی شبکه اجرا می کند.معمولا سه ردیف زیرمورد استفاده قرار می گیرند:
WEB -SERVER
APPLICATION
DATABASE
مزارع سرور چند ردیفی توسط فرایندهایی که روی ماشین های مجزایی در حال اجرایند ساخته می شوند که می توانند چالاکی وامنیت را فراهم نموده و بهبود دهند. چالاکی افزایش یافته زیرا یک سرور می تواند یک سرویس را تازمانی که همان عملیات هنوز توسط سروردیگری ووابسته به همان برنامه کاربردی استفاده می شود دریافت کند.امنیت نیز افزایش یافته زیرا مهاجمان باوب سرور بدون اینکه اجازه ی دسترسی به سرورهای برنامه های کاربردی یا سرورهای پایگاه داده را داشته باشند مصالحه می کنند.سرورهای وب وکاربردی می توانند روی یک سرور فیزیکی همزیست باشند اماغالبا سرورهای پایگاه داده جدامی باشند.چالاکی از طریق توازن بار ترافیک شبکه بین ردیف ها به دست می اید.امنیت نیز از طریق اعمال دیواره ی اتش بین ردیف ها به دست می اید .می توانید بین ردیف ها از طریق توسعه ی ساختارهای مجزا بین سوئیچ های دسترسی و تجمیع ویا ازطریقVLAN ها تفکیک قائل شوید.شکل2-1 را ببینید.

http://shool99.persiangig.com/image/883ed.jpg

http://shool99.persiangig.com/image/884ed.jpg

شکل3-1 نیزVLAN ها را جهت تفکیک نمودن مزارع سرور مو رد استفاده قرار می دهد.
شکل سمت چپ توپولوژی فیزیکی را نشان می دهد و شکل سمت راستVLAN تخصیص یافته را برای ماژولهای سرویس ،دیواره ی اتش و متوازن کننده ی بار سوئیچ را نشان می دهد. دیواره ی اتش ومتوازن کننده ی بار که ابزارهای VLANهستند تفکیک VLANرا بین مزارع سرور موجب می شوند. توجه داشته با شید که همه ی VLANها نیازی به متوازن کننده ی بار ندارند.به عنوان مثال پایگاه داده ترافیک را بطور مستقیم به دیواره ی اتش می فرستد.تفکیک فیزیکی کارآیی را افزایش میدهد زیرا هر ردیف از سرورها به یک سخت افزار اختصاصی متصل شده اند.مزیت استفاده از تفکیک منطقی به وسیله VLANها کاهش پیچیدگی مزرعه ی سرور ها می باشد.انتخاب بین تفکیک فیزیکی و تفکیک منطقی به نیازهای خاص کارآیی شبکه والگو های ترافیکی ان بستگی دارد.امنیت تجارت ونیازهای کارآیی می تواند روی طرح امنیتی وچگونگی بکارگیری ان تاثیر بگذارند.به عنوان مثال استفاده ازACLهای با سرعت سیمیWire-speed ممکن است بر استفاده ی از دیواره های اتش فیزیکی ترجیح داده شوند.دستگاه های امنیتی غیر نفوذی که کشف و همبستگی را فرا هم می کنند مانند مانیتورینگ سیسکو، تحلیل کننده وسیستم پاسخ MARS با حفره های تاریک راه اندازی شده ی مسیرRTBHوسیستم محافظ نفوذی سیسکوIPSترکیب شده اند،ممکن است نیازهای امنیتی را براورده سازند.نگهبان سیسکوهمچنین می تواند به عنوان یک مدافع اصلی برعلیه حملا تDDOS توسعه داده شود.

درمحیط های پیشرفته ی دیتا سنترخوشه هایی ازسرورها به منظور اهداف مختلفی مورد استفاده قرارمی گیرند.شامل قابلیت دسترسی بالاوتوازن باروافزایش قدرت محاسباتی می باشند وعمدتا کارآیی بالای خوشه ها مورد نظراست زیرا تعداد زیادی ازمزارع را شامل می شوند.همه ی خوشه ها یک سری اهداف عمومی را باترکیب چندین (CPU) جهت ظاهرشده به عنوان یک سیستم یکپارچه با کارآیی بالا که نرم افزار خاصی را ازطریق اتصالات داخلی شبکه باسرعت بالا اجرا می کنند دنبال می کنند.خوشه های سرور به صورت سنتی با تحقیقات دانشگاهی کتابخانه های علمی و تحقیقات نظامی برای برنامه های کاربردی منحصربه فرد مانند مواردزیرمرتبط بوده اند.
(meterology)هوا شناسی (seismology) زلزله شناسی (military research) تحقیقات نظامی
خوشه های سرور امروزه بسیارمهم و خطیرمی باشند زیرا مزایای تکنولوژی خوشه ای دامنه ی وسیعی ازبرنامه های کاربردی را فرا گرفته است.برنامه هایی مانند تجزیه و تحلیل امور مالی ،فیلم های متحرک انیمیشن، ساخت و تولید در کارخانه ها وموتورهای جستجو این اهمیت را چندین برابر نموده اند. در این موارد مهم اغلب توسعه دهنده گان متقاضی پهنای باند زیادوکاهش نهفتگی برای رشد تعدادی ازبرنامه های کاربردی هستند.به دلایل زمانی مرتبط با بازار این برنامه های کاربردی نتیجه ی مزایای رقابت شدید هستند.به عنوان مثال کارآیی خوشه می تواند به طور مستقیم تحت تاثیر دریافت یک فیلم درفصول تعطیل سال قرارگیرد ویا موج های موجود در بازارهای مالی وگرایش های اطلاعاتی مشتریان درمواقع انتقال بازارکارآیی را تحت تاثیر قراردارد.
(HPC) واتصالات داخلی آنها :

درچشم انداز محاسبات باکارآیی بالا انواع مختلفی از خوشه های ) HPC ) وجود دارند که فناوری های متنوعی را به کار می برند بیش از 500ابرکامپیوتردر Home | TOP500 Supercomputer Sites فهرست شده اند که یک دید جامع و زیبا را از این چشم انداز فراهم نموده اند.غالب فناوری های ارتباطی داخلی مورد استفاده ی امروزی بر پایه ی اترنت گیگابیت وسریع استوارند.اما تعدادی ارتباطا ت داخلی خاص ودرحال رشد وجود دارد.مانند InfinibndوMyrinet بخصوص ارتباطات داخلی از نوع infiniband که کمترین نهفتگیlatency وشاخص های سویچینگ باپهنای باند بالا را در مقایسه با اترنت سنتی دارند واهرمی برای دسترسی مستقیم و راه دور به حافظه را پشتیبانی می کنند.کارت های رابط شبکهNIC باسرعت 10GE نیز اخیرا ظهوریافته اند که موتورهای TCP/IP affload را معرفی می کنند و کارآیی مشابهی را برایInfiniband ارائه می کنند.خطSFS سوئیچ هایInfinibandسیسکو ونیز اداپتورهای کا نال میزبان HCAراه حل های محاسباتی با کارآیی بالا را که با تقاضا های بیش از حد مواجه اند را ارایه می کنند. اگر چه خوشه های با کارآیی بالاHPC در انواع واندازه های مختلفی وجود دارند. فهرست بندی زیر سه نوع اصلی که در محیط های مهم هستند را نشان می دهد.
HPC Type 1ارسال موازی پیام :
برنامه های کار بردی که روی گره های محاسباتی به طور هم زمان و موازی اجرا می شود .-
- گره اصلیmaster node که پردازش ورودی را برای هر گره محاسباتی compute nodeمعین می کند .
- می تواند یک خوشه ی کوچک یا بزرگ باشد که به کندو های تقسیم میشود مانند 1000سرور در 20کندو با ارتباط IPCبین کندو ها و گره های محاسباتی
HPC Type 2 :پردازش I/Oتوزیع شده (مانند موتور های جستجو )
- درخواست کلاینت در سراسر گره های اصلی توزیع می شود.سپس به گره های محاسباتی جهت پردازش موازی پخش می شود. -
این نوع سریع ترین پاسخ را کسب نموده و محتوای ورودی را تهیه و به کلاینت ارسال می کند .
HPC Type 3 پردازش موازی فایل :
- فایل های داده ای منبع تقسیم شده ودرسرتا سر مخزن محاسباتی جهت پردازش موازی توزیع می شود سپس اجزا پردازش شده بعد از تکمیل به هم می پیوندند وذخیره می شوند .
- میان افزار های Middlwareپردازش کارها را مدیریت و کنترل می کنند مانند پلتفرم سیستم فایل خطیLFS
خوشه های محاسباتی با کارآیی بالا وسنتی که از محیط های نظامی ودانشگاهی پدیدار شدند بر پایه خوشه های نوع1 بودند.برنامه های کاربردی مهم HPC جدید بیشتر با HPC type2,3 هم تراز شده اند و از سرگرمی ها،امور مالی تجاری و نیز از رشدصنایع حیاتی پشتیبانی می کنند. شکل 4-1 چشم انداز خوشه های سرور رانشان می دهد.
شکل5-1 دیدی منظقی از خوشه های سرور را نشان می دهد.

http://shool99.persiangig.com/image/885ed.jpg

با توجه به شکل 5-1 اجزای تشکیل دهنده یک خوشه ی سرور عبارتند از:

http://shool99.persiangig.com/image/886d.jpg

front end جلودار : این رابط ها جهت دسترسی خارجی به خوشه مورد استفاده قرار می گیرند.می توانند توسط سرورهای کاربردی یا کاربرانی که کارها یشان را به خوشه تسلیم و نتایج کار را دریافت می کنند مورد دسترسی قرار گیرند.مانند یک فایل بزرگ جهت رندر (render) و یا دریافت نتیجه ی یک فایل رندر شده.معمولا این قسمت یک رابط اترنتIP است که به لایه ی دسترسی ساختار مزرعه ی سرور موجود متصل شده است.
گره های اصلی (master node) : گره های اصلی مسول مدیریت گره های محاسباتی در خوشه هستند وظرفیت محاسباتی را بهبود می بخشند.معمولا گره های اصلی تنها گره هایی هستند که با جهان خارج در ارتباطند.میان افزارهایی روی گره های اصلی خوشه در حال اجرا یند که ابزارهایی را برای مدیریت منابع،زمان بندی کارها ومانیتورینگ گره های محاسباتی در خوشه انجام می دهند.عمدتا گره های اصلی به طریق افزایشی توسعه داده می شوند ومعمولا سرورهایی با کارآیی محاسباتی بالا نسبت به گره های محاسباتی هستند.
back-end باسرعت بالا : این خط سرعت بالا یک واسط ارتباطی میان گره اصلی و گره محاسباتی می باشد. ونوعا نیازمند حداقل نهفتگی (low latency) وپهنای باند بالا ونیز شامل فریم های بزرگ jumbo وپشتیبانی از10GE می باشد.اترنت گیگا بیت امروزه متداول ترین فنا وری مورد استفاده در پیاده سازی های خوشه ای سرور می باشد.اما فناوری دیگری نوید داده می شود به طور خاصl . Infiniband
گره های محاسباتی (compute-nodes) : گره ی محاسباتی یک هسته ی کامل os که مسئول عملیات شدید cpu مانند شکستن عدد ، رندر کردن ، کامپایل کردن و دیگر دستکاری های فایل می باشد را اجرا می کند.
مسیر ذخیره سازی storage path : در مسیر ذخیره سازی می بایست از اترنت یا رابط های ارتباطی فیبر نوری استفاده کرد . رابط های ارتباطی فیبر نوری از رابطه های1/2/4G تشکیل شده اند که معمولا به سوئیچ های SAN متصل هستند. مانند پلتفر MDS سیسکو . back-end و مسیر ذخیره سازی می توانند روی اترنتIP به منبع ذخیره سازی دست یابند . نوعا این امر برای پروتکل های ISCSI و NFS برای دروازه ی SAN یا NAS مانند ماژول IPS روی پلتفرم MDS سیسکو می باشد.
سیستم فایل عمومی : خوشه ی سرور یک سیستم فایل عمومی را بکار می برد که اجازه ی دسترسی با کارآیی بالا را به همه ی گره های محاسباتی می دهد . انواع سیستم فایل توسط سیستم عامل تغییر می کند مانند PVFS یا Lustre
بررسی فیزیکی :

طراحی خوشه های سرور می تواند متفاوت از یکدیگر باشند . اما برخی مراحل عمومیت دارند . مانند موارد زیر :

http://shool99.persiangig.com/image/1-6.jpg

ابزار خاموش کردن پوسته ( cots ) سخت افزار سرور : اکثریت پیاده سازی های خوشه ی سرور مبتنی بر سرورهای 1RU اینتل وAMD با یک یا دو پردازنده می باشد .
کارت های گیگا اترنت و10GE NIC : برنامه های کاربردی در یک خوشه ی سرور می توانند پهنای باند شدیدی را اشغال کنند و قابلیت سازگاری با انفجار (burst) را در یک نسبت بالا وقتی نیاز باشد داشته باشند . کارت های PCl-x وPCl-express یک گذرگاه انتقال با سرعت بالا را فراهم می کنند و مقدار زیادی از حافظه را مورد استفاده قرار می دهند . فناوری های TCP/IP offload و RDMA نیز جهت افزایش کارآیی وقتی بکار گیری CPU در حال کاهش است مورد استفاده قرار می گیرند .
سخت افزار با کمترین نهفتگی (latency) : معمولا نگرانی مهم توسعه دهندگان مربوط به میزان تاخیر رابط ارسال پیام می شود ،که روی کارآیی کاربردی یا خوشه اثر می گذارد . این مورد همیشگی نیست ، زیرا برخی خوشه ها روی عملکرد بالا و زیاد متمرکز شده اند و نهفتگی بصورت عمده برنامه های کاربردی را تحت فشار قرار نمی دهد . سازمان دهنده ی (catalyst) 6500 سیسکو با ارسال توزیع شده و سازمان دهنده ی 4948 - 10 G ترکیبی از مقادیر نهفتگی ضروری را برای محیط های خوشه ای سرور فراهم می کنند . عدم مسدود سازی:بسیاری از برنامه های کاربردی HPCعلاوه بر مصرف پهنای باند شدید انتقال زیاد داده ها از نظر کمی بین گره ها ی محاسباتی و ارتباط داخلی فرایندی دارند.GEمتصل شده به سرور با نسبت های500Mbpsتا128Mbpsدر اغلب طراحی های خوشه های بزرگ سرور وجود دارند.
اتصال جزئی یاکاملmesh/portial : معمولا طراحی خوشه سرور نیاز مند توپولوژی مشmeshجهت امکان برقراری ارتباط بین همه ی گره های موجود در خوشه می باشد.مش اصلی جهت به اشتراک گذاری وضعیت داده ها و دیگر اطلاعات بین گره اصلی و محاسباتی ونیز بین سرور های محاسباتی در یک خوشه منظور می شود.
پشتیبانی ازفریم جامبوJumbo : تعدادزیادی ازبرنامه های کاربردیHPCازفریم بااندازه های بیش از 1500بایت معمول در استاندارد اترنت استفاده می کنند.توانایی ارسال فریم های بزرگ را جامبوJumboمی نامند که اندازای بیش از9K دارند.ومزایایی چون کاهش زمان انتقال فایل کاهش سربار مخابره وکاهش سربارCPUدرنواحی سرور را در پی دارد شکل6-1دیدی کلی از خوشه ی منطقی و مکان های ان دریک توپولوژی فیزیکی را نشان می دهد که ادرس دهی موارد قبلی را کانون توجه قرارداده است.
درطراحی خوشه سرور جنبه های فنی و ویژگی های زیر پیشنهاد شده است.
چندین مسیر هم هزینه :ECMP امکان توزیع موثر بارترافیک IPدرچندین Uplink بین سرورها درتمام لایه ی دسترسی را می دهد.شکل6-1 طرح 4مسیره ی ECMPرا شرح می دهد اما می تواند با افزودن مسیرهای اضافه به 8مسیرمبدل شود.
ارسال توزیع شده : بااستفاده از کارت های ارسال توزیعی روی رابط های ماژول، کاهش نهفتگی وبهبود کارآیی سوئیچینگ پی امد طرح خواهند بود.
الگوریتم های درهم سازیL4وL3+ : توازن باربرپایه ی ارسال توزیع شده سیسکوبه الگوریتم های درهم سازی ECMPمبتنی بر پورت مبدا-مقصدلایه ی4ولایه یIP3مبدا ومقصد امکان تو زیع بارخردشده دریک سطح بالا را می دهد.
مقیاس پذیری تراکم سرور: قابلیت افزودن سوئیچ های لایه ی دسترسی به روش ماژولی به خوشه اجازه ی شروع از یک اندازه ی کوچک تا افزایش به اندازه ی نیاز را می دهد.
پهنای باند قابل مقایسه :ECMP اجازه ی افزایش خطوط بین لایه ی دسترسی وهسته را درصورت نیاز می دهد.که یک روش منعطف تنظیم پهنای باند به ازای هرسرور را می دهد.درطرح قبلی گره های اصلی که در چندین سوئیچ لایه ی دسترسی توزیع شده اند افزونگی را مانند توزیع بار فراهم نموده اند.

لينک منبع:

کد:

http://holool.parsiblog.com/Posts/112/%DA%AF%D8%B0%D8%B1%D9%8A+%D8%A8%D8%B1+%D8%B3%D8%A7%D8%AE%D8%AA%D8%A7%D8%B1+%D9%85%D8%B9%D9%85%D8%A7%D8%B1%D9%8A+%D8%AF%D9%8A%D8%AA%D8%A7%D8%B3%D9%86%D8%AA%D8%B1%D9%87%D8%A7/