شرکت های بزرگ مانند یوتیوب چگونه این حجم دیتا را نگه داری میکنند ؟

[shivahost]

عزیز درسته که تا الان تونستند از پسش دربیان ولی سوال بنده این بود به چه صورت این حجم اطلاعات ذخیره میشه و بقیه توضیحات در عنوان تایپک دادم ، عملن نمیشه گفت که تا الان نگه داری شده پس در ادامه هم میشه چون اگر به این صورت بود خیلی از مجموعه ها و سایت ها که از اول خوب بودند ولی یک دفعه جمع کردند باید الان ادامه میدادند که اینگونه نبوده و نیست !

از نظر مالی دیتاسنترهای این ها درآمد بسیار بالایی بخاطر ترافیک مصرفی که دارند به جیب میزنند و میشه گفت هرگز مشکل مالی پیدا نخواهند کرد.

[server95]

ماشالا اینجا چقدر همه فعالن. یه تاپیک زدم در مورد نحوه کسب درآمد از یوتوب و راهنمایی خواستم ولی انگار نه انگار

[mashiat]

gx

ماشالا اینجا چقدر همه فعالن. یه تاپیک زدم در مورد نحوه کسب درآمد از یوتوب و راهنمایی خواستم ولی انگار نه انگار

لینک تاپیکتون رو بدید اگر بتونیم جواب میدیم حتما

[AMIB]

سرویس‌های میزبانی سایت‌های بزرگ مثل یوتیوب به سخت‌افزارهای قدرتمند نیاز ندارند.

بلکه با استفاده از تقسیم بار، فشار پهنای باند و فشار تعداد کاربران و فشار ذخیره‌سازی اطلاعات را به صورت بهینه بین صدها و هزاران سرور تقسیم می‌کنند.

سرورهای مورد استفاده در این سایت‌ها می‌توانند بسیار ساده و ارزان باشند. حتی در اندازه یک کامپیوتر خانگی با یک هارد معمولی. مسئله‌ای که اینجا وجود دارد این است که یوتیوب به خوبی می‌تواند بار وارد شده را بین سرورهایی که در اختیار دارد تقسیم کند. مثلا اگر یک هاست در حد یک کامپیوتر خانگی در کشوری موجود دارد، به اندازه‌ای که توانایی دارد، به سمت آن سرور مشتری هدایت می‌کند نه بیشتر.

در مورد تلگرام هم همین طور. مثلا فرض کنید تلگرام ۵۰۰ سرور در اختیار دارد. هر کانال ایجاد شده روی یک یا دو عدد از این سرورها موجود است و هر کاربری که بخواهد این کانال را مشاهده کند به همان سرور وصل می‌شود. همان کاربر برای مشاهده‌ی ۱۰ کانال یا گروه دیگر ممکن است به ۱۰ سرور دیگر متصل شود. و به این صورت بار کاربران تقسیم می‌شود و همه با سرعت بالا از سیستم استفاده می‌کنند.

طبیعی است که وقتی حجم اطلاعات بیشتر شود، نیازی نیست سخت‌افزارهای موجود تغییری کنند. بلکه یک سرور جدید به شبکه اضافه می‌شود تا بتواند بار جدید را پوشش بدهد و این کار به صورت دائم در حال انجام است

در کنار این ممکن است مثلا یوتیوب، ببیند که یک فیلم سینمایی قدیمی دیگر بازدیدی ندارد و به جای اینکه روی ۵ سرور آن را کپی کند، آن را از روی ۳ سرور پاک می‌کند و فقط روی ۲ سرور باقی می‌ماند تا فضای بیشتری برای ویدئوهای جدید باز شود

[server95]

gx

لینک تاپیکتون رو بدید اگر بتونیم جواب میدیم حتما

http://www.webhostingtalk.ir/showthread.php?t=208271

[nevergotme]

من فقط تو فکره اینم اینا انقدر هارد اضافه میکنند هر روز به سرور ها، فضای دیتاسنترشون کی پر میشه xD

[MJmoonwalk]

https://www.youtube.com/watch?v=XZmGGAbHqa0

[OPENFIRE]

برای درک این موارد نیاز به دانش DevOps دارید و به صورت سطحی نمیشه توضیح داد . ولی تکنولوژی های حیلی بهتری مثل Ceph - Kubernetes - vitess هستند که گوگل استفاده میکنه و کوبرنتیز ساخته ی خودشون هست اصلا . برای این مشکلات معمولا این شرکت ها راه حل اختصاصی خودشون رو طراحی - اجزا - برنامه نویسی میکنند و بعضا تا طراحی یک زبان مثل Go که از گوگل اومده هم پیش میرن. بوتوب هم که متعلق به گوگل هست ... خیلی از تکنولوژی پابلیک نیستند ولی شروع میتونید از مفاهیمی مثل Edge Server - CDN - Massive Data Storage - Hadoop data warehousing - Cassandra Cluster شروع کنید تا توپولوژی سرویس های این چنین رو درک کنید

- - - Updated - - -

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

گوگل که خیر . گوگل شبکه ی جهانی و اختصاصی خودش رو اره و آی اس پی خصوصی خودش رو که در کل دنیا تقریبا کانکشن داره برای ارتباط شبکه استفاده میکنه . برای ذخیره داده هم تکنولوژی خودش رو داره ولی مشابه اون زیاد هست که در مقیاس بسیار بزرگ استفاده میشه مثل Ceph

تلگرام از AWS استفاده میکنه . سرویس S3 آمازون از مجموعه ی سرویس های ابری آمازون هست که فضای نزدیک به نامحدود با دسترسی API بهتون میده ( که میشه Storage service اوپن استک یا چیزی شبیه به اون ) و بسیار بسیار ارزون هم هست . تلگرام هم در آمد خودش رو از راه هایی بجز فروش مستقیم محصول به دست میاره

تکنولوژی پشت بوتوب هم همونطور که گفتم شباهت خیلی زیادی به محصول اوپن سورس گوگل به نام Kubernetes داره که از ابزارها ی orchestration هست . با این ابزار تعداد زیادی ماشین مجازی - کانتینر - یا سرور فیزیکی رو میتونن مدیریت کنند و از منابع همه به طور بهینه و همزمان استفاده کنند .