شرکت های بزرگ مانند یوتیوب چگونه این حجم دیتا را نگه داری میکنند ؟

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

نقل قول:

---

نوشته اصلی توسط mehrania

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

---

تلگرام رو مثال میزنیم
سرورها و تجهیزات تلگرام برای خودشون هست . یعنی سرورهای تلگرام مانند سرورهای hetzner نیز است با فضای هارد بسیار بالا و سریع ولی این سرورها به هم متصل هستند و اطلاعات رو ذخیره میکنند و از هارد های سری جدید که بسیار حجم کمی (مثل هارد های اکسترنال) دارند به سرور متصل میکنند برای نگهداری فایل و اطلاعات . در کل چرا هزینه ای تا حدودی برای خودشون داره ولی نه اونقدری که شما فکرشو میکنید چون تجهیزات همه از خودشون هست . در اینده هم اره هم نه میشه گفت مشکلی امکان داره پیش بیاد . چون هارد ها توسط سرور اصلی مثل مانیتورینگ سرور مانیتور میشن و اگر کوچیک ترین مشکلی برای یک هارد پیش بیاد اطلاعات بک اپ گرفته میشه و به هارد دیگه منتقل میشه ...

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

بنده هم چنین سوالی رو دارم. حالا یوتیوب و گوگل و اینها که کسب درآمدشون مشخص هست. اما مثلا تلگرام چطور این حجم از داده رو نگهداری میکنه؟

نقل قول:

---

نوشته اصلی توسط hamra

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

---

بنده پیدا نکردم متاسفانه. امکانش هست لینک بدید؟

فقط با SAN استورج های خیلی بزرگ و tiering دیتا این کار امکانپذیر می شه

نقل قول:

---

نوشته اصلی توسط sadecohost

بنده هم چنین سوالی رو دارم. حالا یوتیوب و گوگل و اینها که کسب درآمدشون مشخص هست. اما مثلا تلگرام چطور این حجم از داده رو نگهداری میکنه؟




بنده پیدا نکردم متاسفانه. امکانش هست لینک بدید؟

---

بنده هم الان گشتم متاسفانه پیدا نکردم اون تاپیک رو
چند وقت پیش انجمن مشکل دار شده بود مدیران فروم هم بکاپی رو بازگردانی کردند که به روز نبود و مربوط به 20 روز قبلش بود / فکر میکنم این موضوع هم قاطی همون ها حذف شده باشه!

این اطلاعات بر روی استوریج های High End که از کنترلرهای فوق العاده قدرتمندی برخوردار هستند نگهداری می شوند .
این کنترلرها از تکنولوژی های بسیار پیشرفته ای مانند Deduplication استفاده می کنند که باعث می شود حجم اطلاعاتی که تکراری هستند و در واقعیت هم همینطور هست به شدت کاهش پیدا کنند .
از سرورها هم فقط برای بحث Computing استفاده می شود و ذخیره سازی فقط در بستر شبکه SAN که در بالا به صورت مختصر توضیح داده شد انجام می گردد ، آن هم توسط سرورهای خاصی که با سرورهای مرسوم که شما می شناسید تفاوت عمده ای دارند مانند Z10 شرکت IBM .
در نهایت این مسئله را مد نظر داشته باشید که در مقیاس های اینچنینی همه چیز با آنچه شما تا به حال تصور می کردید کاملا متفاوت است .

نقل قول:

---

نوشته اصلی توسط SV24.CO

این اطلاعات بر روی استوریج های High End که از کنترلرهای فوق العاده قدرتمندی برخوردار هستند نگهداری می شوند .
این کنترلرها از تکنولوژی های بسیار پیشرفته ای مانند Deduplication استفاده می کنند که باعث می شود حجم اطلاعاتی که تکراری هستند و در واقعیت هم همینطور هست به شدت کاهش پیدا کنند .
از سرورها هم فقط برای بحث Computing استفاده می شود و ذخیره سازی فقط در بستر شبکه SAN که در بالا به صورت مختصر توضیح داده شد انجام می گردد ، آن هم توسط سرورهای خاصی که با سرورهای مرسوم که شما می شناسید تفاوت عمده ای دارند مانند Z10 شرکت IBM .
در نهایت این مسئله را مد نظر داشته باشید که در مقیاس های اینچنینی همه چیز با آنچه شما تا به حال تصور می کردید کاملا متفاوت است .

---

ممنون برای توضیحات فقط مساله داده های تکراری که گفتید مثلا برای ویدئو ها چطور تشخیص داده میشه ؟ یه توضیح کامل ممنون میشم بدید راجب این قضیه یا اگر لینک چیزی دارید بدید

- - - Updated - - -

نقل قول:

---

نوشته اصلی توسط hamra

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

---

عزیز درسته که تا الان تونستند از پسش دربیان ولی سوال بنده این بود به چه صورت این حجم اطلاعات ذخیره میشه و بقیه توضیحات در عنوان تایپک دادم ، عملن نمیشه گفت که تا الان نگه داری شده پس در ادامه هم میشه چون اگر به این صورت بود خیلی از مجموعه ها و سایت ها که از اول خوب بودند ولی یک دفعه جمع کردند باید الان ادامه میدادند که اینگونه نبوده و نیست !

ضمنا یوتیوب php نیست و با پایتون نوشته شده و فشارش نسبت به php به مراتب کمتر هست برای سرورها
مثل سایت نماشا که اون هم با پایتون نوشته شده
اگه دقت کنید نماشا سریعتر از اپارات هست

این مقاله رو پیدا کردم که میتونید دنبال کنید :

http://barnamenevis.org/showthread.p...=1#post2048931

نقل قول:

---

نوشته اصلی توسط mehrania

عزیز درسته که تا الان تونستند از پسش دربیان ولی سوال بنده این بود به چه صورت این حجم اطلاعات ذخیره میشه و بقیه توضیحات در عنوان تایپک دادم ، عملن نمیشه گفت که تا الان نگه داری شده پس در ادامه هم میشه چون اگر به این صورت بود خیلی از مجموعه ها و سایت ها که از اول خوب بودند ولی یک دفعه جمع کردند باید الان ادامه میدادند که اینگونه نبوده و نیست !

---

از نظر مالی دیتاسنترهای این ها درآمد بسیار بالایی بخاطر ترافیک مصرفی که دارند به جیب میزنند و میشه گفت هرگز مشکل مالی پیدا نخواهند کرد.

ماشالا اینجا چقدر همه فعالن. یه تاپیک زدم در مورد نحوه کسب درآمد از یوتوب و راهنمایی خواستم ولی انگار نه انگار

gx

نقل قول:

---

نوشته اصلی توسط server95

ماشالا اینجا چقدر همه فعالن. یه تاپیک زدم در مورد نحوه کسب درآمد از یوتوب و راهنمایی خواستم ولی انگار نه انگار

---

لینک تاپیکتون رو بدید اگر بتونیم جواب میدیم حتما

سرویس‌های میزبانی سایت‌های بزرگ مثل یوتیوب به سخت‌افزارهای قدرتمند نیاز ندارند.

بلکه با استفاده از تقسیم بار، فشار پهنای باند و فشار تعداد کاربران و فشار ذخیره‌سازی اطلاعات را به صورت بهینه بین صدها و هزاران سرور تقسیم می‌کنند.

سرورهای مورد استفاده در این سایت‌ها می‌توانند بسیار ساده و ارزان باشند. حتی در اندازه یک کامپیوتر خانگی با یک هارد معمولی. مسئله‌ای که اینجا وجود دارد این است که یوتیوب به خوبی می‌تواند بار وارد شده را بین سرورهایی که در اختیار دارد تقسیم کند. مثلا اگر یک هاست در حد یک کامپیوتر خانگی در کشوری موجود دارد، به اندازه‌ای که توانایی دارد، به سمت آن سرور مشتری هدایت می‌کند نه بیشتر.

در مورد تلگرام هم همین طور. مثلا فرض کنید تلگرام ۵۰۰ سرور در اختیار دارد. هر کانال ایجاد شده روی یک یا دو عدد از این سرورها موجود است و هر کاربری که بخواهد این کانال را مشاهده کند به همان سرور وصل می‌شود. همان کاربر برای مشاهده‌ی ۱۰ کانال یا گروه دیگر ممکن است به ۱۰ سرور دیگر متصل شود. و به این صورت بار کاربران تقسیم می‌شود و همه با سرعت بالا از سیستم استفاده می‌کنند.

طبیعی است که وقتی حجم اطلاعات بیشتر شود، نیازی نیست سخت‌افزارهای موجود تغییری کنند. بلکه یک سرور جدید به شبکه اضافه می‌شود تا بتواند بار جدید را پوشش بدهد و این کار به صورت دائم در حال انجام است

در کنار این ممکن است مثلا یوتیوب، ببیند که یک فیلم سینمایی قدیمی دیگر بازدیدی ندارد و به جای اینکه روی ۵ سرور آن را کپی کند، آن را از روی ۳ سرور پاک می‌کند و فقط روی ۲ سرور باقی می‌ماند تا فضای بیشتری برای ویدئوهای جدید باز شود

نقل قول:

---

نوشته اصلی توسط mashiat

gx

لینک تاپیکتون رو بدید اگر بتونیم جواب میدیم حتما

---

http://www.webhostingtalk.ir/showthread.php?t=208271

من فقط تو فکره اینم اینا انقدر هارد اضافه میکنند هر روز به سرور ها، فضای دیتاسنترشون کی پر میشه xD

https://www.youtube.com/watch?v=XZmGGAbHqa0

برای درک این موارد نیاز به دانش DevOps دارید و به صورت سطحی نمیشه توضیح داد . ولی تکنولوژی های حیلی بهتری مثل Ceph - Kubernetes - vitess هستند که گوگل استفاده میکنه و کوبرنتیز ساخته ی خودشون هست اصلا . برای این مشکلات معمولا این شرکت ها راه حل اختصاصی خودشون رو طراحی - اجزا - برنامه نویسی میکنند و بعضا تا طراحی یک زبان مثل Go که از گوگل اومده هم پیش میرن. بوتوب هم که متعلق به گوگل هست ... خیلی از تکنولوژی پابلیک نیستند ولی شروع میتونید از مفاهیمی مثل Edge Server - CDN - Massive Data Storage - Hadoop data warehousing - Cassandra Cluster شروع کنید تا توپولوژی سرویس های این چنین رو درک کنید

- - - Updated - - -

نقل قول:

---

نوشته اصلی توسط mehrania

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

---

گوگل که خیر . گوگل شبکه ی جهانی و اختصاصی خودش رو اره و آی اس پی خصوصی خودش رو که در کل دنیا تقریبا کانکشن داره برای ارتباط شبکه استفاده میکنه . برای ذخیره داده هم تکنولوژی خودش رو داره ولی مشابه اون زیاد هست که در مقیاس بسیار بزرگ استفاده میشه مثل Ceph

تلگرام از AWS استفاده میکنه . سرویس S3 آمازون از مجموعه ی سرویس های ابری آمازون هست که فضای نزدیک به نامحدود با دسترسی API بهتون میده ( که میشه Storage service اوپن استک یا چیزی شبیه به اون ) و بسیار بسیار ارزون هم هست . تلگرام هم در آمد خودش رو از راه هایی بجز فروش مستقیم محصول به دست میاره ;)

تکنولوژی پشت بوتوب هم همونطور که گفتم شباهت خیلی زیادی به محصول اوپن سورس گوگل به نام Kubernetes داره که از ابزارها ی orchestration هست . با این ابزار تعداد زیادی ماشین مجازی - کانتینر - یا سرور فیزیکی رو میتونن مدیریت کنند و از منابع همه به طور بهینه و همزمان استفاده کنند .