شرکت های بزرگ مانند یوتیوب چگونه این حجم دیتا را نگه داری میکنند ؟

[mehrania]

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

[hamed9292]

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

تلگرام رو مثال میزنیم
سرورها و تجهیزات تلگرام برای خودشون هست . یعنی سرورهای تلگرام مانند سرورهای hetzner نیز است با فضای هارد بسیار بالا و سریع ولی این سرورها به هم متصل هستند و اطلاعات رو ذخیره میکنند و از هارد های سری جدید که بسیار حجم کمی (مثل هارد های اکسترنال) دارند به سرور متصل میکنند برای نگهداری فایل و اطلاعات . در کل چرا هزینه ای تا حدودی برای خودشون داره ولی نه اونقدری که شما فکرشو میکنید چون تجهیزات همه از خودشون هست . در اینده هم اره هم نه میشه گفت مشکلی امکان داره پیش بیاد . چون هارد ها توسط سرور اصلی مثل مانیتورینگ سرور مانیتور میشن و اگر کوچیک ترین مشکلی برای یک هارد پیش بیاد اطلاعات بک اپ گرفته میشه و به هارد دیگه منتقل میشه ...

[hamra]

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

[sadecohost]

بنده هم چنین سوالی رو دارم. حالا یوتیوب و گوگل و اینها که کسب درآمدشون مشخص هست. اما مثلا تلگرام چطور این حجم از داده رو نگهداری میکنه؟

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

بنده پیدا نکردم متاسفانه. امکانش هست لینک بدید؟

[hamra]

بنده هم چنین سوالی رو دارم. حالا یوتیوب و گوگل و اینها که کسب درآمدشون مشخص هست. اما مثلا تلگرام چطور این حجم از داده رو نگهداری میکنه؟




بنده پیدا نکردم متاسفانه. امکانش هست لینک بدید؟

بنده هم الان گشتم متاسفانه پیدا نکردم اون تاپیک رو
چند وقت پیش انجمن مشکل دار شده بود مدیران فروم هم بکاپی رو بازگردانی کردند که به روز نبود و مربوط به 20 روز قبلش بود / فکر میکنم این موضوع هم قاطی همون ها حذف شده باشه!

[hoss-far]

فقط با SAN استورج های خیلی بزرگ و tiering دیتا این کار امکانپذیر می شه

[SV24.CO]

این اطلاعات بر روی استوریج های High End که از کنترلرهای فوق العاده قدرتمندی برخوردار هستند نگهداری می شوند .
این کنترلرها از تکنولوژی های بسیار پیشرفته ای مانند Deduplication استفاده می کنند که باعث می شود حجم اطلاعاتی که تکراری هستند و در واقعیت هم همینطور هست به شدت کاهش پیدا کنند .
از سرورها هم فقط برای بحث Computing استفاده می شود و ذخیره سازی فقط در بستر شبکه SAN که در بالا به صورت مختصر توضیح داده شد انجام می گردد ، آن هم توسط سرورهای خاصی که با سرورهای مرسوم که شما می شناسید تفاوت عمده ای دارند مانند Z10 شرکت IBM .
در نهایت این مسئله را مد نظر داشته باشید که در مقیاس های اینچنینی همه چیز با آنچه شما تا به حال تصور می کردید کاملا متفاوت است .

[mehrania]

این اطلاعات بر روی استوریج های High End که از کنترلرهای فوق العاده قدرتمندی برخوردار هستند نگهداری می شوند .
این کنترلرها از تکنولوژی های بسیار پیشرفته ای مانند Deduplication استفاده می کنند که باعث می شود حجم اطلاعاتی که تکراری هستند و در واقعیت هم همینطور هست به شدت کاهش پیدا کنند .
از سرورها هم فقط برای بحث Computing استفاده می شود و ذخیره سازی فقط در بستر شبکه SAN که در بالا به صورت مختصر توضیح داده شد انجام می گردد ، آن هم توسط سرورهای خاصی که با سرورهای مرسوم که شما می شناسید تفاوت عمده ای دارند مانند Z10 شرکت IBM .
در نهایت این مسئله را مد نظر داشته باشید که در مقیاس های اینچنینی همه چیز با آنچه شما تا به حال تصور می کردید کاملا متفاوت است .

ممنون برای توضیحات فقط مساله داده های تکراری که گفتید مثلا برای ویدئو ها چطور تشخیص داده میشه ؟ یه توضیح کامل ممنون میشم بدید راجب این قضیه یا اگر لینک چیزی دارید بدید

- - - Updated - - -

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

عزیز درسته که تا الان تونستند از پسش دربیان ولی سوال بنده این بود به چه صورت این حجم اطلاعات ذخیره میشه و بقیه توضیحات در عنوان تایپک دادم ، عملن نمیشه گفت که تا الان نگه داری شده پس در ادامه هم میشه چون اگر به این صورت بود خیلی از مجموعه ها و سایت ها که از اول خوب بودند ولی یک دفعه جمع کردند باید الان ادامه میدادند که اینگونه نبوده و نیست !

[shivahost]

عزیز درسته که تا الان تونستند از پسش دربیان ولی سوال بنده این بود به چه صورت این حجم اطلاعات ذخیره میشه و بقیه توضیحات در عنوان تایپک دادم ، عملن نمیشه گفت که تا الان نگه داری شده پس در ادامه هم میشه چون اگر به این صورت بود خیلی از مجموعه ها و سایت ها که از اول خوب بودند ولی یک دفعه جمع کردند باید الان ادامه میدادند که اینگونه نبوده و نیست !

از نظر مالی دیتاسنترهای این ها درآمد بسیار بالایی بخاطر ترافیک مصرفی که دارند به جیب میزنند و میشه گفت هرگز مشکل مالی پیدا نخواهند کرد.

[OPENFIRE]

برای درک این موارد نیاز به دانش DevOps دارید و به صورت سطحی نمیشه توضیح داد . ولی تکنولوژی های حیلی بهتری مثل Ceph - Kubernetes - vitess هستند که گوگل استفاده میکنه و کوبرنتیز ساخته ی خودشون هست اصلا . برای این مشکلات معمولا این شرکت ها راه حل اختصاصی خودشون رو طراحی - اجزا - برنامه نویسی میکنند و بعضا تا طراحی یک زبان مثل Go که از گوگل اومده هم پیش میرن. بوتوب هم که متعلق به گوگل هست ... خیلی از تکنولوژی پابلیک نیستند ولی شروع میتونید از مفاهیمی مثل Edge Server - CDN - Massive Data Storage - Hadoop data warehousing - Cassandra Cluster شروع کنید تا توپولوژی سرویس های این چنین رو درک کنید

- - - Updated - - -

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

گوگل که خیر . گوگل شبکه ی جهانی و اختصاصی خودش رو اره و آی اس پی خصوصی خودش رو که در کل دنیا تقریبا کانکشن داره برای ارتباط شبکه استفاده میکنه . برای ذخیره داده هم تکنولوژی خودش رو داره ولی مشابه اون زیاد هست که در مقیاس بسیار بزرگ استفاده میشه مثل Ceph

تلگرام از AWS استفاده میکنه . سرویس S3 آمازون از مجموعه ی سرویس های ابری آمازون هست که فضای نزدیک به نامحدود با دسترسی API بهتون میده ( که میشه Storage service اوپن استک یا چیزی شبیه به اون ) و بسیار بسیار ارزون هم هست . تلگرام هم در آمد خودش رو از راه هایی بجز فروش مستقیم محصول به دست میاره

تکنولوژی پشت بوتوب هم همونطور که گفتم شباهت خیلی زیادی به محصول اوپن سورس گوگل به نام Kubernetes داره که از ابزارها ی orchestration هست . با این ابزار تعداد زیادی ماشین مجازی - کانتینر - یا سرور فیزیکی رو میتونن مدیریت کنند و از منابع همه به طور بهینه و همزمان استفاده کنند .