شرکت های بزرگ مانند یوتیوب چگونه این حجم دیتا را نگه داری میکنند ؟

[mehrania]

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

[hamed9292]

سلام
سوال که برام پیش اومده و تو وب ایران گشتم چیزی پیدا نکردم اینه که شرکت های مثل یوتیوب ، فیس بوک و ... یا مسنجر هایی مثل تلگرام و خیلی های دیگه که در ثانیه حجم اطلاعات خیلی بالایی توشون آپلود میشه و تا همیشه به صورت رایگان نگه داری میشوند این حجم اطلاعات به چه صورت و در چه سرور هایی ذخیره میشه ؟
بیشتر منظورم سرویس های ویدئو هستش مثل یوتیوب که هر ویدئو با چند کیفیت ذخیره میکنه و پردازش های در کمتر از چند ثانیه اونم با این حجم کاربران چطوری امکان پذیره ؟
آیا برای آینده این سرویس ها مشکل نگه داری اطلاعات نخواهند داشت ؟ مخصوصا مسنجر هایی مثل تلگرام که هیچگونه تبلیغ نمیده و عملن در ایران درآمدی نداره ؟

تلگرام رو مثال میزنیم
سرورها و تجهیزات تلگرام برای خودشون هست . یعنی سرورهای تلگرام مانند سرورهای hetzner نیز است با فضای هارد بسیار بالا و سریع ولی این سرورها به هم متصل هستند و اطلاعات رو ذخیره میکنند و از هارد های سری جدید که بسیار حجم کمی (مثل هارد های اکسترنال) دارند به سرور متصل میکنند برای نگهداری فایل و اطلاعات . در کل چرا هزینه ای تا حدودی برای خودشون داره ولی نه اونقدری که شما فکرشو میکنید چون تجهیزات همه از خودشون هست . در اینده هم اره هم نه میشه گفت مشکلی امکان داره پیش بیاد . چون هارد ها توسط سرور اصلی مثل مانیتورینگ سرور مانیتور میشن و اگر کوچیک ترین مشکلی برای یک هارد پیش بیاد اطلاعات بک اپ گرفته میشه و به هارد دیگه منتقل میشه ...

[hamra]

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

[sadecohost]

بنده هم چنین سوالی رو دارم. حالا یوتیوب و گوگل و اینها که کسب درآمدشون مشخص هست. اما مثلا تلگرام چطور این حجم از داده رو نگهداری میکنه؟

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

بنده پیدا نکردم متاسفانه. امکانش هست لینک بدید؟

[hoss-far]

فقط با SAN استورج های خیلی بزرگ و tiering دیتا این کار امکانپذیر می شه

[hamra]

بنده هم چنین سوالی رو دارم. حالا یوتیوب و گوگل و اینها که کسب درآمدشون مشخص هست. اما مثلا تلگرام چطور این حجم از داده رو نگهداری میکنه؟




بنده پیدا نکردم متاسفانه. امکانش هست لینک بدید؟

بنده هم الان گشتم متاسفانه پیدا نکردم اون تاپیک رو
چند وقت پیش انجمن مشکل دار شده بود مدیران فروم هم بکاپی رو بازگردانی کردند که به روز نبود و مربوط به 20 روز قبلش بود / فکر میکنم این موضوع هم قاطی همون ها حذف شده باشه!

[SV24.CO]

این اطلاعات بر روی استوریج های High End که از کنترلرهای فوق العاده قدرتمندی برخوردار هستند نگهداری می شوند .
این کنترلرها از تکنولوژی های بسیار پیشرفته ای مانند Deduplication استفاده می کنند که باعث می شود حجم اطلاعاتی که تکراری هستند و در واقعیت هم همینطور هست به شدت کاهش پیدا کنند .
از سرورها هم فقط برای بحث Computing استفاده می شود و ذخیره سازی فقط در بستر شبکه SAN که در بالا به صورت مختصر توضیح داده شد انجام می گردد ، آن هم توسط سرورهای خاصی که با سرورهای مرسوم که شما می شناسید تفاوت عمده ای دارند مانند Z10 شرکت IBM .
در نهایت این مسئله را مد نظر داشته باشید که در مقیاس های اینچنینی همه چیز با آنچه شما تا به حال تصور می کردید کاملا متفاوت است .

[mehrania]

این اطلاعات بر روی استوریج های High End که از کنترلرهای فوق العاده قدرتمندی برخوردار هستند نگهداری می شوند .
این کنترلرها از تکنولوژی های بسیار پیشرفته ای مانند Deduplication استفاده می کنند که باعث می شود حجم اطلاعاتی که تکراری هستند و در واقعیت هم همینطور هست به شدت کاهش پیدا کنند .
از سرورها هم فقط برای بحث Computing استفاده می شود و ذخیره سازی فقط در بستر شبکه SAN که در بالا به صورت مختصر توضیح داده شد انجام می گردد ، آن هم توسط سرورهای خاصی که با سرورهای مرسوم که شما می شناسید تفاوت عمده ای دارند مانند Z10 شرکت IBM .
در نهایت این مسئله را مد نظر داشته باشید که در مقیاس های اینچنینی همه چیز با آنچه شما تا به حال تصور می کردید کاملا متفاوت است .

ممنون برای توضیحات فقط مساله داده های تکراری که گفتید مثلا برای ویدئو ها چطور تشخیص داده میشه ؟ یه توضیح کامل ممنون میشم بدید راجب این قضیه یا اگر لینک چیزی دارید بدید

- - - Updated - - -

روی چندین سرور قدرتمند / نه یک سرور(با هزینه های بسیار بالا...)
پهنای باند کاملا اختصاصی / نه اشتراکی(مبا هزینه های بسیار بالا...)

قدمت یوتیوب را درنظر بگیرید یا فیسبوک یا تلگرام یا ... / آیا تا به الان به مشکل خوردند از نظر نگهداری ؟ قطعا از این پس هم به مشکل نخواهند خورد (البته مسائل مالی به کنار)
خرابی قطعات سرور هم امری طبیعی هست که ممکنه هر لحظه به وجود بیاد اما خب جایگزین میشه قطعات


چنین سایت هایی قطعا هزینه نگهداری بسیار بالایی دارند که حالا اون سازمان یا شرکت
---
چنین تاپیکی قبلا ایجاد شده بود در همین انجمن / یک جستجو کنید اون رو هم یک مطالعه کنید

عزیز درسته که تا الان تونستند از پسش دربیان ولی سوال بنده این بود به چه صورت این حجم اطلاعات ذخیره میشه و بقیه توضیحات در عنوان تایپک دادم ، عملن نمیشه گفت که تا الان نگه داری شده پس در ادامه هم میشه چون اگر به این صورت بود خیلی از مجموعه ها و سایت ها که از اول خوب بودند ولی یک دفعه جمع کردند باید الان ادامه میدادند که اینگونه نبوده و نیست !

[mashiat]

ضمنا یوتیوب php نیست و با پایتون نوشته شده و فشارش نسبت به php به مراتب کمتر هست برای سرورها
مثل سایت نماشا که اون هم با پایتون نوشته شده
اگه دقت کنید نماشا سریعتر از اپارات هست

[mehrania]

این مقاله رو پیدا کردم که میتونید دنبال کنید :

http://barnamenevis.org/showthread.p...=1#post2048931