تعداد ماشین های مجازی روی هارد دیسک

[Mehdi 130]

سلام
من قبلا esxi رو در شبکه لوکال نصب داشتیم و چند سرور روش ران بود
یک مشکلی که وجود داشت افت شدید سرعت سرورها به خاطر قرار دادن چند ماشین مجازی روی یک هارد دیسک بود
به همین خاطر ما به طور تجربی به این نکته رسیدیم که نباید بیشتر از دو ماشین مجازی روی یک هارد دیسک برازیم
این وضعیت در سرورهای اختصاصی و مجازی هم وجود داره ؟
یعنی چند سرور رو روی یک هارد میزارن ؟ آیا سقف مجازی یرای هر هارد در نظر گرفته میشه تو دیتاسنتر ؟
با تشکر

[jahromweb]

دوست عزیز احتمالا شما رو لپتاپ یاهارد ضعیف تست کردید
هارد های کلاس اینترپرایز و ssd این مشکل رو ندارند

[HPxf]

هارد هایی که برای سیستم لوکال استفاده میکنین برای اینکار مناسب نیستند فقط برای تست یک و دو سرور مناسب است تعداد بالا اذیت می کند

[jahromweb]

بهتر بگم که سرعت انتقال اطلاعات رو این هارد ها پایین هست و باعث ایجاد یه صف از اطلاعات(I/O) میشه که قراره بره داخل هارد و این سرعت رو داغون میکنه (گاهی در حد داون) و لود رو هم میبره بالا.
اطلاعات بیشتر : زمانبندی ورودی/خروجی - ویکی‌پدیا، دانشنامهٔ آزاد (http://fa.wikipedia.org/wiki/زمانبندی_ورودی/خروجی)

[parax]

سلام
دوست عزیز بستگی به نوع هارد دیسک شما داره
برای اینکه سرعت رید و رایت دیتاهاتون بالا بره باید از Raid استفاده کنید
هیچ توجیه اقتصادی نداره که 2 سرور روی هر هارد باشند

[Mehdi 130]

ممنون
آیا فرمول خاصی داره برای هارد و محدودیت گذاشتن روی نصب تعداد سیستم عامل روی یک هارد دیسک؟

[HPxf]

خیر فرمول خاصی ندارد

[jahromweb]

خیر اگر هارد پرسرعت باشه (کلاس اینترپرایز یا ssd) مشکلی پیش نمیاد و محدودیت خاصی هم نداره

[LIAN2]

هارد های کلاس اینترپرایز و ssd این مشکل رو ندارند
هر دیسکی یک ظرفیت پذیرش IOPS در شرایط استاندارد را دارد.
اینطور نیست که در دیسک های SSD یا هاردهای ES.Class کندی سرعت وجود نداشته باشد.

[jahromweb]

درست است اما در حالت معمول وجود ندارد (قرار نیست که دیگه 200 تا vps روی یک هارد باشه!)

[LIAN2]

درست است اما در حالت معمول وجود ندارد (قرار نیست که دیگه 200 تا vps روی یک هارد باشه!)

چطور میفرمایید بطور معمول وجود ندارد؟
زمانی که شما دیسک ssd هم خریداری می کنید ظرفیت محدود بین 25k تا 100k iops دارد.

[tegra.ir]

با سلام

در مورد مجازی سازی در سطح حرفه ای از raid سخت افزاری یا راهکارهایی مانند san و nas استفاده می شود.

شاد و پیروز باشید

[sssoheil]

چطور میفرمایید بطور معمول وجود ندارد؟
زمانی که شما دیسک ssd هم خریداری می کنید ظرفیت محدود بین 25k تا 100k iops دارد.

با سلام


IOPS درایو های SATA و SAS:



Device
Type
IOPS
Interface
Notes


7,200 rpm (http://en.wikipedia.org/wiki/Revolutions_per_minute) SATA (http://en.wikipedia.org/wiki/SATA) drives
HDD (http://en.wikipedia.org/wiki/Hard_disk_drive)
~75-100 IOPS[2] (http://en.wikipedia.org/wiki/IOPS#cite_note-Symantec-2)
SATA 3 Gbit/s (http://en.wikipedia.org/wiki/Gbit/s)



10,000 rpm SATA drives
HDD
~125-150 IOPS[2] (http://en.wikipedia.org/wiki/IOPS#cite_note-Symantec-2)
SATA 3 Gbit/s



10,000 rpm SAS (http://en.wikipedia.org/wiki/Serial_Attached_SCSI) drives
HDD
~140 IOPS[2] (http://en.wikipedia.org/wiki/IOPS#cite_note-Symantec-2)
SAS



15,000 rpm SAS (http://en.wikipedia.org/wiki/Serial_Attached_SCSI) drives
HDD
~175-210 IOPS[2] (http://en.wikipedia.org/wiki/IOPS#cite_note-Symantec-2)
SAS





IOPS درایو های SSD:






Device
Type
IOPS
Interface
Notes


Intel X25-M G2 (http://en.wikipedia.org/wiki/Intel#Solid-state_drives_.28SSD.29)(MLC (http://en.wikipedia.org/wiki/Multi-level_cell))
SSD (http://en.wikipedia.org/wiki/Solid-state_drive)
~8,600 IOPS[11] (http://en.wikipedia.org/wiki/IOPS#cite_note-11)
SATA 3 Gbit/s
Intel's data sheet[12] (http://en.wikipedia.org/wiki/IOPS#cite_note-12) claims 6,600/8,600 IOPS (80 GB/160 GB version) and 35,000 IOPS for random 4 KB writes and reads, respectively.


Intel X25-E (http://en.wikipedia.org/wiki/Intel#Solid-state_drives_.28SSD.29)(SLC)
SSD
~5,000 IOPS[13] (http://en.wikipedia.org/wiki/IOPS#cite_note-13)
SATA 3 Gbit/s
Intel's data sheet[14] (http://en.wikipedia.org/wiki/IOPS#cite_note-14) claims 3,300 IOPS and 35,000 IOPS for writes and reads, respectively. 5,000 IOPS are measured for a mix. Intel X25-E G1 has around 3 times higher IOPS compared to the Intel X25-M G2.[15] (http://en.wikipedia.org/wiki/IOPS#cite_note-15)


G.Skill (http://en.wikipedia.org/wiki/G.Skill) Phoenix Pro
SSD
~20,000 IOPS[16] (http://en.wikipedia.org/wiki/IOPS#cite_note-tweakpc-16)
SATA 3 Gbit/s
SandForce (http://en.wikipedia.org/wiki/SandForce)-1200 based SSD drives with enhanced firmware, states up to 50,000 IOPS, but benchmarking shows for this particular drive ~25,000 IOPS for random read and ~15,000 IOPS for random write.[16] (http://en.wikipedia.org/wiki/IOPS#cite_note-tweakpc-16)


OCZ (http://en.wikipedia.org/wiki/OCZ_Technology) Vertex 3
SSD
Up to 60,000 IOPS[17] (http://en.wikipedia.org/wiki/IOPS#cite_note-17)
SATA 6 Gbit/s
Random Write 4 KB (Aligned)


Corsair (http://en.wikipedia.org/wiki/Corsair_Memory) Force Series GT
SSD
Up to 85,000 IOPS[18] (http://en.wikipedia.org/wiki/IOPS#cite_note-18)
SATA 6 Gbit/s
240 GB Drive, 555 MB/s sequential read & 525 MB/s sequential write, Random Write 4 KB Test (Aligned)


OCZ (http://en.wikipedia.org/wiki/OCZ_Technology) Vertex 4
SSD
Up to 120,000 IOPS[19] (http://en.wikipedia.org/wiki/IOPS#cite_note-19)
SATA 6 Gbit/s
256 GB Drive, 560 MB/s sequential read & 510 MB/s sequential write, Random Read 4 KB Test 90K IOPS, Random Write 4 KB Test 85K IOPS


(IBM) Texas Memory Systems (http://en.wikipedia.org/wiki/Texas_Memory_Systems)RamSan-20
SSD
120,000+ Random Read/Write IOPS[20] (http://en.wikipedia.org/wiki/IOPS#cite_note-20)
PCIe (http://en.wikipedia.org/wiki/PCIe)
Includes RAM cache


Fusion-io (http://en.wikipedia.org/wiki/Fusion-io)ioDrive
SSD
140,000 Read IOPS, 135,000 Write IOPS[21] (http://en.wikipedia.org/wiki/IOPS#cite_note-21)
PCIe



Virident Systems (http://en.wikipedia.org/wiki/Virident_Systems)tachIOn
SSD
320,000 sustained READ IOPS using 4KB blocks and 200,000 sustained WRITE IOPS using 4KB blocks[22] (http://en.wikipedia.org/wiki/IOPS#cite_note-22)
PCIe



OCZ RevoDrive 3 X2
SSD
200,000 Random Write 4K IOPS[23] (http://en.wikipedia.org/wiki/IOPS#cite_note-23)
PCIe



Fusion-io ioDrive Duo
SSD
250,000+ IOPS[24] (http://en.wikipedia.org/wiki/IOPS#cite_note-24)
PCIe



Violin Memory (http://en.wikipedia.org/wiki/Violin_Memory)Violin 3200
SSD
250,000+ Random Read/Write IOPS[25] (http://en.wikipedia.org/wiki/IOPS#cite_note-25)
PCIe /FC/Infiniband/iSCSI
Flash Memory Array


WHIPTAIL,ACCELA
SSD
250,000/200,000+ Write/Read IOPS[26] (http://en.wikipedia.org/wiki/IOPS#cite_note-26)
Fibre Channel, iSCSI, Infiniband/SRP, NFS, CIFS
Flash Based Storage Array


DDRdrive (http://en.wikipedia.org/w/index.php?title=DDRdrive&action=edit&redlink=1) X1,
SSD
300,000+ (512B Random Read IOPS) and 200,000+ (512B Random Write IOPS)[27] (http://en.wikipedia.org/wiki/IOPS#cite_note-27)[28] (http://en.wikipedia.org/wiki/IOPS#cite_note-28)[29] (http://en.wikipedia.org/wiki/IOPS#cite_note-29)[30] (http://en.wikipedia.org/wiki/IOPS#cite_note-30)
PCIe



SolidFireSF3010/SF6010
SSD
250,000 4KB Read/Write IOPS[31] (http://en.wikipedia.org/wiki/IOPS#cite_note-31)
iSCSI
Flash Based Storage Array (5RU)


(IBM) Texas Memory Systems (http://en.wikipedia.org/wiki/Texas_Memory_Systems)RamSan-720 Appliance
FLASH/DRAM
500,000 Optimal Read, 250,000 Optimal Write 4KB IOPS[32] (http://en.wikipedia.org/wiki/IOPS#cite_note-32)
FC / InfiniBand



OCZ Single SuperScale Z-Drive R4 PCI-Express SSD
SSD
Up to 500,000 IOPS[33] (http://en.wikipedia.org/wiki/IOPS#cite_note-OCZ_Z-Drive-33)
PCIe



WHIPTAIL,INVICTA
SSD
650,000/550,000+ Read/Write IOPS[34] (http://en.wikipedia.org/wiki/IOPS#cite_note-34)
Fibre Channel, iSCSI, Infiniband/SRP, NFS
Flash Based Storage Array


Violin Memory (http://en.wikipedia.org/wiki/Violin_Memory)Violin 6000
3RU Flash Memory Array
1,000,000+ Random Read/Write IOPS[35] (http://en.wikipedia.org/wiki/IOPS#cite_note-35)
/FC/Infiniband/10Gb(iSCSI)/ PCIe



(IBM) Texas Memory Systems (http://en.wikipedia.org/wiki/Texas_Memory_Systems)RamSan-630 Appliance
Flash/DRAM
1,000,000+ 4KB Random Read/Write IOPS[36] (http://en.wikipedia.org/wiki/IOPS#cite_note-36)
FC / InfiniBand



IBM (http://en.wikipedia.org/wiki/IBM)FlashSystem 840
Flash/DRAM
1,100,000+ 4KB Random Read/600,000 4KB Write IOPS[37] (http://en.wikipedia.org/wiki/IOPS#cite_note-37)
8G FC / 16G FC / 10G FCoE / InfiniBand
Modular 2U Storage Shelf - 4TB-48TB


Fusion-io ioDrive Octal (single PCI Express card)
SSD
1,180,000+ Random Read/Write IOPS[38] (http://en.wikipedia.org/wiki/IOPS#cite_note-38)
PCIe



OCZ 2x SuperScale Z-Drive R4 PCI-Express SSD
SSD
Up to 1,200,000 IOPS[33] (http://en.wikipedia.org/wiki/IOPS#cite_note-OCZ_Z-Drive-33)
PCIe



(IBM)Texas Memory Systems (http://en.wikipedia.org/wiki/Texas_Memory_Systems)RamSan-70
Flash/DRAM
1,200,000 Random Read/Write IOPS[39] (http://en.wikipedia.org/wiki/IOPS#cite_note-39)
PCIe
Includes RAM cache


Kaminario (http://en.wikipedia.org/wiki/Kaminario) K2
Flash/DRAM/Hybrid SSD
Up to 1,200,000 IOPS SPC-1 IOPS with the K2-D (DRAM (http://en.wikipedia.org/wiki/DRAM))[40] (http://en.wikipedia.org/wiki/IOPS#cite_note-The_Register-40)[41] (http://en.wikipedia.org/wiki/IOPS#cite_note-Storage_Performance_Council-41)
FC (http://en.wikipedia.org/wiki/Fibre_Channel)



NetApp (http://en.wikipedia.org/wiki/NetApp)FAS6240 cluster
Flash/Disk
1,261,145 SPECsfs2008 nfsv3 IOPs using 1,440 15K disks, across 60 shelves, with virtual storage tiering.[42] (http://en.wikipedia.org/wiki/IOPS#cite_note-42)
NFS, CIFS, FC, FCoE, iSCSI
SPECsfs2008 is the latest version of the Standard Performance Evaluation Corporation benchmark suite measuring file server throughput and response time, providing a standardized method for comparing performance across different vendor platforms.SPECsfs2008 (http://www.spec.org/sfs2008).


Fusion-io ioDrive2
SSD
Up to 9,608,000 IOPS[43] (http://en.wikipedia.org/wiki/IOPS#cite_note-43)
PCIe
Only via demonstration so far.

[TukaNet]

به طور کلی حالت استانداردی وجود ندارد چون کاربرد سرورهای مجازی مختلف هست

مثلا شما قادر هستید تا 100 سرورمجازی با سیستم عامل میکروتیک رو روی یک هارد قرار بدید و البته بدون افت کیفیت !

ولی به طور میانگین و چیزی که بعد از هفت سال کار در زمینه مجازی سازی تجربه کردم به این صورت بوده


هاردهای 5400 دور و دسکتاپ گرید » 5 الی 10 سرور مجازی

هاردهای 7200 دور و سرور گرید » 10 الی 15 سرور مجازی

هاردهای 10000 و 15000 دور و اس ای اس » 15 الی 20 سرور مجازی

برای هارد های اس اس دی به دلیل io بسیار بالایی که دارند نمیشه محدوده ای تعیین کرد

البته این دسته هم از بابت قیمت و فضای کم محدودیت دارند ...

[Mehdi 130]

هاردهای 5400 دور و دسکتاپ گرید » 5 الی 10 سرور مجازی

هاردهای 7200 دور و سرور گرید » 10 الی 15 سرور مجازی

هاردهای 10000 و 15000 دور و اس ای اس » 15 الی 20 سرور مجازی

برای هارد های اس اس دی به دلیل io بسیار بالایی که دارند نمیشه محدوده ای تعیین کرد

انوقت اگه شما روی یک هارد 7200 بیای 15 تا 20 سرور مجازی بزاری مطمئنی هارد دیسک کم نمیاره
تا جایی که من دیدم تو شبکه های لوکال بیشتر از 4 سرور رو روی یک هارد نمیزارن چون بشدت افت سرعت پیش میاد

[TukaNet]

انوقت اگه شما روی یک هارد 7200 بیای 15 تا 20 سرور مجازی بزاری مطمئنی هارد دیسک کم نمیاره
تا جایی که من دیدم تو شبکه های لوکال بیشتر از 4 سرور رو روی یک هارد نمیزارن چون بشدت افت سرعت پیش میاد

عزیزم شبکه لوکال یعنی چی ؟

در ضمن گفتم که این موارد تجربی و میانگین هستند

شاید یک سرور به قدری مصرف داشته باشه که کل io هارد رو پر کنه

شاید 50 تا سرور اصلا مصرفی نداشته باشند و فشاری روی هارد نباشه

[filasufya]

هارد ssd بگیرید هنگ نمیکنه
میزان هارد در نظر گرفته شده برای هر وی پی اس هم نقش مهمی در سرعت اون وی پی اس داره
یک هارد یک ترا بایت در صورتی که وی پی اس هاتون بهینه کانفیگ بشن ده تا وی پی اس رو خوب و نه عالی جواب میده که اگر هارد ssd باشه داستان کلا فرق میکنه

[alipoor90]

کانفیگ و مجازی ساز مناسب هم در این قضیه تاثیر داره
مثلا با kvm اگر در guest هاتون io scheduler رو روی noop بزارید و در host روی cfq تنظیم کنید و یه مقداری هم رم روی host خالی بگذارید پرفومنس بهتری روی هارد خواهید داشت ...

[sssoheil]

درود

کل این بحث تجربی است.حتی یک vm میتواند کل معادلات را به هم زده و io هارد را درگیر کند.به شخصه تجربه 60 vmروی 2 هارد ساتا 2 پانصد گیگ را با کیفیت متوسط و ترکیبی از ویندوز و میکروتیک و لینوکس را داشته ام و در مقابل نیز تجربه افت کیفیت شدید با 4 vm بر روی یک درایو ساتا3 نیز داشته ام آن هم به خاطر ویروسی بودن یکی از vm ها و تواما استفاده بیش از حد و کپی پیست کردن های همزمان یکی از کاربران ویندوز بر روی آن هارد!
تمام این معادلات به شرط استفاده منصفانه کاربران از درایو مورد نظر و نوع سیستم عامل ها و نرم افزارهای نصب شده و حجم اطلاعات ورودی و خروجی صادق است و نمیتوان هر درایو را معرف پشتیبانی از تعداد خاصی vm دانست.
جداولی که در پست قبل ارائه دادم نشان دهنده میزان نرمال io در درایو های مختلف بود که البته تجاوز از این میزان به منزله بروز مشکل نیست فقط از کیفیت استفاده کاربران از درایو مورد نظر تا حدودی می کاهد.البته بدیهی است اگر میزان io از حد مشخصی تجاوز کند باعث down شدن سرور و ایجاد اختلال در رم و سی پی یو خواهد شد مخصوصا اینکه سیستم عامل سرور نیز بر روی آن هارد نصب شده باشد!