پاسخ : داده های حجیم در mysql
سلام، بیشتر از تصورات شما قابلیت ذخیره دارد، 97 میل ریکورد با دیتا 30 گیگ هم نرمال حساب میشود، باید یک سری قواعد را رعایت کنید که در آینده به مشکل نخورد: استراکچر بهینه، لک ایندکس و ..
پاسخ : داده های حجیم در mysql
نوع ذخیره سازی مثل mysam innodb هم مهمه که یکی قابلیت ریپرش بهتره ... یکی سرعتش... یکی مصرفش ..
اگه تنظیمات (بقول معروف کانفیگ) خوبی براش اعمال کنین هیچ مشکلی پیش نمیاد من الان تو دیتابیسم جدولی دارم بالای چند گیگ که تو هر بازدید کاربر مرورگرو ای پی و اینارو ذخیره میکنه
پاسخ : داده های حجیم در mysql
نقل قول:
نوشته اصلی توسط
T.Toosi
سلام، بیشتر از تصورات شما قابلیت ذخیره دارد، 97 میل ریکورد با دیتا 30 گیگ هم نرمال حساب میشود، باید یک سری قواعد را رعایت کنید که در آینده به مشکل نخورد: استراکچر بهینه، لک ایندکس و ..
والله من یه حساب و کتاب کوچیک کردم که تو این سیستم ظرف مدت 5 سال چیزی حدود 90 میلیون یا نزدیک 100 میلیون رکورد ثبت خواهد شد!!!!
واقعا این حجم اطلاعات رو نمیشه کنترل کرد با همین MySql ساده؟؟ منظورم از ساده همونی که روی هاست ها ارائه میشه و....
چه چیزی رو باید رعایت کنم؟
میشه راهنمائی بفرمائید؟
- - - Updated - - -
نقل قول:
نوشته اصلی توسط
miladtnt
نوع ذخیره سازی مثل mysam innodb هم مهمه که یکی قابلیت ریپرش بهتره ... یکی سرعتش... یکی مصرفش ..
اگه تنظیمات (بقول معروف کانفیگ) خوبی براش اعمال کنین هیچ مشکلی پیش نمیاد من الان تو دیتابیسم جدولی دارم بالای چند گیگ که تو هر بازدید کاربر مرورگرو ای پی و اینارو ذخیره میکنه
نیاز به راهنمائی های بیشتری دارم،
پاسخ : داده های حجیم در mysql
نقل قول:
نوشته اصلی توسط
iroo
والله من یه حساب و کتاب کوچیک کردم که تو این سیستم ظرف مدت 5 سال چیزی حدود 90 میلیون یا نزدیک 100 میلیون رکورد ثبت خواهد شد!!!!
واقعا این حجم اطلاعات رو نمیشه کنترل کرد با همین MySql ساده؟؟ منظورم از ساده همونی که روی هاست ها ارائه میشه و....
چه چیزی رو باید رعایت کنم؟
میشه راهنمائی بفرمائید؟
- - - Updated - - -
نیاز به راهنمائی های بیشتری دارم،
https://www.google.com/search?espv=2...10.V9q6oQ75wcI
یه دوری اینجا بزنین
پاسخ : داده های حجیم در mysql
نقل قول:
والله من یه حساب و کتاب کوچیک کردم که تو این سیستم ظرف مدت 5 سال چیزی حدود 90 میلیون یا نزدیک 100 میلیون رکورد ثبت خواهد شد!!!!
واقعا این حجم اطلاعات رو نمیشه کنترل کرد با همین MySql ساده؟؟ منظورم از ساده همونی که روی هاست ها ارائه میشه و....
چه چیزی رو باید رعایت کنم؟
میشه راهنمائی بفرمائید؟
استراکچر دیتابیس اسکریپت را تا جایی که میتوانید بهینه کنید ممکن است یک column دیتاتایپ bigint استفاده کند در صورتی که دیتاتایپ پایین ترین جوابگو بوده، در این صورت ابتدا مموری فول سپس دیتابیس شما میترکد، دوم اگر نمایش داده ندارید فقط از موتور innoDB استفاده کنید، سوم ابتدا دیسک سپس منابع اختصاصی تاثیر مستقیم بروی write read دیتابیس دارند و هزار فاکتور دیگر.. بازم اگر خیلی نگران هستید از یک متخصص پایگاه داده مشورت بگیرید شاید اصلا برای هدف شما یک سیستم مدیریت پایگاه داده دیگری پیشنهاد کند.
پاسخ : داده های حجیم در mysql
نقل قول:
نوشته اصلی توسط
T.Toosi
استراکچر دیتابیس اسکریپت را تا جایی که میتوانید بهینه کنید ممکن است یک column دیتاتایپ bigint استفاده کند در صورتی که دیتاتایپ پایین ترین جوابگو بوده، در این صورت ابتدا مموری فول سپس دیتابیس شما میترکد، دوم اگر نمایش داده ندارید فقط از موتور innoDB استفاده کنید، سوم ابتدا دیسک سپس منابع اختصاصی تاثیر مستقیم بروی write read دیتابیس دارند و هزار فاکتور دیگر.. بازم اگر خیلی نگران هستید از یک متخصص پایگاه داده مشورت بگیرید شاید اصلا برای هدف شما یک سیستم مدیریت پایگاه داده دیگری پیشنهاد کند.
ممنون از راهنمائی تون، باید بررسی بیشتری انجام بدم
سپاس
پاسخ : داده های حجیم در mysql
جدای از اون میتونید برروی فیلد تاریخ بصورت سالیانه عملیات پارتیشن بندی انجام بدید
تاثیرمناسبی داره
- - - Updated - - -
همچنین اگر تمایل به استفاده از پایگاه داده مناسبتری دارید postgresql مناسبتر هست
پاسخ : داده های حجیم در mysql
نقل قول:
نوشته اصلی توسط
rezaonline.net
جدای از اون میتونید برروی فیلد تاریخ بصورت سالیانه عملیات پارتیشن بندی انجام بدید
تاثیرمناسبی داره
- - - Updated - - -
همچنین اگر تمایل به استفاده از پایگاه داده مناسبتری دارید postgresql مناسبتر هست
سالیانه؟
منظور اینکه اطلاعات سال های قبل رو از پروژه کنار بذارم تا پایگا داده سبک تری داشته باشم؟
اینطوری وقتی بخوام به اطلاعات اونا دسترسی پیدا کنم باید برو قبلی ها رو بگردم
postgresql واقعا از MYsql قوی تر هست؟؟؟؟؟
که بتونه 100 میلیون رکود و فاکتور فروش رو ذخیره کنه؟
پاسخ : داده های حجیم در mysql
نقل قول:
نوشته اصلی توسط
iroo
سالیانه؟
منظور اینکه اطلاعات سال های قبل رو از پروژه کنار بذارم تا پایگا داده سبک تری داشته باشم؟
اینطوری وقتی بخوام به اطلاعات اونا دسترسی پیدا کنم باید برو قبلی ها رو بگردم
postgresql واقعا از MYsql قوی تر هست؟؟؟؟؟
که بتونه 100 میلیون رکود و فاکتور فروش رو ذخیره کنه؟
اصولا در اینگونه موارد آرشیو میکنند و مجموع رو میارند. مثلا از قبل از 1393 رو میریزند تیبل آرشیو و مجموع رو میزارند در فیلد یوزر و بکار میگیرند. و در صورت لزوم هر وقت لازم شد بهش کانکت میشند.
پاسخ : داده های حجیم در mysql
پارتیشن بندی در mysql رو جستجو کنید
در اصل میاد براساسی فیلدی که تعین میکنید فایلهای مجزا میسازه
برای اون جدول و باعث سرعت بیشتر میشه
نه داده ای از دست میره نه هیچ تغییری لازمه
یه قابلیت دیتابیس هست
Postgresql ذاتا چون فایلهای متعددی برای دیتاها میسازه سریعتره در رکوردهای بالا وفشار کمتری میاره
در مقایسه با mysql رم کمتری مصرف میکنه اما تقریبا دو برابر بیشتر هارد مصرف میکنه
پیشنهاد میکنم قبل از تولید نرم افزار ، ساختار دیتابیستون رو برام بفرستید تا راهنمایی کنم.
هنچنین به علت وجود دیتاتایپ جدید bson در postgresql میتوان خیلی از رابطه های چند به چند در mysql که نیاز به سه جدول داشتند با postgresql به لطف bson با دو جدول انجامش داد
در کل با این حجم دیتا ، باید خیلی روی دیتابیس حساس بشید
اگر اصرار به mysql دارید پیشنهادم percona یا mariadb با انجین xtradb هست
پاسخ : داده های حجیم در mysql
نقل قول:
نوشته اصلی توسط
rezaonline.net
پارتیشن بندی در mysql رو جستجو کنید
در اصل میاد براساسی فیلدی که تعین میکنید فایلهای مجزا میسازه
برای اون جدول و باعث سرعت بیشتر میشه
نه داده ای از دست میره نه هیچ تغییری لازمه
یه قابلیت دیتابیس هست
Postgresql ذاتا چون فایلهای متعددی برای دیتاها میسازه سریعتره در رکوردهای بالا وفشار کمتری میاره
در مقایسه با mysql رم کمتری مصرف میکنه اما تقریبا دو برابر بیشتر هارد مصرف میکنه
پیشنهاد میکنم قبل از تولید نرم افزار ، ساختار دیتابیستون رو برام بفرستید تا راهنمایی کنم.
هنچنین به علت وجود دیتاتایپ جدید bson در postgresql میتوان خیلی از رابطه های چند به چند در mysql که نیاز به سه جدول داشتند با postgresql به لطف bson با دو جدول انجامش داد
در کل با این حجم دیتا ، باید خیلی روی دیتابیس حساس بشید
اگر اصرار به mysql دارید پیشنهادم percona یا mariadb با انجین xtradb هست
احسنت.
قبل از استارت کار دستتون خیلی بازتره اما بعدا کمی دستتون بسته تر میشه. پیاده سازی معماری اصولی عین محاسبه اسکلت یک ساختمونه کار رو استارت زدین دستتون بسته تر میشه.(البته نه لزوما تا این حد بسته!! خوبی برنامه نویسی همینه میشه معماری رو تغییر داد ولی خوب هزینه و زمان بیشتری رو از شما خواهد گرفت)
- - - Updated - - -
این آقا رضا تقریبا سیستم هائی رو طراحی کردن که رکوردهاشون از رکوردهائی که شما نوشتید بسیار بیشتر بوده و موفق هم عمل کردن. و تائید میشند به شدت
پاسخ : داده های حجیم در mysql
همه فرموده های دوستان درست است
ولی گزینه پارتیشن بندی کردن بر اساس تاریخ بسیار ایده و کار خوبی میباشد مثل این هست که شما هارد دیسک خودتونو پارتیشن بندی گنید و یک پارتیشن برای آهنگ یکی برای فیلم و دیکری برای بازی
طبق نیاز میرید پارتیشن مورد نظر را انتخاب میکنید و عملا حجم عظیمی از اطلاعات فقط بایگانی می ماند