استفاده از پایگاه های nosql برای ذخیره سازی 300 میلیون رکورد اطلاعات

[phpcoding]

جناب جسارته حق با شماست سرعت کار این تابع file_get_contents بالاست اما به دلیل اینکه تمامی محتویات فایل رو در رم buffer میکنه مصرف رم خیلی زیادی می تونه در فایل های حجیم داشته باشه.
برای همین اکثراً در کار با فایل های حجیم در PHP پیشنهاد میکنن که به جای file_get_contents از تابع fopen برای ایجاد یک file pointer و سپس از تابع fgets برای خواندن تیکه تیکه فایل (مثلاً خط به خط) استفاده کنن.
چون اینطوری تابع fgets فقط همون مقدار از فایل که نیازه رو تو مموری بافر میکنه و نه ممکنه که اخطار سر ریز بافر در حجم های خیلی بالا پیش بیاد و نه مشکل مصرف بیش از حد رم داره.
نمونه کد در این لینک: http://stackoverflow.com/questions/1...e-files-in-php که البته طبق گفته این لینک که درست هم هست علاوه بر مشکل سرعت و بافر در حجم های خیلی زیاد ممکنه مشکل Time Out هم پیش بیاد.

همچنین درباره سرعت دیتابیس نسبت به فایل هم پیشنهاد میکنم لینک های زیر رو مطالعه کنید:

http://stackoverflow.com/questions/6...database-speed
http://stackoverflow.com/questions/8...e-access-speed


درسته فایل دسترسی سریع تری داره اما در مقیاس اطلاعاتی خیلی زیاد برای خود مدیر سایت مشکل ساز میشه و حتی بعداً اگه بخواد سایت رو بفروشه نمی تونه.

و باز هم دوستان متخصص
من نگفتم عدل بیان همینی که من نوشتمو استفاده کنن . این کدی که من نوشتم یه کد مفهومیه فقط دوست عزیز . کاش فرق کد مفهومی و نمونه کد رو میدونستید !!!

درسته فایل دسترسی سریع تری داره اما در مقیاس اطلاعاتی خیلی زیاد برای خود مدیر سایت مشکل ساز میشه و حتی بعداً اگه بخواد سایت رو بفروشه نمی تونه.

دیگه اون بستگی به سلیقه شما داره که چطوری با NoSQL کار کنید . اگر قرار باشه مثل یه برنامه نویس تازه کار همه اطلاعات رو بریزید توی یه فایل با فرمت txt که حتی خروجی فایل رو هم نتونید کنترل کنید که نه تنها تو فروش سایت به مشکل میخورید بلکه هر کی هم رسید میشه هکر و هکتون میکنه . باید اصولی کار بشه .

به نظر بنده هم همین موضوع هست که کار با یک فایل بسیار بسیار بزرگ در حد 20 گیگ ( حدود 300 میلیون خط ) در یک سرور معمولی بسیار سخت هست . به دو دلیل . اول اینکه شما باید یک فایل رو مدام در حال ادیت قرار بدید ( اگر دیتابیس ایستا باشه مثل تیبل پست های وردپرس مشکلی نیست ) ولی اگر یک دیتابیس با این حجم مدام در حال نوشتن و ویرایش باشه قطعا به مشکل خواهد خورد دقیقا مثل موتور MyISAM که کوئری ها در صف قرار میگیرن

بنده خودم الان سخت به دنبال روشی هستم که سرعت کار با دیتابیسم رو افزایش بده و قطعا فردا دیتابیس رو در یک فایل متنی مثل csv میریزم و تست میکنم . البته که خود phpmyadmin از موتور csv پشتیبانی میکنه ولی هیچ کس توصیه نمیکنه

- - - Updated - - -



البته کوئری زیاد هست ولی بدترین کوئری این کوئری ای که معرفی کردید هست به دلیل اینکه تمام فایل به یکباره در سیستم باز میشه بدون هیچ لیمیتیشنی . حتی دیتابیس رو هم لیمیت قرار میدن براش چه برسه به یک فایل چند ده گیگی . شما از nosql در فایل های چندین گیگی دینامیک استفاده میکنید ؟

شما فرق کد مفهومی و نمونه کد رو میدونید ؟

واقعا هر سری من خواستم تو این انجمن به کسی کمک کنم بعدش اعصاب خوردی بوده برام . مشکل دوستمون حل شد . با تیم ویور نمونه کد براشون نوشتم که کلا مشکلشون حل شد
حالا این وسط یه چیزی واقعا برای من عجیبه . اونموقع که این آقا نیاز داره . هیچ کس وارد تاپیکش نمیشه . دو روز سه روز که گذشت مشکلش که توسط یکی مث من حل شد همه میشن متخصص میریزن داخل تاپیکش و شروع میکنن نظر دادن . مثل سری قبلی که دوستان تفاوت کارل پی اچ پی و زبان کرل رو نمیدونستن . اونوقت میخواستن به من توجیه کنن که کرل یه چیز دیگس

من خودم تا الان NoSQL که حجم فایل هام بیشتر از 3KB بشه کار نکردم . چون به نظرم اصولی نیست . حتی برای insert کردن در یک تیبل در دیتابیس . ولی خب الان مشکل دوستمون چیز دیگه ایه و نیاز ایشون چیز دیگه