مشکل : لیمیت بودن file_get_contents و fread به 2 گیگابایت

[AtrafNet]

سلام
پیشنهاد میکنم از این روش خط به خط فایل رو پردازش کنید:

<?php
$handle = fopen("inputfile.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // process the line read.
    }
    fclose($handle);
} else {
    // error opening the file.
}

در این روش اطلاعات خط به خط خونده میشه و در متغیر line$ قرار میگیره اما خوبیش اینه که هیچ وقت نیاز به پر کردن حافظه RAM با کل 2 گیگ فایل نیست و اطلاعات فقط خط به خط buffer میشن.
البته حتی با این روش هم با اینکه احتمالاً مشکل RAM دیگه پیش نمیاد ولی به دلیل طولانی شدن پردازش 2 گیگ فایل اگر Request با مرورگر هستش به احتمال زیاد با خطای Time Out مواجه میشه مگر اینکه حجم فایل رو تیکه تیکه تر در هر Request جدا پردازش کنید.
منبع کد: http://stackoverflow.com/questions/1...by-line-in-php

[Azade.Kaveh]

سلام
پیشنهاد میکنم از این روش خط به خط فایل رو پردازش کنید:

<?php
$handle = fopen("inputfile.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // process the line read.
    }
    fclose($handle);
} else {
    // error opening the file.
}

در این روش اطلاعات خط به خط خونده میشه و در متغیر line$ قرار میگیره اما خوبیش اینه که هیچ وقت نیاز به پر کردن حافظه RAM با کل 2 گیگ فایل نیست و اطلاعات فقط خط به خط buffer میشن.
البته حتی با این روش هم با اینکه احتمالاً مشکل RAM دیگه پیش نمیاد ولی به دلیل طولانی شدن پردازش 2 گیگ فایل اگر Request با مرورگر هستش به احتمال زیاد با خطای Time Out مواجه میشه مگر اینکه حجم فایل رو تیکه تیکه تر در هر Request جدا پردازش کنید.
منبع کد: http://stackoverflow.com/questions/1...by-line-in-php

ایشون به دلیل حجم بالا اصلا نمیتونن فایل رو بخونن بعدا شما از کجا درومدی میگی که پرداش ؟

اول باید داده خونده بشه تا بشه پردازشش کرد .

[navid2zp]

ایشون به دلیل حجم بالا اصلا نمیتونن فایل رو بخونن بعدا شما از کجا درومدی میگی که پرداش ؟

اول باید داده خونده بشه تا بشه پردازشش کرد .

کد اول به این دلیل با ارور مواجه میشه که کل فایل با اون دستور خونده میشه
کدی که دوست عزیز پیشنهاد دادن کل فایل رو نمی خونه و در رم ذخیره نمی کنه بلکه فایل رو باز می کنه و هر قسمتی رو که نیاز داشته باشید می خونه
در نتیجه اروری نمیگیرید
توضیحاتشون رو با دقت بیشتری بخونید

[Azade.Kaveh]

کد اول به این دلیل با ارور مواجه میشه که کل فایل با اون دستور خونده میشه
کدی که دوست عزیز پیشنهاد دادن کل فایل رو نمی خونه و در رم ذخیره نمی کنه بلکه فایل رو باز می کنه و هر قسمتی رو که نیاز داشته باشید می خونه
در نتیجه اروری نمیگیرید
توضیحاتشون رو با دقت بیشتری بخونید

کلا فانکشن fopen نمیتونه حجم بالا بخونه !

حالا ایشون اومدن اول خوندنش بعد اومدن لاین به لاین while کردن...

در ضمن اصلا فرض هم بگیریم که خونده شده باشه نه نشده ! یعنی بابت هر کوئری دیتابیس قراره 2 گیگ رم خورده بشه ؟ یعنی برای داشتن 100 کاربر آنلاین حداقل حداقل باید 200 گیگ رم در نظر گرفت !

کار باید از بیس درست باشه عزیز دل !

[AtrafNet]

کلا فانکشن fopen نمیتونه حجم بالا بخونه !

حالا ایشون اومدن اول خوندنش بعد اومدن لاین به لاین while کردن...

در ضمن اصلا فرض هم بگیریم که خونده شده باشه نه نشده ! یعنی بابت هر کوئری دیتابیس قراره 2 گیگ رم خورده بشه ؟ یعنی برای داشتن 100 کاربر آنلاین حداقل حداقل باید 200 گیگ رم در نظر گرفت !

کار باید از بیس درست باشه عزیز دل !

درسته این روش اصلاً اصولی نیست ولی جناب من و شما نمی دونیم که استارتر برای چه کاری می خوان شاید اصلاً اونی که تو ذهن ماست یعنی یه وب سایت که قراره query رو از فایل حجیم بخونه نباشه شاید یه پروژه کار شخصی باشه.
چون خودم بار ها کار هایی داشتم که اصلاً عمومی نبودن و تونستم به هر روش ناشیانه ای هم شده حلش کنم میگم

درباره fopen هم استارتر گفتن fread که داده ها رو می خونه ایراد میگیره جسارتاً fopen به تنهایی وظیفه خوندن و بافر کردن داده ها رو نداره بلکه فقط یه file pointer ایجاد میکنه که باهاش کار کنیم
http://php.net/manual/en/function.fopen.php

لینکی هم که از stackoverflow.com در پست قبل دادم رو مطالعه کنید حجم فایل پرسش کننده در اون لینک هم 1 گیگ هستش.

[T.Toosi]

کلا فانکشن fopen نمیتونه حجم بالا بخونه !

حالا ایشون اومدن اول خوندنش بعد اومدن لاین به لاین while کردن...

در ضمن اصلا فرض هم بگیریم که خونده شده باشه نه نشده ! یعنی بابت هر کوئری دیتابیس قراره 2 گیگ رم خورده بشه ؟ یعنی برای داشتن 100 کاربر آنلاین حداقل حداقل باید 200 گیگ رم در نظر گرفت !

کار باید از بیس درست باشه عزیز دل !

سلام، fopen تنها file handle resource به شما برمیگردونه و content فایل خوانده نمیشه فقط یک اشاره گر به فایل هست و شما محدودیتی برای fopen ندارید. تنها در خواندن فایل احتیاج به مموری پیدا میکنید که این مشکل را میتوانید با فایل پوینتر با خواندن به صورت لاین به لاین که دوستمون در بالا اشاره کردند حل کنید.

[navid2zp]

کلا فانکشن fopen نمیتونه حجم بالا بخونه !

حالا ایشون اومدن اول خوندنش بعد اومدن لاین به لاین while کردن...

در ضمن اصلا فرض هم بگیریم که خونده شده باشه نه نشده ! یعنی بابت هر کوئری دیتابیس قراره 2 گیگ رم خورده بشه ؟ یعنی برای داشتن 100 کاربر آنلاین حداقل حداقل باید 200 گیگ رم در نظر گرفت !

کار باید از بیس درست باشه عزیز دل !

خیر دوست عزیز می تونید برای فایل های حجم بالا هم استفاده کنید
بنده برای فایل های بالای 5 گیگ هم بدون مشکل استفاده کردم

باز دوستان توضیحات کاملتر دادند