سایت هایی که زیره کلود فلیر هستند رو چطوری میشه داده هاشون رو استخراج کرد ؟ (PHP Web Scraping)

[nevergotme]

سلام ، من نیاز دارم داده هایی از چند وبسایت خاص رو استخراج کنم با php , اما با توجه به اینکه بعضی از وب مسترها گزینه I'm Under Attack رو برای بعضی کشورها فعال کردند، من به هیچ وجه نتوستم داده ها رو بگیرم ،file_get_contents که هیچ دردی دوا نمیکنه ، از طریق curl هم نشد,


- به طور مثال سایت subscene.com من با هر دو روش بالا امتحان کردم که در روش curl یک پیام میاد که نوشته Checking Your Browser و درنهایت خطا میده و به سایت بازگشت داده نمیشه : Not Found The requested URL /cdn-cgi/l/chk_jschl was not found on this server.

یا خلاصه وار بخوام بگم، با توجه به مشکلات بالا این وبسایت از چه روشی برای استخراج داده از ساب سین استفاده کرده طوری که کودفلیر گیر نداده یعنی Ip ش جر وایت لیست بوده ؟ : https://subf2m.co/

[Rezash]

سلام ، من نیاز دارم داده هایی از چند وبسایت خاص رو استخراج کنم با php , اما با توجه به اینکه بعضی از وب مسترها گزینه I'm Under Attack رو برای بعضی کشورها فعال کردند، من به هیچ وجه نتوستم داده ها رو بگیرم ،file_get_contents که هیچ دردی دوا نمیکنه ، از طریق curl هم نشد,


- به طور مثال سایت subscene.com من با هر دو روش بالا امتحان کردم که در روش curl یک پیام میاد که نوشته Checking Your Browser و درنهایت خطا میده و به سایت بازگشت داده نمیشه : Not Found The requested URL /cdn-cgi/l/chk_jschl was not found on this server.

یا خلاصه وار بخوام بگم، با توجه به مشکلات بالا این وبسایت از چه روشی برای استخراج داده از ساب سین استفاده کرده طوری که کودفلیر گیر نداده یعنی Ip ش جر وایت لیست بوده ؟ : https://subf2m.co/

۱. برای bypass کردن کلودفلیر کتابخونه هایی هست مثلا :
https://github.com/yanikore/PHP-v8js-CloudFlare-bypass
اما اینکه چقدر جوابگو هستند باید تست بشه

۲. از ای پی های دیگه ای استفاده کنید و سعی کنید درخواست دقیقا شبیه سازی شده مرورگر و شرایط واقعی باشه ( هدر ها )
۳. سعی کنید روی اون ای پی با همون شرایط شبیه سازی شده یکبار وریفای کنید و تا مدتی ای پی رو بهش گیر نمیده
۴. دیتا رو کش کنید و هربار دیتا رو از سایت مقصد درخواست ندید تا تعداد درخواست ها بیاد پایین

[Reza G]

سلام ، من نیاز دارم داده هایی از چند وبسایت خاص رو استخراج کنم با php , اما با توجه به اینکه بعضی از وب مسترها گزینه I'm Under Attack رو برای بعضی کشورها فعال کردند، من به هیچ وجه نتوستم داده ها رو بگیرم ،file_get_contents که هیچ دردی دوا نمیکنه ، از طریق curl هم نشد,
- به طور مثال سایت subscene.com من با هر دو روش بالا امتحان کردم که در روش curl یک پیام میاد که نوشته Checking Your Browser و درنهایت خطا میده و به سایت بازگشت داده نمیشه : Not Found The requested URL /cdn-cgi/l/chk_jschl was not found on this server.
یا خلاصه وار بخوام بگم، با توجه به مشکلات بالا این وبسایت از چه روشی برای استخراج داده از ساب سین استفاده کرده طوری که کودفلیر گیر نداده یعنی Ip ش جر وایت لیست بوده ؟ : https://subf2m.co/

کتابخانه‌ای توسط یکی از کاربران همین انجمن (آقای طوسی) آماده شده. میتونید تهیه کنید.

[seotools]

با مرورگرهای جاوا اسکریپتی هم میتونین راحت هر چیزی رو بخونین کلا با سوکت نویسی

[Rezash]

با مرورگرهای جاوا اسکریپتی هم میتونین راحت هر چیزی رو بخونین کلا با سوکت نویسی

بله دقیقا همینطوره.
nevergotme : اگر با js اشنایی دارید مثلا با phantomjs و ست کردن agent مناسب خیلی راحت تر میشه اینکار و انجام داد.

[seotools]

بله دقیقا همینطوره.
nevergotme : اگر با js اشنایی دارید مثلا با phantomjs و ست کردن agent مناسب خیلی راحت تر میشه اینکار و انجام داد.

بله یکی دیگه هم puppeteer

هست

با پایتون هم میشه
کلا راه زیاد داره بستگی به دانش برنامه نویسی اون برنامه نویس داره

[nevergotme]

بله دقیقا همینطوره.
nevergotme : اگر با js اشنایی دارید مثلا با phantomjs و ست کردن agent مناسب خیلی راحت تر میشه اینکار و انجام داد.

بله یکی دیگه هم puppeteer

هست

با پایتون هم میشه
کلا راه زیاد داره بستگی به دانش برنامه نویسی اون برنامه نویس داره

ممنون ، ولی من میخوام با php کار کنم آیا چیزی مشابه اینا هست برای پی اچ پی؟

[ULTRAWEB]

شما باید بتونین الگوریتم شناسایی رو بای پس کنین
که با پی اچ پی نمونه ایش اینه:https://github.com/KyranRana/cloudflare-bypass
بعدشم که دیگه مشکلی وجود نداره.....