نمایش نتایج: از شماره 1 تا 8 , از مجموع 8

موضوع: سایت هایی که زیره کلود فلیر هستند رو چطوری میشه داده هاشون رو استخراج کرد ؟ (PHP Web Scraping)

Threaded View

پست قبلی پست قبلی   پست بعدی پست بعدی
  1. #2
    عضو دائم Rezash آواتار ها
    تاریخ عضویت
    Feb 2010
    محل سکونت
    مشهد
    نوشته ها
    1,923
    تشکر تشکر کرده 
    889
    تشکر تشکر شده 
    2,385
    تشکر شده در
    1,535 پست

    پیش فرض پاسخ : سایت هایی که زیره کلود فلیر هستند رو چطوری میشه داده هاشون رو استخراج کرد ؟ (PHP Web Scraping)

    نقل قول نوشته اصلی توسط nevergotme نمایش پست ها
    سلام ، من نیاز دارم داده هایی از چند وبسایت خاص رو استخراج کنم با php , اما با توجه به اینکه بعضی از وب مسترها گزینه I'm Under Attack رو برای بعضی کشورها فعال کردند، من به هیچ وجه نتوستم داده ها رو بگیرم ،file_get_contents که هیچ دردی دوا نمیکنه ، از طریق curl هم نشد,


    - به طور مثال سایت subscene.com من با هر دو روش بالا امتحان کردم که در روش curl یک پیام میاد که نوشته Checking Your Browser و درنهایت خطا میده و به سایت بازگشت داده نمیشه : Not Found The requested URL /cdn-cgi/l/chk_jschl was not found on this server.

    یا خلاصه وار بخوام بگم، با توجه به مشکلات بالا این وبسایت از چه روشی برای استخراج داده از ساب سین استفاده کرده طوری که کودفلیر گیر نداده یعنی Ip ش جر وایت لیست بوده ؟ : https://subf2m.co/
    ۱. برای bypass کردن کلودفلیر کتابخونه هایی هست مثلا :
    https://github.com/yanikore/PHP-v8js-CloudFlare-bypass
    اما اینکه چقدر جوابگو هستند باید تست بشه

    ۲. از ای پی های دیگه ای استفاده کنید و سعی کنید درخواست دقیقا شبیه سازی شده مرورگر و شرایط واقعی باشه ( هدر ها )
    ۳. سعی کنید روی اون ای پی با همون شرایط شبیه سازی شده یکبار وریفای کنید و تا مدتی ای پی رو بهش گیر نمیده
    ۴. دیتا رو کش کنید و هربار دیتا رو از سایت مقصد درخواست ندید تا تعداد درخواست ها بیاد پایین
    بک آپ بگیرید قبل از آنکه پشیمان شوید!
    تشخیص سیستم مدیریت محتوای سایت - سایت شخصی

  2. تعداد تشکر ها ازRezash به دلیل پست مفید


اطلاعات موضوع

کاربرانی که در حال مشاهده این موضوع هستند

در حال حاضر 1 کاربر در حال مشاهده این موضوع است. (0 کاربران و 1 مهمان ها)

موضوعات مشابه

  1. استفاده از ssl سایت Cloudflare و قضیه ساب دامین
    توسط alisajjad1374 در انجمن سوالات و مشکلات
    پاسخ ها: 3
    آخرين نوشته: September 13th, 2017, 20:07
  2. مشکل امنیتی برای وب سایت هایی که از Cloudflare استفاده میکنن
    توسط mrsharif در انجمن ساير کنترل پنل ها
    پاسخ ها: 0
    آخرين نوشته: February 26th, 2017, 00:39
  3. پاسخ ها: 21
    آخرين نوشته: September 9th, 2013, 09:19
  4. فرصتی استثنایی: فروش زیر قیمت قالب های وردپرسی از بزرگترین سایت های ایران + 250 قالب
    توسط s.m.b در انجمن فروش انواع ماژول،پلاگین،قالب،افزونه،امکانات سفارشی
    پاسخ ها: 1
    آخرين نوشته: September 5th, 2013, 17:10

مجوز های ارسال و ویرایش

  • شما نمیتوانید موضوع جدیدی ارسال کنید
  • شما امکان ارسال پاسخ را ندارید
  • شما نمیتوانید فایل پیوست کنید.
  • شما نمیتوانید پست های خود را ویرایش کنید
  •