پاسخ : درخواست برنامه نویسی و یا راهنمایی برای ساخت یک روبات یا عنکبوت برای سایت جست و جو
سلام .
در چنین سیستمی کار 1-2 نفر نیست . بلکه پروژه باید به صورت تیم ورک و حداقل 10-20 نفر انجام بشه . کاستم کردن پایگاه داده MYSQL به علت اپن سورس بودن ، به وسیله یک تیم میتونه نتیجه رو برگردونه . ضمن اینکه همون طور که عرض کردم اسفاده از الگوریتم های ذخیره سازی خوب میتونه در کاهش حجم و بلعکس افزایش سرعت بسیار مهم باشه .همچنین این داده ها شاید بهتر باشه روی چندین سرور بزرگ ذخیره بشه تا 1 سرور فوق قدرتمند ، چراکه هم میتوان از جوین دیتا استفاده کرد هم ریسک رو به حداقل رسوند و پایگاه ها رو در هر کدام به جای اینکه 10^N ROW داشته باشه ، 10^N/تعداد سرور ROW داشته باشه و استفاده از تکنیک های اندیس گذاری و Full Text Search و الگوریتم های بازیابی ، میتونه سرعت بازیابی و ذخیره رو به حداقل برسونه .دقت کنید که Mysql محدود هست و در رکوردهای میلیاردی فوق العاده ضعیف و سنگین هست . تفاوت سرعت در رکوردهای میلیونی به وفور دیده میشه چه برسه روزانه میلیون میلیون اطلاعات رو ذخیره کرد توش .
تحلیل این پروژه به نسبت وقت گیر تر میتونه باشه تا پیاده سازی اون .
البته همین طوره .چند سایت رو بررسی کردم بر این اساس بوده .
برخی سایتها خوراک میگیرن از دیگر سایتها که اونها بحثشون جداست .
اما به طور قطع همچین سیستمی پیاده سازی شده که به علت نبود مدیریت مناسب و استعداد هزینه و متخصص ، خیلی زود در مراحل اولیه رها شده اند و گاهاً حتی پس از مرحله تست شبکه از رده خارج شده اند .
هر چیزی وقتی ایده هست خوبه . الان با وجود اینکه بنده به جای واژه جستجو کن ، از گوگل کن استفاده میکنم ... نشون دهنده قدرت و صرف هزینه و وقت فراوان برای رو به رو شدن با اونهاست ...در حقیقت اگر بازه و وسعت سیستم کوچک باشه ، بله این کار شدنی هست اما نهایتاً چند سال میشه دوام آورد .
موفق باشید !
