اگر بخواهید که از صفر شروع کنید یه موتور جستجو طراحی کنید که بعید می دونم کسی الان این کارو انجام بده
ولی برای انجام این کار اصولا برنامه های open source ای که روی اینترنت هست رو میگیرن و برای خودشون کامل می کنن مانن موتور جستجوی regain .
سورس این موتور رو می تونین دانلود کنید و اگر برنامه نویسی بلدین برای خودتون تغییرش بدین. این موتور جستجو به نظر من از همه بهتره.
روش جستجو رو مثل گوگل به صورت طولی و عرضی پیاده سازی می کند.

مثل سیستم عامل هایی که الان این همه وجود داره ، همه کرنل رو دانلود می کنن بعد customize می کنن.
این نوع موتور جستجو برای اطلاعات local خوبه ، مثلا یک سری اطلاعات حجیم روی سرور دارید و میخواید که موتور جستجو روی اونها کار بکنه و یا روی یک شبکه داخلی برای یک شرکت یا یک سازمان.
ولی اگه برای سایتتون می خواینیا یک سرور با اطلاعاتی که حجمشون زیاد بالا نیست اصلا نمی صرفه این کارو بکنین.
از هزینه این کار اطلاعاتی ندارم ولی با از همون موتور جستجوی گوگل استفاده کنید خیلی به صرفه تره.


موفق باشید.