سلام برای ایندکس از Apache Solr و ذخیره سازی از Apache Lucene می توانید استفاده کنید. برای پیمایش (خزش) وب هم از Apache Nutch می توانید استفاده کنید. من فکر می کنم استفاده از این ۳ پروژه برای نوشتن یک جستجو گر با قابلیت گسترش بالا مفید خواهد بود برای یک پروژه کوچک و یا ساده تر میشه از elasticsearch استفاده کرد. البته استفاده از این پروژه ها نیاز به مطالعه داره من فقط با این پروژه ها آشنا هستم چون یک بار قصد نوشتن جستجو گر داشتم که منتفی شد.
Apache Lucene - Apache Solr
https://nutch.apache.org/
Elasticsearch.org Overview | Elasticsearch
Building your own search engine with Apache Solr
Building a Search Engine with Nutch and Solr in 10 minutes