شما یک کراولر دارید ، که وظیفه اش گشتن و جمع کردن لینک هست .
یک اسپایدر دارید ، که وظیفه اش اینه به لینک هایی که کراولر جمع کرده میره و توی اون لینک هر تعداد لینک مرتبط رو در میاره .
ربات هم وظیفه مدیریت این دو تا رو داره + آنالیز اطلاعاتی که جمع کردن و ذخیره توی دیتابیس .
شما باید رباتتون رو هر روز / هر ساعت / هر ثانیه سر یک تایم مشخص اجرا کنید تا بره بگرده و ...
برای ساخت موتور جستجو نیاز به یک دیتابیس فوق العاده سریع دارید + نامحدود .
همین دو مورد کل دیتابیس های sql رو حذف میکنه ! یعنی نه mysql نه postgresql نه oracle و ... به درد شما نمیخورن .
همونطور که جناب mmzznn گفتن ، ساختن ربات سخت نیست نگهداری اطلاعات سخت هست .
بهرحال شما باید هدفتون ، بازه زمانی ، گستره و حدود فعالیت رو مشخص کنید .
یه چیز هم خدمتتون بگم ، توی نت چندین سایت ایرانی میبینید که ادعا کردن موتور جستجو دارن ، این سایت ها شاید در ظاهر اینطور باشن اما در باطن همان تایجی که شما میخواید رو از گوگل و بینگ میگیرن و نمایش میدن .
همین![]()