ساختن موتور جستجوگر

[ronix]

سلام دوست عزیز
ابتدای امر باید شما بتونید یک نقشه راه تهیه کنید
به عنوان مثال شرکت یاهو از زبان برنامه نویسی سمت سرورو کلاینت و پیتون استفاده کرده که زبان قوی هست موتور یاهو هم چند سال پیش از همین پیتون بوده و تاجای ک هبنده اطلاع دارم .
که میتونید از زبان جاوا هم استفاده کنید به هیچ عنوان زبان پی اچ ای جواب شمارو نمیتونه بده چون کشش نداره وبهتره اول زبان برنامه نویسی تون رو انتخاب کنید ونوع سیستم عامل سرورتون رو که میتونید از سیستم عامل یونیکس ویا فری بی اس دی استفاد ه کنید .
دوم اینکه اکثر موتورهای جستجو از الگوریتمهایی خیلی خیلی پیچیده و ترکیبی استفاده میکنن به عنوان مثلا یک موتور جستجو گر یک الگوریتم برای جمع آوری و یک الگوریتم برای پردازش اطلاعاتی که بدست اورده دارن و.... چند ین الگوریتم پیچیده که آقای سرگی برین همه رو طراحی کرده برای گوگل چون ایشون معمار اصلی موتور جستجوگر گوگل هستن بدون شک ایشون نابغه قرن هست . به همراه اقای لری پیج البته الان آقای پیچ مدیر عامل هستن .
مجموعه الگوریتم ها باید اینقدر قوی باشه که بتونه همزمان با یک سرعت بالایی محاسبات رو این قدر دقیق انجام بده و پردازش کنه که از اطلاعات از توی دیتابیس به یک باره به کاربر نمایش بده = به عنوان مثال شما اسمارت فون رو سرچ میکنید تو ی گوگل - ( آیا میدونیدکه چند صد هزار تا صفحه وتصویر و فیلم و.......... اطلاعات در مورد اسمارت فون هستش ؟
آیا میدونید چطوری این اطلاعات رو موتور جستجو گر ی مثل گوگل ویا یا هو ویا بینگ لیست میکنن ؟
وآیا میدونید چطور این اطلاعات جمع آوری میشه به وسیله انواع روبات ها که هر کدوام از این رباط ها کار خاصی انجام میدهند ( البته با توجه به الگوریتمی که براشون طراحی شده )
کار روباط ها رو میتتونم در چند جمله اینطوری بگم روباط ها میان و کاری ک هاظون خواص شده رو انجام میدهند مثلا کار یک روبات این هستش که بره وداخل صفحات ومطالب رو با وجه به زمان و مکان و آی پی وزبان نوشته شد ه در هر سایت بیاره وببره تیو یک جا بریزه . رباط های دیگه هم مثل همی نروبات کاری دیگه دارن مثلا یک روبات تعداد بازدیدهای یک سایت رو میبنه .یا لینک هایی که به صفحات داده شده ویا از جای اومده میبنه ویا کلماتی که تیو هر صفحه هستش و میبره ودر جایی ذخیره میکنه . و...... هزارن روبات دیگه
با الگوریتمهایی که طراحی شده کار میکنن . البته کارهای زیادی هست که در این جا نمیشه توضیحشون داد .
به عنوان مثال اگر شما از یک سایت متنی رو کپی کنید ودر وب سایتتون بزارید روبات ها میان ومتنی که شما توی سایتتون گزاشتی نرو با متنی که تیو سایت دیگه هستش بررسی میکنن و مشخص میشود ک هشما متنی رو کپی کردین از سایتی وبهتون امتیاز نفی میدهد این فقط یک کاری هستش که الگوریتم جدید گوگل این کارو میکنه و1000 ران مورد دیگه هستش که نمیشود درموردش اینجا بحث کرد )

چند تاشرکت تیو دنیا هستش که اسمارت فون تولید میکنه ؟ چند تا شرکت درمورد اسمارت فون مطلب مینویسند ؟ چند تا فروشگاه آنلاین و.... هستند که اسماراون هارو میفروشند ؟ و.......
از بین این همه مطالب وتصویرو فیلم و... موتور جستجو گر همه این هار ومیتونه در خودش ذخیره ودر موقع در خواست برای ما به نمایش بزاره ؟

دوست عزیز من نمیخواهم شمارو از این که میخواهید یک موتور جستجو گر بنویسید ویک کار بزرگ کنید منع ویا بهتون انرژی منفی ویا بگم توانش رو ندارید ولی همین جوری که دوستان دیگه در بالا گفتن برای اینکه موتور جستجو گر بنویسید ویا داشته باشید
به یک زبان برنامه نویسی قوی 2- سخت افزار خوب سروهای قوی -3- سرمایه گزاری بالا (هزینه بالا ) 4- داشتن دانش کافی 5- کارمندان خیلی خیلی حرفه ای و..... مشاورین خوب توی این کار داشته باشید .6- یک دیتاسنتر بزرگ برای آزمایشات با سرعت های گیگابایت باید داشته باشید .

چند سال پیش خوندم کشور فرانسه سرمایه گزاری کرده برای نوشتن یک موتور جستجوگر ولی تا امروز دیگه خبری ازش نشد وشکست خوردش این پروژه .
به نظر من برای اینکه کسی بخواهد یک موتور جستجو گر خوب که بتونه حتی 100درجه هم از گوگل پاین تر باشه بزنه باید حدود 5 میلیارد دلار هزینه کنه وحدود 5سال هم با حدود بالای 200 نفر نیرو شبانه روز کار کنه - که حتی شرکتهای بزرگی توی دنیا که براشو ن این مبالغ هیچی نیست هم زیر بارش نرفتن مثل شرکت اپل که سالانه 1000 ران میلیارد دلار فقط از فروش گوشی های موبایل وتبلت هاش در میاره ززیر بارش نرفتن . ویا شرکتهای مثل فیس بوک که در آمد میلیاردی داره ویک تفاهم نامه با مایکرو سافت بسته که از موتور اونبرای جستجوی بینگ استفاده کنه ویا شرکت سامسونگ ویا ال جی ویا سونی و....... کل غول فناوری و سرمایه هستند پس که سختی هستش . وکار زیادی میبره .
به نظر من بهترین کار این هستش که یا یک موتور جستجو گر رو بخریدش وبعد روش کار کنید وایده هاتو ن رو روی اون بزارید ( البته اگر چنین هزینه هایی دارید البته )
من اگر خودم همیچنین هیزنه میلیاردی داشتن موتور جستجو گر Ask.com رو میخریدم وبعد با تحقیقات بیشتر ایده های خودم ومشاورانم ودوستان و... رو روش اعمال میکردم
چون موتور جستجوگر Ask.com جز 10 تا موتور جستجو گر برتر دنیا هستش وراه رو چند ساله که رفته .. ومیدونه کجای کار ه
در هرصورت در کارتون موفق باشید
شاد باشید

مطلب بسیار مفید و جامعی بود
کاش مقداری حوصله به خرج میدادن دوستان و مطالعه میکردند ، اگر مقداری از عقل خودمون استفاده کنیم و اینقدر خودمونو بیشتر از انچه که هستیم نشون ندیم خیلی خوب میشه مانع پیشرفت ما همین بزرگ جلوه دادن خودمون هست نمونه دوست عزیزمون که با 350 هزارتومن میخوان موتور جستو طراحی کنند ...خوبیه موفق باشید امیدوارم متوجه حرفام بشید