ساختن موتور جستجوگر

[ronix]

سلام دوست عزیز
ابتدای امر باید شما بتونید یک نقشه راه تهیه کنید
به عنوان مثال شرکت یاهو از زبان برنامه نویسی سمت سرورو کلاینت و پیتون استفاده کرده که زبان قوی هست موتور یاهو هم چند سال پیش از همین پیتون بوده و تاجای ک هبنده اطلاع دارم .
که میتونید از زبان جاوا هم استفاده کنید به هیچ عنوان زبان پی اچ ای جواب شمارو نمیتونه بده چون کشش نداره وبهتره اول زبان برنامه نویسی تون رو انتخاب کنید ونوع سیستم عامل سرورتون رو که میتونید از سیستم عامل یونیکس ویا فری بی اس دی استفاد ه کنید .
دوم اینکه اکثر موتورهای جستجو از الگوریتمهایی خیلی خیلی پیچیده و ترکیبی استفاده میکنن به عنوان مثلا یک موتور جستجو گر یک الگوریتم برای جمع آوری و یک الگوریتم برای پردازش اطلاعاتی که بدست اورده دارن و.... چند ین الگوریتم پیچیده که آقای سرگی برین همه رو طراحی کرده برای گوگل چون ایشون معمار اصلی موتور جستجوگر گوگل هستن بدون شک ایشون نابغه قرن هست . به همراه اقای لری پیج البته الان آقای پیچ مدیر عامل هستن .
مجموعه الگوریتم ها باید اینقدر قوی باشه که بتونه همزمان با یک سرعت بالایی محاسبات رو این قدر دقیق انجام بده و پردازش کنه که از اطلاعات از توی دیتابیس به یک باره به کاربر نمایش بده = به عنوان مثال شما اسمارت فون رو سرچ میکنید تو ی گوگل - ( آیا میدونیدکه چند صد هزار تا صفحه وتصویر و فیلم و.......... اطلاعات در مورد اسمارت فون هستش ؟
آیا میدونید چطوری این اطلاعات رو موتور جستجو گر ی مثل گوگل ویا یا هو ویا بینگ لیست میکنن ؟
وآیا میدونید چطور این اطلاعات جمع آوری میشه به وسیله انواع روبات ها که هر کدوام از این رباط ها کار خاصی انجام میدهند ( البته با توجه به الگوریتمی که براشون طراحی شده )
کار روباط ها رو میتتونم در چند جمله اینطوری بگم روباط ها میان و کاری ک هاظون خواص شده رو انجام میدهند مثلا کار یک روبات این هستش که بره وداخل صفحات ومطالب رو با وجه به زمان و مکان و آی پی وزبان نوشته شد ه در هر سایت بیاره وببره تیو یک جا بریزه . رباط های دیگه هم مثل همی نروبات کاری دیگه دارن مثلا یک روبات تعداد بازدیدهای یک سایت رو میبنه .یا لینک هایی که به صفحات داده شده ویا از جای اومده میبنه ویا کلماتی که تیو هر صفحه هستش و میبره ودر جایی ذخیره میکنه . و...... هزارن روبات دیگه
با الگوریتمهایی که طراحی شده کار میکنن . البته کارهای زیادی هست که در این جا نمیشه توضیحشون داد .
به عنوان مثال اگر شما از یک سایت متنی رو کپی کنید ودر وب سایتتون بزارید روبات ها میان ومتنی که شما توی سایتتون گزاشتی نرو با متنی که تیو سایت دیگه هستش بررسی میکنن و مشخص میشود ک هشما متنی رو کپی کردین از سایتی وبهتون امتیاز نفی میدهد این فقط یک کاری هستش که الگوریتم جدید گوگل این کارو میکنه و1000 ران مورد دیگه هستش که نمیشود درموردش اینجا بحث کرد )

چند تاشرکت تیو دنیا هستش که اسمارت فون تولید میکنه ؟ چند تا شرکت درمورد اسمارت فون مطلب مینویسند ؟ چند تا فروشگاه آنلاین و.... هستند که اسماراون هارو میفروشند ؟ و.......
از بین این همه مطالب وتصویرو فیلم و... موتور جستجو گر همه این هار ومیتونه در خودش ذخیره ودر موقع در خواست برای ما به نمایش بزاره ؟

دوست عزیز من نمیخواهم شمارو از این که میخواهید یک موتور جستجو گر بنویسید ویک کار بزرگ کنید منع ویا بهتون انرژی منفی ویا بگم توانش رو ندارید ولی همین جوری که دوستان دیگه در بالا گفتن برای اینکه موتور جستجو گر بنویسید ویا داشته باشید
به یک زبان برنامه نویسی قوی 2- سخت افزار خوب سروهای قوی -3- سرمایه گزاری بالا (هزینه بالا ) 4- داشتن دانش کافی 5- کارمندان خیلی خیلی حرفه ای و..... مشاورین خوب توی این کار داشته باشید .6- یک دیتاسنتر بزرگ برای آزمایشات با سرعت های گیگابایت باید داشته باشید .

چند سال پیش خوندم کشور فرانسه سرمایه گزاری کرده برای نوشتن یک موتور جستجوگر ولی تا امروز دیگه خبری ازش نشد وشکست خوردش این پروژه .
به نظر من برای اینکه کسی بخواهد یک موتور جستجو گر خوب که بتونه حتی 100درجه هم از گوگل پاین تر باشه بزنه باید حدود 5 میلیارد دلار هزینه کنه وحدود 5سال هم با حدود بالای 200 نفر نیرو شبانه روز کار کنه - که حتی شرکتهای بزرگی توی دنیا که براشو ن این مبالغ هیچی نیست هم زیر بارش نرفتن مثل شرکت اپل که سالانه 1000 ران میلیارد دلار فقط از فروش گوشی های موبایل وتبلت هاش در میاره ززیر بارش نرفتن . ویا شرکتهای مثل فیس بوک که در آمد میلیاردی داره ویک تفاهم نامه با مایکرو سافت بسته که از موتور اونبرای جستجوی بینگ استفاده کنه ویا شرکت سامسونگ ویا ال جی ویا سونی و....... کل غول فناوری و سرمایه هستند پس که سختی هستش . وکار زیادی میبره .
به نظر من بهترین کار این هستش که یا یک موتور جستجو گر رو بخریدش وبعد روش کار کنید وایده هاتو ن رو روی اون بزارید ( البته اگر چنین هزینه هایی دارید البته )
من اگر خودم همیچنین هیزنه میلیاردی داشتن موتور جستجو گر Ask.com رو میخریدم وبعد با تحقیقات بیشتر ایده های خودم ومشاورانم ودوستان و... رو روش اعمال میکردم
چون موتور جستجوگر Ask.com جز 10 تا موتور جستجو گر برتر دنیا هستش وراه رو چند ساله که رفته .. ومیدونه کجای کار ه
در هرصورت در کارتون موفق باشید
شاد باشید

مطلب بسیار مفید و جامعی بود
کاش مقداری حوصله به خرج میدادن دوستان و مطالعه میکردند ، اگر مقداری از عقل خودمون استفاده کنیم و اینقدر خودمونو بیشتر از انچه که هستیم نشون ندیم خیلی خوب میشه مانع پیشرفت ما همین بزرگ جلوه دادن خودمون هست نمونه دوست عزیزمون که با 350 هزارتومن میخوان موتور جستو طراحی کنند ...خوبیه موفق باشید امیدوارم متوجه حرفام بشید

[alirezakhani]

سلام به همه دوستان، مبارکه با این قیمت ماشاا.... اقای eskelet-sokhte ترکونده موتور جستجو گر با350.000 تومن
خوش باشید

[eskelet-sokhte]

نیاز شدید ب پول برای تمدید سرور دارم.وگرنه کلا حوصله طراحی ندارم

[سیدرضا بازیار]

همه کاربران این انجمن حرفه ای هستن و میتونم به جرات بگم یکی از بهترین انجمن هایی هست که بزرگ ترین برنامه نویس ها رو داره
همه کاربرا هم در زمینه ای حرفه ای هستند...
شما درست میگید. رقابت با گوگل تقریبا غیر ممکنه
اما من نمیخوام از اول با گوگل رقابت کنم
من قصد دارم ابتدا رقابت رو با موتور جستجوگر "سلام" شروع کنم (فکر کنم بگم رباط جستجوگر بهتر باشه) و بعد از چند سال با bing مبارزه کنم
شاید این پروژه رو 8 تا 10 سال آینده شروع کنم. اما شروع میکنم!
در آینده آدم حسرت کار هایی رو میخوره که انجام نداده, نه کار هایی رو که انجام داده
پس من هم شروع میکنم که در آینده حسرت نخورم
قبل از ساختن موتور جستجوگر میخوام ابتدا سایت بازی آنلاین بسازم تا جز 1000 سایت برتر ایران بشه.
بعد شروع میکنم به اجرای پروژه های بعدی.... تا برسه به موتور جستجوگر
درسته که شرکت های خارجی خیلی بزرگ هستن و رقابت با اونا سخته. اما اگه رقابت کنیم و شکست بخوریم بهتره که رقابت نکنیم...

[alirezakhani]

سلام
دوست عزیز حالا که اینقدر میخواهید کار کنید تنها راهنمایی که میتون مبهتو نبکنم اینکه
شمابرید واول به الگوریتمهای گوگل مسلط ویادبگیریدشون واون هارو مهندسی مع*** کنید از آخر به اول ببنید آخرین الگوریتمش که مرغ مگس خوار هست چی هستش .بعدش الگوریتم پاندا و پنگوئن رو هم مطاله کنید ورابطش رو با الگوریتم مرغ مگس خوار درک کنید و اینجوری میتونید راه رو بر عکس برید واز ای نراه میتونید از کسانی ک هتیو الگوریتمهیا گول هم تخصص دارن کمک بگیرید یکی از کسانی که تخصص لاز م رو دارن ومن ایشو نرو هم قبول دارم وهم از تخصص ایشون خبر دارم آقای شیرازی هستند
سئو، آموزش سئو و بازاریابی اینترنتی - رضا شیرازی مفرد

نوشته های بالای من رو هم بخونید با دقت بخونید واخبار مربوط به گوگل ودیگر موتورهارو هم بخونید
مثلا اینکه کارمند سابق گوگل ویا پرنسس خانم گوگل یعنی خانم ماریسا مایر چطور شد که وارد گوگل شد وچطور شد که جدا شد وچطور شد که شد مدیر عامل شرکت یاهو وهیئت مدیره یاهووچطور به اون اختیار تام برای میدریت یاهو دادن .از وقتی ایشون وارد یاهو شد سهام یاهو چقدر ارزشمن شد ویا هو چقدر جون گرفت با خرید چند شرکت کوچم وراه اندازی چندیت سرویس جدید باید شما همه این هارو بخونید
من پیشنهاد میکنم زندگی این خانم رو حتما بخونید همه سرویس های حرفه ای گوگل رو این خانم طراحی وراه اندازی کرده مثلا همین سرویس نقشه گوگل مپ و یا سیستم مترجم گوگل و...... چندین سرویس دیگه واین که از همه مهمتر هستش اینکه چطور این همه سرویس رو با هم ترکیب وبا هم ادغام کرده
که لقب پرنسس خانم گوگل رو داشت .هم اکنون این لقب مربوط به مدیر تیم امنیتی کل گوگل مخصوصا سرویس گوگل کروم یعنی خانم پریسا تبریزی( پرنسس خانم گوگل ) که ایرانی هستن ایشون
سعی کنیدمطالعتون رو زیاد کنید
برای راه اندازی یک موترو جستجو گر شما باید به غیر از الگوریتم های هوشمند ودیتاسنتر وپول باید کارمندان ومشاورا ن.......
احتیاج به سرویس هایی دارید که بتونن کمکتون کنن مثل همی نسرویس ترجمه متن ویا سرویس نقشه ویا سرویس همین ایمیل ک هبتونی داول کاربرانتون رو رصد کنید وبا توجه به اینکه چی میخواهند براشو ن پیش بینی کنید
وبسازید وشگف زدشون کنید
شا دوخوش وسلامت وایرانی باشید

همه کاربران این انجمن حرفه ای هستن و میتونم به جرات بگم یکی از بهترین انجمن هایی هست که بزرگ ترین برنامه نویس ها رو داره
همه کاربرا هم در زمینه ای حرفه ای هستند...
شما درست میگید. رقابت با گوگل تقریبا غیر ممکنه
اما من نمیخوام از اول با گوگل رقابت کنم
من قصد دارم ابتدا رقابت رو با موتور جستجوگر "سلام" شروع کنم (فکر کنم بگم رباط جستجوگر بهتر باشه) و بعد از چند سال با bing مبارزه کنم
شاید این پروژه رو 8 تا 10 سال آینده شروع کنم. اما شروع میکنم!
در آینده آدم حسرت کار هایی رو میخوره که انجام نداده, نه کار هایی رو که انجام داده
پس من هم شروع میکنم که در آینده حسرت نخورم
قبل از ساختن موتور جستجوگر میخوام ابتدا سایت بازی آنلاین بسازم تا جز 1000 سایت برتر ایران بشه.
بعد شروع میکنم به اجرای پروژه های بعدی.... تا برسه به موتور جستجوگر
درسته که شرکت های خارجی خیلی بزرگ هستن و رقابت با اونا سخته. اما اگه رقابت کنیم و شکست بخوریم بهتره که رقابت نکنیم...

[eskelet-sokhte]

نمیدونم چرا اسم رقابت میاد همه میگن گوگل.رقابت کنین با موتور های چینی.خیلی عالی دارن پیش میرن.رقابت کنین با بینگ و...

[hamid.soltani92]

این پست به موضوع تاپیک ارتباط نداره، با نخوندنش چیزی رو از دست نمیدید...
دوست من فرمودید که رقابت بکنید و شکست بخورید بهتر از اینه که رقابت نکنید...!
به نظر من بهتر اینه که رقابتی رو که از ابتدا میدونید توش شکست می خورید شروع نکنید و به جای سرمایه و وقتتون رو روی موضوعی صرف کنید که توش امید به پیروزی باشه.
من هم یک موقع ایده هایی مثل ایده شما داشتم و ...
یکم از قوه تخیلمون استفاده کنیم:
شما ۱۰سال دیگه که شروع کنید، ۱۰ سال به معروفیت گوگل افزوده شده، تا اون موقع خودروهای بی نیاز از راننده با سیستم گوگل همه گیر شدن، گجت های گوگل توسط همه استفاده میشه و گوگل به یک برند فراگیر جهانی تبدیل میشه( هر چند که همین الانشم هست!) و شما تازه تو اول راهید...
برادرانه بهتون پیشنهاد می کنم سرمایه و وقت گرانبهاتون رو صرف کاری که آخر و عاقبت داشته باشه بکنید... از نوشته هاتون میشه حدس زد که سن و سال زیادی ندارید و باید محصل باشید. توی تاپیک دیگه ای در مورد بهترین زبان برنامه نویسی پرسیده بودید، پیشنهاد می کنم تو مرحله اول html رو یاد بگیرید. بعد به سراغ css برید و بعد هم اسکریپتینگ کلاینت ساید رو آموزش ببینید. جاوا اسکریپت رو یاد بگیرید و بعد برید سراغ کتابخانه های جاوا اسکریپت مثل jquery. بعد از آموزش اینها وارد بحث برنامه نویسی سرور ساید خواهید شد و اونجا میتونید زبان برنامه نویسی بک اندتون رو انتخاب کنید.
اگه نوشته من زیاد خوش آیند نبود و انتظارتون مبنی بر حمایت از ایده طراحی موتور جستجو و ... برآورده نشد متاسفم، فقط خواستم تجربه شکست های خودم رو بهتون منتقل کنم، شاید نظرتون عوض بشه.
براتون آرزوی موفقیت می کنم.

[eskelet-sokhte]

خداییش الان استارترو درک میکنم.مونده نفس خودش یا حرف دیگران.ولی بازم موندم آقا حمید و دیگر دوستان چرا پشت سر هم میگین گوگل.بابا ول کنین گوگلو.یه چیز باید راه بیندازیم ک خودمون استفاده کنی و کاری باشه.گوگل انگلیسییه ها.درسته ک از فارسی پشتیبانی میکنه ولی...
بازم نظرم اینه فکر خوبیه راه اندازی و ایده نوییه در ایران

- - - Updated - - -

خداییش الان استارترو درک میکنم.مونده نفس خودش یا حرف دیگران.ولی بازم موندم آقا حمید و دیگر دوستان چرا پشت سر هم میگین گوگل.بابا ول کنین گوگلو.یه چیز باید راه بیندازیم ک خودمون استفاده کنی و کاری باشه.گوگل انگلیسییه ها.درسته ک از فارسی پشتیبانی میکنه ولی...
بازم نظرم اینه فکر خوبیه راه اندازی و ایده نوییه در ایران

[ronix]

دوست عزیز این خصلت ما ادم هاست تا چیزیو انجام ندادیم و درک نکردیم نسبت به اون کنجکاوی داریم ، همونطور که دوستان باز شما رو راهنمایی کردند، الان حس و حالی که دارید رو درک میکنم چون سنتون پایین هست و هنوز انرژی فراوانی دارید و میخواید انرژیتونو صرف یک پروژه ی عظیم کنید ، اما از من به شما نصیحت شما فرض کنید که 10 سال هم نشستید و زحمت کشیدید و هزینه کردید تهش به این پی میبرید که عمرتونو در راهی صرف شده که هیچ سودی براتون نداشته و اونموقع حسرت اینو دارید که چرا این زمان از دست رفته را در راه بهتری استفاده نکردید ، حالا که اینقدر انگیزه دارید پیشنهاد بنده این هست که از پایه برنامه نویسی تحت وب را شروع کنید زیرا نتیجه خوبی خواهید گرفت و پشیمان نمیشوید چون صنعت اینترنت و ای تی روز به روز در گسترش هستند و در اینده جامعه نیاز بیشتری به این صنعت پیدا میکنه و این فقط یک نصیحت بود ، امیدوارم از گفته های بنده و دوستان استفاده ی لازمو ببری و بتونی مسیرتو درست مشخص کنی ، موفق باشید

[cartman10mpi]

به نظر من رقابت با گوگل امکان ناپذیر نیست . ولی باید اول کار رو درک کرد ، رقیب رو درک کرد و برنامه ریزی درستی کرد . یاد اون مثالی افتادم که در هندوستان فیل رو وقتی بچه است به یک درخت (حتی کوچک) میبندن . هر چی تلاش میکنه نمیتونه رها بشه . این تو ذهنش حک میشه که من از این درخت نمیتونم رها بشم . وقتی که بزرگ میشه بازم به همون درخت میبندن . شاید با اون عظمتش تکون بخوره درخت رو از جاش بکنه ولی چون دیگه حک شده تو ذهنش که نمیتونه ، هیچ وقت امتحان نمیکنه . برای مثال امروزی باید بگم خود بنده با سیاست های جدید گوگل برای قوانین کپی رایت ، جدیدا بسیاری از سرچ هامو با یاهو انجام میدم . در گشور ترکیه که رندگی میکنم ، طرح نو ، اطلاعات محلی دقیق و بهتر ، الگریتم محلی و نتیجه بهتر و تبلیغات خیلی از مردم ترکیه در کنار گوگل از موتور جستجوی yandex استفاده میکنن . اگه همینجور پیش بره احتمال جلو زدن از گوگل رو هم در 2-3 سال آینده خواهد داشت .
پس باید درست برنامه ریزی کرد . نمیدونم هدف استارتر عزیز از موتور جستجو چیه ؟ ولی اگه قصد رقابت با گوگل رو داره امکان ناپذیر نیست ! ولی حقیقت گرا باشیم . نیاز مالی و انسانی شدیدی خواهد داشت و از عهده ی یک پروژه یک نفره با یک طراح و برنامه نویس خارج است .