درخواست برنامه نویسی و یا راهنمایی برای ساخت یک روبات یا عنکبوت برای سایت جست و جو

[kingserver72]

بازم مرسی از راهنمایی هاتون
دوستان نظرتون در مورد پایگاه داده mongoDB واسه اینکار چیه؟
به نظر شما از چه پایگاه داده ای استفاده کنیم؟ mysql ؟ mongoDB ؟ یا...؟

[milade]

سلام .

اما به یک نکته ظریف اشاره نکردید ، هزینه ! هزینه ای که برای توسعه mysql صرف میشه به جهت بالابردن پرفورمنس برای شرایط موجود خیلی زیاد هست تقریباً یک ریسک هست چون در واقع کمترکسائی پیدا میشن که این توانایی رو داشته باشن .

البته این یک هزینه نیست ! این یک مرحله هست !
اینچنین پروژه ها باید توسط دولتها در این زمان تغذیه بشن تا بشه نتیجه گرفت . اگر ما در دهه 1990 بودیم و با پایگاه داده access هم پروژه گوگل رو استارت میزدیم خورده ای بر ما گرفته نمیشد . اما امروزه یک شروع نامناسب یک شکست خواهد بود . چند سال پیش دعوت دولت رو برای ساخت یک جستجوگر ملی خاطر دارم ... شاید اگر چندین متخصص بشید بتونید بودجه کافی رو برای چند سال مطالعه از دولت بگیرید ! این پروژه ها دیگه نمیتونه با ریسک استارت بخوره . باید اون قدر قوی باشه که بشه با گوگل و یاهویی که میلیارد ها دلار پس انداز دارند رقابت کنه . پس باید یک تیم تشکیل داد و از ساختار های سیستم عامل تا فازهای بالایی پروژه که مربوط به تفکر و درک ( هوش مصنوعی ) هست رو دنبال کنید . از اساتید دانشگاه تهران و صنعتی شریف و پروژه های دکترا دانشجوهای اکسفورد هم میتونید استفاده کنید ( متاسفانه پایان نامه های متخصصین داخلی بیشتر شبیه رمان هستش تا یک ایده ! ) .

در نهایت هرگز حاظر نشید که جای هزینه رو با وقت پر کنید !

این نظر بنده بود .

تشکر

[iFire]

ببینید میشه گفت این پروژه واقعا پروژه بزرگی هست، بزرگتر از اون چیزی که تو ذهنتون تصور می کنید
من نمی خوام نا امیدتون کنم هر کمکی هم از دستم بربیاد در اختیارتون می ذارم ولی می خوام پرقدرت شروع کنید و ایده داشته باشید واسه کارتون
شاید هر کسی با خودش فکر کنه و یک روال برای طراحی پروژه اش در نظر بگیره و شروع به کار کنه ولی پس از شروع کار معلوم میشه که چه مشکلاتی قرار هست جلو روتون سبز شه
چون تجربه کردم دارم عرض می کنم
ولی مواردی رو می گم که در نظر داشته باشید و حداقل روشون فکر کنید
شما باید با بدترین و غیر استانداردترین نوع کد نویسی ها سروکله بزنید
ملاک های رتبه بندی تون چی هست و اینکه چطور می خواید با انواع تقلب مقابله کنید
روش ذخیره سازی داده ها به چه شکل هست تا بهترین بازدهی رو داشته باشید ( اینجا مثل پروژه های عادی نیست که طراحی نادرست دیتابیس و ساختار مشکلی تو روند کار بوجود نیاره ... اینجا شما با رکورد های میلیاردیو درخواست های خیلی زیاد و ... کار می کنید که باید همه جوانب رو در نظر داشته باشید تا مشکلاتی چون افت سرعت، کرش هارد، لود سی پی یو و ... پیش نیاد
اینها دو سه نکته از هزاران نکته این پروژه بود که خواستم خدمتتون عرض کرده باشم هرچه بیشتر میرید جلو شاهد گستردگی بیشتر پروژه میشید ( واقعا به این شکل هست )
پروژه رو کامل تحلیل کنید ... ماه ها وقت واسه این کار هم کمه و تا می تونید به فکر بهینه سازی باشید و خودتون الگو اختراع کنید

هزینه مهمترین نقش رو بازی می کنه
اینجا باید همه جوانب رو در نظر گرفت

[rezaonline.net]

اعضای تیم ؟
ساپورت پروژه ؟
و ...

من برای تحلیل پیاده سازی یک سی ام اس روی کاغذ ، 4 ماه وقت گذاشتم اما هنوز جرات کد زدن ندارم و دارم کاملش میکنم .
تحلیل یک موتور جستجو خیلی کار میبره .

همنطور که دوستمون گفتن ،

امروزه یک شروع نامناسب یک شکست خواهد بود .

[kingserver72]

اعضای تیم ؟
ساپورت پروژه ؟
و ...

من برای تحلیل پیاده سازی یک سی ام اس روی کاغذ ، 4 ماه وقت گذاشتم اما هنوز جرات کد زدن ندارم و دارم کاملش میکنم .
تحلیل یک موتور جستجو خیلی کار میبره .

همنطور که دوستمون گفتن ،

چندین ساله این پروژه رو داریم روی کاغذ گسترش میدیم... بررسی رقیب ها - معایب رقیب ها - طراحی امکانات جدید و روش های نوین جست و جو برای رقابت با موتور های جست و جو دیگه جمع آوری اطلاعات لازم برای شروع کار - وقتشه که برنامه نویسی رو شروع کنیم...

[rezaonline.net]

انشاالله موفق باشید .
پس ما منتظر خبرهای خوبی باشیم دیگه درسته ؟

[kingserver72]

انشاالله موفق باشید .
پس ما منتظر خبرهای خوبی باشیم دیگه درسته ؟

حتما... به امید از خدا تا چند ماه دیگه نسخه آزمایشی میاد بالا

[Hostpolis]

اگر نظرتون صرفا ایندکس کردن سایت های فارسی باشه Lucene رو ما تست کردیم و میتونید روش مطالعه کنید: http://lucene.apache.org/core/

[kingserver72]

اگر نظرتون صرفا ایندکس کردن سایت های فارسی باشه Lucene رو ما تست کردیم و میتونید روش مطالعه کنید: Apache Lucene - Apache Lucene Core

باتشکر از شما تست می کنیم... بله فعلا فقط واسه ایران هستش

[kingserver72]

دوستان واسه موتور جست و جو یه سرور با مشخصات زیر به نظرتون مناسبه؟
کراولر بیشتر به چه قسمت سرور فشار وارد می کنه؟

مشخصات سرور :
500GM hard
100GB پهنای باند
4GB Ram
cpu : 8 Cores, 2.4Ghz

سرور hybrid ایران از فراسو هستش

نظرتون در مورد سرور های ایران چیه؟ کیفیت خوبی دارن؟