درخواست برنامه نویسی و یا راهنمایی برای ساخت یک روبات یا عنکبوت برای سایت جست و جو

[milade]

سلام .

اما به یک نکته ظریف اشاره نکردید ، هزینه ! هزینه ای که برای توسعه mysql صرف میشه به جهت بالابردن پرفورمنس برای شرایط موجود خیلی زیاد هست تقریباً یک ریسک هست چون در واقع کمترکسائی پیدا میشن که این توانایی رو داشته باشن .

البته این یک هزینه نیست ! این یک مرحله هست !
اینچنین پروژه ها باید توسط دولتها در این زمان تغذیه بشن تا بشه نتیجه گرفت . اگر ما در دهه 1990 بودیم و با پایگاه داده access هم پروژه گوگل رو استارت میزدیم خورده ای بر ما گرفته نمیشد . اما امروزه یک شروع نامناسب یک شکست خواهد بود . چند سال پیش دعوت دولت رو برای ساخت یک جستجوگر ملی خاطر دارم ... شاید اگر چندین متخصص بشید بتونید بودجه کافی رو برای چند سال مطالعه از دولت بگیرید ! این پروژه ها دیگه نمیتونه با ریسک استارت بخوره . باید اون قدر قوی باشه که بشه با گوگل و یاهویی که میلیارد ها دلار پس انداز دارند رقابت کنه . پس باید یک تیم تشکیل داد و از ساختار های سیستم عامل تا فازهای بالایی پروژه که مربوط به تفکر و درک ( هوش مصنوعی ) هست رو دنبال کنید . از اساتید دانشگاه تهران و صنعتی شریف و پروژه های دکترا دانشجوهای اکسفورد هم میتونید استفاده کنید ( متاسفانه پایان نامه های متخصصین داخلی بیشتر شبیه رمان هستش تا یک ایده ! ) .

در نهایت هرگز حاظر نشید که جای هزینه رو با وقت پر کنید !

این نظر بنده بود .

تشکر

[kingserver72]

اول باید در موردشون حسابی تحقیق کنی .
بهرحال باید یه سری توضیحات بدی .
مثلاً چند سال میخوای کاری کنه ؟
چقدر براش هزینه میکنی؟
و ...

این پست رو زدیم که از تجربیات و راهنمایی های شما واسه عملی کردن این پروژه کمک بگیریم
و در حال حاضر داریم طرح اولیه رو می سازیم و روی روبات ها و... کار می کنیم
در مورد هزینه ها هم فعلا واسه استارت چیزی بین 1 میلیون تا 3 میلیون رو در نظر داریم
پروژه بعد از تمام شدن به مدت 1 سال توی ایران و روی سرور های ایرانی تست میشه و کاربر ها به ایرانیا محدود میشه و با این کار از بستر اینترنت ملی هم استفاده می کنیم. همینطور توی این 1 سال سیستم رو ارتقا می دیم و ایرادات رو رفع می کنیم تا نسخه اصلی واسه پروژه جهانی آماده بشه...
برنامه های زیادی واسه این کار داریم و داریم سعی می کنیم همه چی طبق نقشه پیش بره. اگه لاری پیج و سرگئی برین تونستن گوگل رو بسازن پس ماهم می تونیم این موتور جست و جو رو بسازیم
طرح هایی در نظر داریم که موتور جست و جوی مارو از گوگل - بینگ و یاهو متفاوت تر می کنه و تجربه جدیدی رو به کاربر میده
بدون شک نیاز به هزینه های زیادی واسه جهانی کردن این موتور جست و جو هست اما توی این 1 سال ما فرصت این رو داریم که اون رو به ایرانیا معرفی کنیم و از دولت یا کسایی که توانایی کمک کردن رو دارن کمک بگیریم

دوستان بازم اگه اطلاعاتی در این زمینه دارید بگید. مارو خیلی کمک می کنید واسه جلو بردن پروژه
اطلاعاتی مثل سرور مورد نیاز ( توجه کنید که فعلا روی سرور ایران بالا میاد هرچند که پهنای باند کمی بهمون میدن) و...

هیچ کاری نشد نداره...

[iFire]

ببینید میشه گفت این پروژه واقعا پروژه بزرگی هست، بزرگتر از اون چیزی که تو ذهنتون تصور می کنید
من نمی خوام نا امیدتون کنم هر کمکی هم از دستم بربیاد در اختیارتون می ذارم ولی می خوام پرقدرت شروع کنید و ایده داشته باشید واسه کارتون
شاید هر کسی با خودش فکر کنه و یک روال برای طراحی پروژه اش در نظر بگیره و شروع به کار کنه ولی پس از شروع کار معلوم میشه که چه مشکلاتی قرار هست جلو روتون سبز شه
چون تجربه کردم دارم عرض می کنم
ولی مواردی رو می گم که در نظر داشته باشید و حداقل روشون فکر کنید
شما باید با بدترین و غیر استانداردترین نوع کد نویسی ها سروکله بزنید
ملاک های رتبه بندی تون چی هست و اینکه چطور می خواید با انواع تقلب مقابله کنید
روش ذخیره سازی داده ها به چه شکل هست تا بهترین بازدهی رو داشته باشید ( اینجا مثل پروژه های عادی نیست که طراحی نادرست دیتابیس و ساختار مشکلی تو روند کار بوجود نیاره ... اینجا شما با رکورد های میلیاردیو درخواست های خیلی زیاد و ... کار می کنید که باید همه جوانب رو در نظر داشته باشید تا مشکلاتی چون افت سرعت، کرش هارد، لود سی پی یو و ... پیش نیاد
اینها دو سه نکته از هزاران نکته این پروژه بود که خواستم خدمتتون عرض کرده باشم هرچه بیشتر میرید جلو شاهد گستردگی بیشتر پروژه میشید ( واقعا به این شکل هست )
پروژه رو کامل تحلیل کنید ... ماه ها وقت واسه این کار هم کمه و تا می تونید به فکر بهینه سازی باشید و خودتون الگو اختراع کنید

هزینه مهمترین نقش رو بازی می کنه
اینجا باید همه جوانب رو در نظر گرفت

[rezaonline.net]

اعضای تیم ؟
ساپورت پروژه ؟
و ...

من برای تحلیل پیاده سازی یک سی ام اس روی کاغذ ، 4 ماه وقت گذاشتم اما هنوز جرات کد زدن ندارم و دارم کاملش میکنم .
تحلیل یک موتور جستجو خیلی کار میبره .

همنطور که دوستمون گفتن ،

امروزه یک شروع نامناسب یک شکست خواهد بود .

[kingserver72]

اعضای تیم ؟
ساپورت پروژه ؟
و ...

من برای تحلیل پیاده سازی یک سی ام اس روی کاغذ ، 4 ماه وقت گذاشتم اما هنوز جرات کد زدن ندارم و دارم کاملش میکنم .
تحلیل یک موتور جستجو خیلی کار میبره .

همنطور که دوستمون گفتن ،

چندین ساله این پروژه رو داریم روی کاغذ گسترش میدیم... بررسی رقیب ها - معایب رقیب ها - طراحی امکانات جدید و روش های نوین جست و جو برای رقابت با موتور های جست و جو دیگه جمع آوری اطلاعات لازم برای شروع کار - وقتشه که برنامه نویسی رو شروع کنیم...

[rezaonline.net]

انشاالله موفق باشید .
پس ما منتظر خبرهای خوبی باشیم دیگه درسته ؟

[Hostpolis]

اگر نظرتون صرفا ایندکس کردن سایت های فارسی باشه Lucene رو ما تست کردیم و میتونید روش مطالعه کنید: http://lucene.apache.org/core/

[kingserver72]

انشاالله موفق باشید .
پس ما منتظر خبرهای خوبی باشیم دیگه درسته ؟

حتما... به امید از خدا تا چند ماه دیگه نسخه آزمایشی میاد بالا

[kingserver72]

اگر نظرتون صرفا ایندکس کردن سایت های فارسی باشه Lucene رو ما تست کردیم و میتونید روش مطالعه کنید: Apache Lucene - Apache Lucene Core

باتشکر از شما تست می کنیم... بله فعلا فقط واسه ایران هستش

[kingserver72]

دوستان واسه موتور جست و جو یه سرور با مشخصات زیر به نظرتون مناسبه؟
کراولر بیشتر به چه قسمت سرور فشار وارد می کنه؟

مشخصات سرور :
500GM hard
100GB پهنای باند
4GB Ram
cpu : 8 Cores, 2.4Ghz

سرور hybrid ایران از فراسو هستش

نظرتون در مورد سرور های ایران چیه؟ کیفیت خوبی دارن؟