درخواست برنامه نویسی و یا راهنمایی برای ساخت یک روبات یا عنکبوت برای سایت جست و جو

[milade]

سلام .

یه چیز هم خدمتتون بگم ، توی نت چندین سایت ایرانی میبینید که ادعا کردن موتور جستجو دارن ، این سایت ها شاید در ظاهر اینطور باشن اما در باطن همان تایجی که شما میخواید رو از گوگل و بینگ میگیرن و نمایش میدن .

البته بنده قبلاً برنامه نویسی همچین سیستمی رو انجام دادم و میدونم این طور نیست و در زمان طراحی ما یک شرکت دیگر هم چنین سیستمی رو در دست پیاده سازی داشت که اطلاعات خوبی شیر کردیم .پس این کار در ایران هم انجام شده .

به نظر بنده این یه کار بیهوده هستش و وقتگیر در کل.اما میتونه پروژه ای باشه برای افزایش اطلاعات شما در بحث SEO و برنامه نویسی شبکه . استارتر هم به کاربر iFire پیام بدهند چرا که چند ماه پیش ایشون هم دنبال این کار بودند ، بنده هم مقداری انتقال تجربه دادم .. که نمیدونم نتیجه به چه شکل شد ... ( خودم اصلاً وقت ندارم جهت راهنمایی متاسفانه ) ، اما در کل میتونند بهتون راهنمایی کنند .

برای ساخت موتور جستجو نیاز به یک دیتابیس فوق العاده سریع دارید + نامحدود .
همین دو مورد کل دیتابیس های sql رو حذف میکنه ! یعنی نه mysql نه postgresql نه oracle و ... به درد شما نمیخورن .

البته اینطور نیست . شما میتونید با همین پایگاه داده های موجود همین کار رو کنید . مثلاً MYSQL رو برای کارتون کاستم کنید . استفاده از FTS و پیاده سازی یک الگوریتم درست . همچنین مستلزم دونستن بحث پایگاه داده ها و ذخیره دیتا به معنای واقعی هست . یک پایگاه مثل ORACLE قابلیت خیلی زیادی داره . حتی گوگل هم کل دیتا رو در یک سیستم نگه داری نمیکنه . بلکه از ساب سرورها و جوین داده ها استفاده میکنه .

پیاده سازی کراول و نگهداری دیتا سخت نیست ... ، بلکه برگرداندن نتایج به بهترین نحو سخت هستش ! ، استفاده از تکنیک های هوش مصنوعی و پیاده سازی الگوریتم های حساس جهت استخراج و اندیس گذاری صحیح دیتا و ذخیره به شکل صحیح سخت هستش !

پاینده باشید .

[rezaonline.net]

البته اینطور نیست . شما میتونید با همین پایگاه داده های موجود همین کار رو کنید . مثلاً MYSQL رو برای کارتون کاستم کنید .

دقت کنید که Mysql محدود هست و در رکوردهای میلیاردی فوق العاده ضعیف و سنگین هست . تفاوت سرعت در رکوردهای میلیونی به وفور دیده میشه چه برسه روزانه میلیون میلیون اطلاعات رو ذخیره کرد توش .
به نظر من یک کار اصولی نیاز مند یک دیتابیس خوب هست .
یه نگاه به Mongo db بندازید تعریفش رو شنیدم همچنین بد نیست در مورد دیتابیس های NoSql یک تحقیقی داشته باشین .

ته بنده قبلاً برنامه نویسی همچین سیستمی رو انجام دادم و میدونم این طور نیست و در زمان طراحی ما یک شرکت دیگر هم چنین سیستمی رو در دست پیاده سازی داشت که اطلاعات خوبی شیر کردیم .پس این کار در ایران هم انجام شده .

چند سایت رو بررسی کردم بر این اساس بوده .
در حقیقت اگر بازه و وسعت سیستم کوچک باشه ، بله این کار شدنی هست اما نهایتاً چند سال میشه دوام آورد .

[iFire]

با تشکر از دوستان عزیز
پوزش بابت تاخیر در پاسخ گویی
توضیحات تا اینجا ارایه شد و به نظر شماتیک کلی از پروژه و ... دستتون اومد
استفاده از تجربیات milade و بقیه دوستان خیلی مفید بود
تو همچین پروژه هایی الگوریتم های استفاده شده خیلی خیلی مهم هست ... اگر الگوریتم خوب باشه ذخیره سازی اطلاعات به درستی انجام میشه و در مراحل بعدی بازدهی بالایی خواهیم داشت.همونطور که دوت عزیز rezaonline.net فرمودن استفاده از mongoDB میتونه مفید باشه ولی خوب شما باید اول از هر کاری هدف و گستره کاری خودتون رو مشخص کنید
در هر صورت مشکلی سوالی چیزی بود هستم در خدمتتون
موفق باشید...

[kingserver72]

مرسی از همه ی دوستان واسه راهنمایی هایی که کردن...

[milade]

سلام .

دقت کنید که Mysql محدود هست و در رکوردهای میلیاردی فوق العاده ضعیف و سنگین هست . تفاوت سرعت در رکوردهای میلیونی به وفور دیده میشه چه برسه روزانه میلیون میلیون اطلاعات رو ذخیره کرد توش .

در چنین سیستمی کار 1-2 نفر نیست . بلکه پروژه باید به صورت تیم ورک و حداقل 10-20 نفر انجام بشه . کاستم کردن پایگاه داده MYSQL به علت اپن سورس بودن ، به وسیله یک تیم میتونه نتیجه رو برگردونه . ضمن اینکه همون طور که عرض کردم اسفاده از الگوریتم های ذخیره سازی خوب میتونه در کاهش حجم و بلعکس افزایش سرعت بسیار مهم باشه .همچنین این داده ها شاید بهتر باشه روی چندین سرور بزرگ ذخیره بشه تا 1 سرور فوق قدرتمند ، چراکه هم میتوان از جوین دیتا استفاده کرد هم ریسک رو به حداقل رسوند و پایگاه ها رو در هر کدام به جای اینکه 10^N ROW داشته باشه ، 10^N/تعداد سرور ROW داشته باشه و استفاده از تکنیک های اندیس گذاری و Full Text Search و الگوریتم های بازیابی ، میتونه سرعت بازیابی و ذخیره رو به حداقل برسونه .

تحلیل این پروژه به نسبت وقت گیر تر میتونه باشه تا پیاده سازی اون .

چند سایت رو بررسی کردم بر این اساس بوده .

البته همین طوره .

برخی سایتها خوراک میگیرن از دیگر سایتها که اونها بحثشون جداست .

اما به طور قطع همچین سیستمی پیاده سازی شده که به علت نبود مدیریت مناسب و استعداد هزینه و متخصص ، خیلی زود در مراحل اولیه رها شده اند و گاهاً حتی پس از مرحله تست شبکه از رده خارج شده اند .

در حقیقت اگر بازه و وسعت سیستم کوچک باشه ، بله این کار شدنی هست اما نهایتاً چند سال میشه دوام آورد .

هر چیزی وقتی ایده هست خوبه . الان با وجود اینکه بنده به جای واژه جستجو کن ، از گوگل کن استفاده میکنم ... نشون دهنده قدرت و صرف هزینه و وقت فراوان برای رو به رو شدن با اونهاست ...

موفق باشید !

[rezaonline.net]

با تشکر از دوستان .
ببینید آقا میلاد ، تقریباً تموم دیتابیس ها به واسطه فایل دارن اطلاعات رو نگه داری میکنن .
فرآیندی که برای پردازش این اطلاعات انجام میشه ، حتی اگه جزئی بحث کنیم ، مثلاً روی خود MySql جای بحث داره .
اینکه مثلاً انجین Innodb با MyISAM و ...
اما چیزی که کاملاً مشهود است دیتابیس MySql برای حجم بالای اطلاعات واقعاً مناسب نیست ، حالا هر چقدر هم بخواید بهینه سازی انجام بدید ، این مثل این میمونه یه میخ بزرگ رو با یه چکش کوچیک به دیوار بکوبید .
ظاهراً شما اطلاعات خوبی در زمینه توسعه MySql دارید .
ممنون میشم یه نیم نگاهی به Postgresql بندازید و نظرتون رو بگید .
با تشکر

[kingserver72]

مرسی دوستان واقعا راهنمایی های خوبی کردید...
اما اگه mysql مناسب نیست پس از چه پایگاه داده ای استفاده کنیم؟ بهترین پایگاه داده واسه این کار چیه؟
دوستان اگه در مورد سرورش هم اطلاعاتی دارید بگید...
من قصد دارم سایت رو واسه 1 سال اول روی سرور های ایران بالا بیارم تا از بستر اینترنت ملی هم استفاده کنم اما فکر کنم با این کار سرعت واسه کاربرا خارج کشور پایین میاد و پهنای باند کمی هم بهمون میدن؟

[milade]

با تشکر از دوستان .
ببینید آقا میلاد ، تقریباً تموم دیتابیس ها به واسطه فایل دارن اطلاعات رو نگه داری میکنن .
فرآیندی که برای پردازش این اطلاعات انجام میشه ، حتی اگه جزئی بحث کنیم ، مثلاً روی خود MySql جای بحث داره .
اینکه مثلاً انجین Innodb با MyISAM و ...
اما چیزی که کاملاً مشهود است دیتابیس MySql برای حجم بالای اطلاعات واقعاً مناسب نیست ، حالا هر چقدر هم بخواید بهینه سازی انجام بدید ، این مثل این میمونه یه میخ بزرگ رو با یه چکش کوچیک به دیوار بکوبید .
ظاهراً شما اطلاعات خوبی در زمینه توسعه MySql دارید .
ممنون میشم یه نیم نگاهی به Postgresql بندازید و نظرتون رو بگید .
با تشکر

سلام .

در مورد مناسب نبودن MYSQL نمیتوان نظر داد . این پایگاه داده Open Source ، قابلیت این رو داره تا با بهترین کاستم سازی به خدمت گرفته بشه .
در همچنین پیاده سازی ما نیاز به MASTER/Slave داریم برای پیاده سازی و کلاسترینگ و ...
پس باید در دید اول ببینیم روی یک تیبل چقدر دیتا میخواد ذخیره بشه ؟ 100 مگا ؟ 10 ترا ؟ 1.5 پتا بایت دیتا ؟!
چقدر لازم به هزینه هست ؟ MYSQL رایگان ؟ MSSQL با 250$ تا 1500$ هزینه ؟ Oracle با هزینه سرسام آور ؟!
Postgresql هم یک پایگاه داده قدیمی هست که جوابش رو تا 24 بیلیون رکورد پردازش رو در روز پاسخ داده و یاهو از این دیتابیس استفاده میکرد ( طبق روایات ! )
اما هدف من این هست که شما با تحلیل سورس کد MYSQL ، و مطالعه Reference های پایگاه داده ها ، پایگاه داده خودتون رو پیاده سازی کنید .وقتی شما بدونید در پایگاه داده به معنای واقعی چه اتفاقی میافته برای چنین سیستمی که کل پردازش سمت بانک هست شما رو خیلی کمک خواهد کرد ! . در این دیدگاه شما شاهد پیاده ساز/ویرایش یک انجین خواهید بود .
شاید هم این چنین نگاهی نیاز نباشه و بشه با دیتابیس Postgresql با چند هزار ساب سرور این نتیجه رو نمایش داد اما این یعنی شکست و یا هزینه و صرف انرژی بیشتر !

اما در کل MYSQL یک پایگاه داده قوی هست ، مدت زمانی قبل خود بنده چندیدن باگ رو رفع کردم و میدیدم که چقدر این پایگاه داده در حال پیشرفت هستش و متخصصان زیادی در حال بحث در این مورد بودند . ضمن اینکه دارای پیاده سازی پیچیده و قدرتمندی هست و نباید با چند پیاده سازی نامناسب در مورد این پایگاه داده بحث و نتیجه گیری کرد !

بهتره وارد معقوله این کار بشید در دیدهای متفاوت رو از همه ابعاد بررسی کنید.شاید حتی مجبور به نوشتن یک فایل سیستم و یا یک OS برای سرورهاتون بشید ! . این یعنی پروژه !

موفق باشید

[kingserver72]

بازم مرسی از راهنمایی هاتون
دوستان نظرتون در مورد پایگاه داده mongoDB واسه اینکار چیه؟
به نظر شما از چه پایگاه داده ای استفاده کنیم؟ mysql ؟ mongoDB ؟ یا...؟

[rezaonline.net]

سلام .

در مورد مناسب نبودن MYSQL نمیتوان نظر داد . این پایگاه داده Open Source ، قابلیت این رو داره تا با بهترین کاستم سازی به خدمت گرفته بشه .
در همچنین پیاده سازی ما نیاز به MASTER/Slave داریم برای پیاده سازی و کلاسترینگ و ...
پس باید در دید اول ببینیم روی یک تیبل چقدر دیتا میخواد ذخیره بشه ؟ 100 مگا ؟ 10 ترا ؟ 1.5 پتا بایت دیتا ؟!
چقدر لازم به هزینه هست ؟ MYSQL رایگان ؟ MSSQL با 250$ تا 1500$ هزینه ؟ Oracle با هزینه سرسام آور ؟!
Postgresql هم یک پایگاه داده قدیمی هست که جوابش رو تا 24 بیلیون رکورد پردازش رو در روز پاسخ داده و یاهو از این دیتابیس استفاده میکرد ( طبق روایات ! )
اما هدف من این هست که شما با تحلیل سورس کد MYSQL ، و مطالعه Reference های پایگاه داده ها ، پایگاه داده خودتون رو پیاده سازی کنید .وقتی شما بدونید در پایگاه داده به معنای واقعی چه اتفاقی میافته برای چنین سیستمی که کل پردازش سمت بانک هست شما رو خیلی کمک خواهد کرد ! . در این دیدگاه شما شاهد پیاده ساز/ویرایش یک انجین خواهید بود .
شاید هم این چنین نگاهی نیاز نباشه و بشه با دیتابیس Postgresql با چند هزار ساب سرور این نتیجه رو نمایش داد اما این یعنی شکست و یا هزینه و صرف انرژی بیشتر !

اما در کل MYSQL یک پایگاه داده قوی هست ، مدت زمانی قبل خود بنده چندیدن باگ رو رفع کردم و میدیدم که چقدر این پایگاه داده در حال پیشرفت هستش و متخصصان زیادی در حال بحث در این مورد بودند . ضمن اینکه دارای پیاده سازی پیچیده و قدرتمندی هست و نباید با چند پیاده سازی نامناسب در مورد این پایگاه داده بحث و نتیجه گیری کرد !

بهتره وارد معقوله این کار بشید در دیدهای متفاوت رو از همه ابعاد بررسی کنید.شاید حتی مجبور به نوشتن یک فایل سیستم و یا یک OS برای سرورهاتون بشید ! . این یعنی پروژه !

موفق باشید

Postgresql به نظر من حسابش ور پس داده و در رکوردهای بالا جایگزین خوبی برای Mysql هست .
بهرحال صحبت های شما تامل بر انگیزه ، و واقعاً خوشحالم افراد با سوادی چون شما در این انجمن فعالیت میکنن .
اما به یک نکته ظریف اشاره نکردید ، هزینه ! هزینه ای که برای توسعه Mysql صرف میشه به جهت بالابردن پرفورمنس برای شرایط موجود خیلی زیاد هست تقریباً یک ریسک هست چون در واقع کمترکسائی پیدا میشن که این توانایی رو داشته باشن .

بازم مرسی از راهنمایی هاتون
دوستان نظرتون در مورد پایگاه داده mongoDB واسه اینکار چیه؟
به نظر شما از چه پایگاه داده ای استفاده کنیم؟ mysql ؟ mongoDB ؟ یا...؟

اول باید در موردشون حسابی تحقیق کنی .
بهرحال باید یه سری توضیحات بدی .
مثلاً چند سال میخوای کاری کنه ؟
چقدر براش هزینه میکنی؟
و ...