سلام دوستان
برای راه اندازی یک سایت جست و جو مستقل همانند گوگل نیاز به راهنمایینتون در مورد روبات های سیستم دارم
اینکه این روبات ها ساختارشون به چه شکله و اینکه آیا کسی هست که بتونه واسم این روبات هارو برنامه نویسی کنه؟
لطفا اگه کسی در مورد این روبات ها اطلاعاتی داره هرچند کوچیک اینجا بیان کنه واسه پیش بردن برنامه خیلی می تونه کمکمون کنه
kingserver72
October 17th, 2012, 17:58
دوستان کماکان به راهنمایی شما نیاز داریم
mmzznn
October 17th, 2012, 18:38
روبات ها ابتدا با ثبت چند سایت در دیتابیس شروع به آنالیز صفحات میکنن.
برای کسترش تعداد لینکها دیتابیس هم ،میان لینک های دیگر رو بررسی و داخل دیتابیس میریزن و ...
ساخت روبات خیلی راحت هست. الان بیشتر موتورهای جستجو سعی در بالا بردن هوش روبات خودشون دارن
مبحث سختی نیست.
نگهداری اطلاعات مشکلتر از ساخت روبات هست
kingserver72
October 17th, 2012, 20:00
دوستان لطفا بیشتر راهنمایی کنید...
روبات به چه شکل لینک های سایت های دیگه رو بدون اینکه ما بخوایم دستی این کارو بکنیم وارد دیتابیس می کنه؟
با اینکه تعدادی لینک به دیتابیس بدیم و ربات مدام اون هارو چک کنه مشکلی ندارم اما چطوری بقیه لینک هارو از نت جم آوری کنیم و این خزنده ها چطوری کار می کنن؟
mmzznn
October 17th, 2012, 20:16
خوب دوستان چی بگن؟!؟!؟!
شما به نظر میرسه هیچ سر رشته ای ندارید از برنامه نویسی تحت وب.
شما 10 تا سایت میدی تو دیتابیس
روبات میرا چک میکنه
کلمات کلیدی و لینکها رو ذخیره میکنه
لینکهایی که ذخیره شدن رو مجدد میره چک میکنه و دوباره کلمات + لینکها رو ذخیره میکنه و .....
نحوه ذخیره سازی لینک هم نیاز به درک مفاهمی از curl و query دیتابیس داره
mohsened
October 17th, 2012, 20:55
با کاربر iFire در همین انجمن تماس بگیرید . تجربیات خوبی در این زمینه دارند .
kingserver72
October 17th, 2012, 20:59
خوب دوستان چی بگن؟!؟!؟!
شما به نظر میرسه هیچ سر رشته ای ندارید از برنامه نویسی تحت وب.
شما 10 تا سایت میدی تو دیتابیس
روبات میرا چک میکنه
کلمات کلیدی و لینکها رو ذخیره میکنه
لینکهایی که ذخیره شدن رو مجدد میره چک میکنه و دوباره کلمات + لینکها رو ذخیره میکنه و .....
نحوه ذخیره سازی لینک هم نیاز به درک مفاهمی از curl و query دیتابیس داره
دوست عزیز شما منظور من رو متوجه نشدید...
منظور من اینه که خود روبات چطوری می تونه سایت هایی رو به طور خودکار به دیتابیس اضافه کنه که فعال هستن
شما اگه سایتی بسازید و اون رو توی گوگل ثبت نکنید و فعال باشه بعد از چند روز توی دیتابیس گوگل ذخیره میشه و توی نتایج جست و جو نمایش داده میشه...
kingserver72
October 18th, 2012, 13:26
دوستان کماکان به راهنمایی های بیشتر شما نیازمندیم...
kingserver72
October 19th, 2012, 13:42
کسی نیست بتونه بیشتر راهنمایی کنه؟!!! o:-)
rezaonline.net
October 19th, 2012, 15:48
شما یک کراولر دارید ، که وظیفه اش گشتن و جمع کردن لینک هست .
یک اسپایدر دارید ، که وظیفه اش اینه به لینک هایی که کراولر جمع کرده میره و توی اون لینک هر تعداد لینک مرتبط رو در میاره .
ربات هم وظیفه مدیریت این دو تا رو داره + آنالیز اطلاعاتی که جمع کردن و ذخیره توی دیتابیس .
شما باید رباتتون رو هر روز / هر ساعت / هر ثانیه سر یک تایم مشخص اجرا کنید تا بره بگرده و ...
برای ساخت موتور جستجو نیاز به یک دیتابیس فوق العاده سریع دارید + نامحدود .
همین دو مورد کل دیتابیس های sql رو حذف میکنه ! یعنی نه mysql نه postgresql نه oracle و ... به درد شما نمیخورن .
همونطور که جناب mmzznn گفتن ، ساختن ربات سخت نیست نگهداری اطلاعات سخت هست .
بهرحال شما باید هدفتون ، بازه زمانی ، گستره و حدود فعالیت رو مشخص کنید .
یه چیز هم خدمتتون بگم ، توی نت چندین سایت ایرانی میبینید که ادعا کردن موتور جستجو دارن ، این سایت ها شاید در ظاهر اینطور باشن اما در باطن همان تایجی که شما میخواید رو از گوگل و بینگ میگیرن و نمایش میدن .
همین :d
milade
October 19th, 2012, 16:45
سلام .
یه چیز هم خدمتتون بگم ، توی نت چندین سایت ایرانی میبینید که ادعا کردن موتور جستجو دارن ، این سایت ها شاید در ظاهر اینطور باشن اما در باطن همان تایجی که شما میخواید رو از گوگل و بینگ میگیرن و نمایش میدن .
البته بنده قبلاً برنامه نویسی همچین سیستمی رو انجام دادم و میدونم این طور نیست و در زمان طراحی ما یک شرکت دیگر هم چنین سیستمی رو در دست پیاده سازی داشت که اطلاعات خوبی شیر کردیم .پس این کار در ایران هم انجام شده .
به نظر بنده این یه کار بیهوده هستش و وقتگیر در کل.اما میتونه پروژه ای باشه برای افزایش اطلاعات شما در بحث SEO و برنامه نویسی شبکه . استارتر هم به کاربر iFire پیام بدهند چرا که چند ماه پیش ایشون هم دنبال این کار بودند ، بنده هم مقداری انتقال تجربه دادم .. که نمیدونم نتیجه به چه شکل شد ... ( خودم اصلاً وقت ندارم جهت راهنمایی متاسفانه ) ، اما در کل میتونند بهتون راهنمایی کنند .
برای ساخت موتور جستجو نیاز به یک دیتابیس فوق العاده سریع دارید + نامحدود .
همین دو مورد کل دیتابیس های sql رو حذف میکنه ! یعنی نه mysql نه postgresql نه oracle و ... به درد شما نمیخورن .
البته اینطور نیست . شما میتونید با همین پایگاه داده های موجود همین کار رو کنید . مثلاً MYSQL رو برای کارتون کاستم کنید . استفاده از FTS و پیاده سازی یک الگوریتم درست . همچنین مستلزم دونستن بحث پایگاه داده ها و ذخیره دیتا به معنای واقعی هست . یک پایگاه مثل ORACLE قابلیت خیلی زیادی داره . حتی گوگل هم کل دیتا رو در یک سیستم نگه داری نمیکنه . بلکه از ساب سرورها و جوین داده ها استفاده میکنه .
پیاده سازی کراول و نگهداری دیتا سخت نیست ... ، بلکه برگرداندن نتایج به بهترین نحو سخت هستش ! ، استفاده از تکنیک های هوش مصنوعی و پیاده سازی الگوریتم های حساس جهت استخراج و اندیس گذاری صحیح دیتا و ذخیره به شکل صحیح سخت هستش !
پاینده باشید .
rezaonline.net
October 19th, 2012, 21:10
البته اینطور نیست . شما میتونید با همین پایگاه داده های موجود همین کار رو کنید . مثلاً MYSQL رو برای کارتون کاستم کنید .
دقت کنید که Mysql محدود هست و در رکوردهای میلیاردی فوق العاده ضعیف و سنگین هست . تفاوت سرعت در رکوردهای میلیونی به وفور دیده میشه چه برسه روزانه میلیون میلیون اطلاعات رو ذخیره کرد توش .
به نظر من یک کار اصولی نیاز مند یک دیتابیس خوب هست .
یه نگاه به Mongo db بندازید تعریفش رو شنیدم همچنین بد نیست در مورد دیتابیس های NoSql یک تحقیقی داشته باشین .
ته بنده قبلاً برنامه نویسی همچین سیستمی رو انجام دادم و میدونم این طور نیست و در زمان طراحی ما یک شرکت دیگر هم چنین سیستمی رو در دست پیاده سازی داشت که اطلاعات خوبی شیر کردیم .پس این کار در ایران هم انجام شده .
چند سایت رو بررسی کردم بر این اساس بوده .
در حقیقت اگر بازه و وسعت سیستم کوچک باشه ، بله این کار شدنی هست اما نهایتاً چند سال میشه دوام آورد .
iFire
October 20th, 2012, 09:01
با تشکر از دوستان عزیز
پوزش بابت تاخیر در پاسخ گویی
توضیحات تا اینجا ارایه شد و به نظر شماتیک کلی از پروژه و ... دستتون اومد
استفاده از تجربیات milade و بقیه دوستان خیلی مفید بود
تو همچین پروژه هایی الگوریتم های استفاده شده خیلی خیلی مهم هست ... اگر الگوریتم خوب باشه ذخیره سازی اطلاعات به درستی انجام میشه و در مراحل بعدی بازدهی بالایی خواهیم داشت.همونطور که دوت عزیز rezaonline.net فرمودن استفاده از mongoDB میتونه مفید باشه ولی خوب شما باید اول از هر کاری هدف و گستره کاری خودتون رو مشخص کنید
در هر صورت مشکلی سوالی چیزی بود هستم در خدمتتون
موفق باشید...
kingserver72
October 20th, 2012, 11:25
مرسی از همه ی دوستان واسه راهنمایی هایی که کردن...
milade
October 20th, 2012, 17:32
سلام .
دقت کنید که Mysql محدود هست و در رکوردهای میلیاردی فوق العاده ضعیف و سنگین هست . تفاوت سرعت در رکوردهای میلیونی به وفور دیده میشه چه برسه روزانه میلیون میلیون اطلاعات رو ذخیره کرد توش .
در چنین سیستمی کار 1-2 نفر نیست . بلکه پروژه باید به صورت تیم ورک و حداقل 10-20 نفر انجام بشه . کاستم کردن پایگاه داده MYSQL به علت اپن سورس بودن ، به وسیله یک تیم میتونه نتیجه رو برگردونه . ضمن اینکه همون طور که عرض کردم اسفاده از الگوریتم های ذخیره سازی خوب میتونه در کاهش حجم و بلعکس افزایش سرعت بسیار مهم باشه .همچنین این داده ها شاید بهتر باشه روی چندین سرور بزرگ ذخیره بشه تا 1 سرور فوق قدرتمند ، چراکه هم میتوان از جوین دیتا استفاده کرد هم ریسک رو به حداقل رسوند و پایگاه ها رو در هر کدام به جای اینکه 10^N ROW داشته باشه ، 10^N/تعداد سرور ROW داشته باشه و استفاده از تکنیک های اندیس گذاری و Full Text Search و الگوریتم های بازیابی ، میتونه سرعت بازیابی و ذخیره رو به حداقل برسونه .
تحلیل این پروژه به نسبت وقت گیر تر میتونه باشه تا پیاده سازی اون .
چند سایت رو بررسی کردم بر این اساس بوده .
البته همین طوره .
برخی سایتها خوراک میگیرن از دیگر سایتها که اونها بحثشون جداست .
اما به طور قطع همچین سیستمی پیاده سازی شده که به علت نبود مدیریت مناسب و استعداد هزینه و متخصص ، خیلی زود در مراحل اولیه رها شده اند و گاهاً حتی پس از مرحله تست شبکه از رده خارج شده اند .
در حقیقت اگر بازه و وسعت سیستم کوچک باشه ، بله این کار شدنی هست اما نهایتاً چند سال میشه دوام آورد .
هر چیزی وقتی ایده هست خوبه . الان با وجود اینکه بنده به جای واژه جستجو کن ، از گوگل کن استفاده میکنم ... نشون دهنده قدرت و صرف هزینه و وقت فراوان برای رو به رو شدن با اونهاست ...
موفق باشید !
rezaonline.net
October 20th, 2012, 19:09
با تشکر از دوستان .
ببینید آقا میلاد ، تقریباً تموم دیتابیس ها به واسطه فایل دارن اطلاعات رو نگه داری میکنن .
فرآیندی که برای پردازش این اطلاعات انجام میشه ، حتی اگه جزئی بحث کنیم ، مثلاً روی خود MySql جای بحث داره .
اینکه مثلاً انجین Innodb با MyISAM و ...
اما چیزی که کاملاً مشهود است دیتابیس MySql برای حجم بالای اطلاعات واقعاً مناسب نیست ، حالا هر چقدر هم بخواید بهینه سازی انجام بدید ، این مثل این میمونه یه میخ بزرگ رو با یه چکش کوچیک به دیوار بکوبید .
ظاهراً شما اطلاعات خوبی در زمینه توسعه MySql دارید .
ممنون میشم یه نیم نگاهی به Postgresql بندازید و نظرتون رو بگید .
با تشکر
kingserver72
October 20th, 2012, 19:22
مرسی دوستان واقعا راهنمایی های خوبی کردید...
اما اگه mysql مناسب نیست پس از چه پایگاه داده ای استفاده کنیم؟ بهترین پایگاه داده واسه این کار چیه؟
دوستان اگه در مورد سرورش هم اطلاعاتی دارید بگید...
من قصد دارم سایت رو واسه 1 سال اول روی سرور های ایران بالا بیارم تا از بستر اینترنت ملی هم استفاده کنم اما فکر کنم با این کار سرعت واسه کاربرا خارج کشور پایین میاد و پهنای باند کمی هم بهمون میدن؟
milade
October 20th, 2012, 23:36
با تشکر از دوستان .
ببینید آقا میلاد ، تقریباً تموم دیتابیس ها به واسطه فایل دارن اطلاعات رو نگه داری میکنن .
فرآیندی که برای پردازش این اطلاعات انجام میشه ، حتی اگه جزئی بحث کنیم ، مثلاً روی خود MySql جای بحث داره .
اینکه مثلاً انجین Innodb با MyISAM و ...
اما چیزی که کاملاً مشهود است دیتابیس MySql برای حجم بالای اطلاعات واقعاً مناسب نیست ، حالا هر چقدر هم بخواید بهینه سازی انجام بدید ، این مثل این میمونه یه میخ بزرگ رو با یه چکش کوچیک به دیوار بکوبید .
ظاهراً شما اطلاعات خوبی در زمینه توسعه MySql دارید .
ممنون میشم یه نیم نگاهی به Postgresql بندازید و نظرتون رو بگید .
با تشکر
سلام .
در مورد مناسب نبودن MYSQL نمیتوان نظر داد . این پایگاه داده Open Source ، قابلیت این رو داره تا با بهترین کاستم سازی به خدمت گرفته بشه .
در همچنین پیاده سازی ما نیاز به MASTER/Slave داریم برای پیاده سازی و کلاسترینگ و ...
پس باید در دید اول ببینیم روی یک تیبل چقدر دیتا میخواد ذخیره بشه ؟ 100 مگا ؟ 10 ترا ؟ 1.5 پتا بایت دیتا ؟!
چقدر لازم به هزینه هست ؟ MYSQL رایگان ؟ MSSQL با 250$ تا 1500$ هزینه ؟ Oracle با هزینه سرسام آور ؟!
Postgresql هم یک پایگاه داده قدیمی هست که جوابش رو تا 24 بیلیون رکورد پردازش رو در روز پاسخ داده و یاهو از این دیتابیس استفاده میکرد ( طبق روایات ! )
اما هدف من این هست که شما با تحلیل سورس کد MYSQL ، و مطالعه Reference های پایگاه داده ها ، پایگاه داده خودتون رو پیاده سازی کنید .وقتی شما بدونید در پایگاه داده به معنای واقعی چه اتفاقی میافته برای چنین سیستمی که کل پردازش سمت بانک هست شما رو خیلی کمک خواهد کرد ! . در این دیدگاه شما شاهد پیاده ساز/ویرایش یک انجین خواهید بود .
شاید هم این چنین نگاهی نیاز نباشه و بشه با دیتابیس Postgresql با چند هزار ساب سرور این نتیجه رو نمایش داد اما این یعنی شکست و یا هزینه و صرف انرژی بیشتر !
اما در کل MYSQL یک پایگاه داده قوی هست ، مدت زمانی قبل خود بنده چندیدن باگ رو رفع کردم و میدیدم که چقدر این پایگاه داده در حال پیشرفت هستش و متخصصان زیادی در حال بحث در این مورد بودند . ضمن اینکه دارای پیاده سازی پیچیده و قدرتمندی هست و نباید با چند پیاده سازی نامناسب در مورد این پایگاه داده بحث و نتیجه گیری کرد !
بهتره وارد معقوله این کار بشید در دیدهای متفاوت رو از همه ابعاد بررسی کنید.شاید حتی مجبور به نوشتن یک فایل سیستم و یا یک OS برای سرورهاتون بشید ! . این یعنی پروژه !
موفق باشید
kingserver72
October 21st, 2012, 20:19
بازم مرسی از راهنمایی هاتون
دوستان نظرتون در مورد پایگاه داده mongoDB واسه اینکار چیه؟
به نظر شما از چه پایگاه داده ای استفاده کنیم؟ mysql ؟ mongoDB ؟ یا...؟
rezaonline.net
October 21st, 2012, 21:10
سلام .
در مورد مناسب نبودن MYSQL نمیتوان نظر داد . این پایگاه داده Open Source ، قابلیت این رو داره تا با بهترین کاستم سازی به خدمت گرفته بشه .
در همچنین پیاده سازی ما نیاز به MASTER/Slave داریم برای پیاده سازی و کلاسترینگ و ...
پس باید در دید اول ببینیم روی یک تیبل چقدر دیتا میخواد ذخیره بشه ؟ 100 مگا ؟ 10 ترا ؟ 1.5 پتا بایت دیتا ؟!
چقدر لازم به هزینه هست ؟ MYSQL رایگان ؟ MSSQL با 250$ تا 1500$ هزینه ؟ Oracle با هزینه سرسام آور ؟!
Postgresql هم یک پایگاه داده قدیمی هست که جوابش رو تا 24 بیلیون رکورد پردازش رو در روز پاسخ داده و یاهو از این دیتابیس استفاده میکرد ( طبق روایات ! )
اما هدف من این هست که شما با تحلیل سورس کد MYSQL ، و مطالعه Reference های پایگاه داده ها ، پایگاه داده خودتون رو پیاده سازی کنید .وقتی شما بدونید در پایگاه داده به معنای واقعی چه اتفاقی میافته برای چنین سیستمی که کل پردازش سمت بانک هست شما رو خیلی کمک خواهد کرد ! . در این دیدگاه شما شاهد پیاده ساز/ویرایش یک انجین خواهید بود .
شاید هم این چنین نگاهی نیاز نباشه و بشه با دیتابیس Postgresql با چند هزار ساب سرور این نتیجه رو نمایش داد اما این یعنی شکست و یا هزینه و صرف انرژی بیشتر !
اما در کل MYSQL یک پایگاه داده قوی هست ، مدت زمانی قبل خود بنده چندیدن باگ رو رفع کردم و میدیدم که چقدر این پایگاه داده در حال پیشرفت هستش و متخصصان زیادی در حال بحث در این مورد بودند . ضمن اینکه دارای پیاده سازی پیچیده و قدرتمندی هست و نباید با چند پیاده سازی نامناسب در مورد این پایگاه داده بحث و نتیجه گیری کرد !
بهتره وارد معقوله این کار بشید در دیدهای متفاوت رو از همه ابعاد بررسی کنید.شاید حتی مجبور به نوشتن یک فایل سیستم و یا یک OS برای سرورهاتون بشید ! . این یعنی پروژه !
موفق باشید
Postgresql به نظر من حسابش ور پس داده و در رکوردهای بالا جایگزین خوبی برای Mysql هست .
بهرحال صحبت های شما تامل بر انگیزه ، و واقعاً خوشحالم افراد با سوادی چون شما در این انجمن فعالیت میکنن .
اما به یک نکته ظریف اشاره نکردید ، هزینه ! هزینه ای که برای توسعه Mysql صرف میشه به جهت بالابردن پرفورمنس برای شرایط موجود خیلی زیاد هست تقریباً یک ریسک هست چون در واقع کمترکسائی پیدا میشن که این توانایی رو داشته باشن .
بازم مرسی از راهنمایی هاتون
دوستان نظرتون در مورد پایگاه داده mongoDB واسه اینکار چیه؟
به نظر شما از چه پایگاه داده ای استفاده کنیم؟ mysql ؟ mongoDB ؟ یا...؟
اول باید در موردشون حسابی تحقیق کنی .
بهرحال باید یه سری توضیحات بدی .
مثلاً چند سال میخوای کاری کنه ؟
چقدر براش هزینه میکنی؟
و ...
milade
October 21st, 2012, 21:48
سلام .
اما به یک نکته ظریف اشاره نکردید ، هزینه ! هزینه ای که برای توسعه mysql صرف میشه به جهت بالابردن پرفورمنس برای شرایط موجود خیلی زیاد هست تقریباً یک ریسک هست چون در واقع کمترکسائی پیدا میشن که این توانایی رو داشته باشن .
البته این یک هزینه نیست ! این یک مرحله هست !
اینچنین پروژه ها باید توسط دولتها در این زمان تغذیه بشن تا بشه نتیجه گرفت . اگر ما در دهه 1990 بودیم و با پایگاه داده access هم پروژه گوگل رو استارت میزدیم خورده ای بر ما گرفته نمیشد . اما امروزه یک شروع نامناسب یک شکست خواهد بود . چند سال پیش دعوت دولت رو برای ساخت یک جستجوگر ملی خاطر دارم ... شاید اگر چندین متخصص بشید بتونید بودجه کافی رو برای چند سال مطالعه از دولت بگیرید ! این پروژه ها دیگه نمیتونه با ریسک استارت بخوره . باید اون قدر قوی باشه که بشه با گوگل و یاهویی که میلیارد ها دلار پس انداز دارند رقابت کنه . پس باید یک تیم تشکیل داد و از ساختار های سیستم عامل تا فازهای بالایی پروژه که مربوط به تفکر و درک ( هوش مصنوعی ) هست رو دنبال کنید . از اساتید دانشگاه تهران و صنعتی شریف و پروژه های دکترا دانشجوهای اکسفورد هم میتونید استفاده کنید ( متاسفانه پایان نامه های متخصصین داخلی بیشتر شبیه رمان هستش تا یک ایده ! ) .
در نهایت هرگز حاظر نشید که جای هزینه رو با وقت پر کنید !
این نظر بنده بود .
تشکر
kingserver72
October 22nd, 2012, 12:30
اول باید در موردشون حسابی تحقیق کنی .
بهرحال باید یه سری توضیحات بدی .
مثلاً چند سال میخوای کاری کنه ؟
چقدر براش هزینه میکنی؟
و ...
این پست رو زدیم که از تجربیات و راهنمایی های شما واسه عملی کردن این پروژه کمک بگیریم
و در حال حاضر داریم طرح اولیه رو می سازیم و روی روبات ها و... کار می کنیم
در مورد هزینه ها هم فعلا واسه استارت چیزی بین 1 میلیون تا 3 میلیون رو در نظر داریم
پروژه بعد از تمام شدن به مدت 1 سال توی ایران و روی سرور های ایرانی تست میشه و کاربر ها به ایرانیا محدود میشه و با این کار از بستر اینترنت ملی هم استفاده می کنیم. همینطور توی این 1 سال سیستم رو ارتقا می دیم و ایرادات رو رفع می کنیم تا نسخه اصلی واسه پروژه جهانی آماده بشه...
برنامه های زیادی واسه این کار داریم و داریم سعی می کنیم همه چی طبق نقشه پیش بره. اگه لاری پیج و سرگئی برین تونستن گوگل رو بسازن پس ماهم می تونیم این موتور جست و جو رو بسازیم
طرح هایی در نظر داریم که موتور جست و جوی مارو از گوگل - بینگ و یاهو متفاوت تر می کنه و تجربه جدیدی رو به کاربر میده
بدون شک نیاز به هزینه های زیادی واسه جهانی کردن این موتور جست و جو هست اما توی این 1 سال ما فرصت این رو داریم که اون رو به ایرانیا معرفی کنیم و از دولت یا کسایی که توانایی کمک کردن رو دارن کمک بگیریم
دوستان بازم اگه اطلاعاتی در این زمینه دارید بگید. مارو خیلی کمک می کنید واسه جلو بردن پروژه
اطلاعاتی مثل سرور مورد نیاز ( توجه کنید که فعلا روی سرور ایران بالا میاد هرچند که پهنای باند کمی بهمون میدن) و...
هیچ کاری نشد نداره...
iFire
October 22nd, 2012, 13:39
ببینید میشه گفت این پروژه واقعا پروژه بزرگی هست، بزرگتر از اون چیزی که تو ذهنتون تصور می کنید
من نمی خوام نا امیدتون کنم هر کمکی هم از دستم بربیاد در اختیارتون می ذارم ولی می خوام پرقدرت شروع کنید و ایده داشته باشید واسه کارتون
شاید هر کسی با خودش فکر کنه و یک روال برای طراحی پروژه اش در نظر بگیره و شروع به کار کنه ولی پس از شروع کار معلوم میشه که چه مشکلاتی قرار هست جلو روتون سبز شه
چون تجربه کردم دارم عرض می کنم
ولی مواردی رو می گم که در نظر داشته باشید و حداقل روشون فکر کنید
شما باید با بدترین و غیر استانداردترین نوع کد نویسی ها سروکله بزنید
ملاک های رتبه بندی تون چی هست و اینکه چطور می خواید با انواع تقلب مقابله کنید
روش ذخیره سازی داده ها به چه شکل هست تا بهترین بازدهی رو داشته باشید ( اینجا مثل پروژه های عادی نیست که طراحی نادرست دیتابیس و ساختار مشکلی تو روند کار بوجود نیاره ... اینجا شما با رکورد های میلیاردیو درخواست های خیلی زیاد و ... کار می کنید که باید همه جوانب رو در نظر داشته باشید تا مشکلاتی چون افت سرعت، کرش هارد، لود سی پی یو و ... پیش نیاد
اینها دو سه نکته از هزاران نکته این پروژه بود که خواستم خدمتتون عرض کرده باشم هرچه بیشتر میرید جلو شاهد گستردگی بیشتر پروژه میشید ( واقعا به این شکل هست )
پروژه رو کامل تحلیل کنید ... ماه ها وقت واسه این کار هم کمه و تا می تونید به فکر بهینه سازی باشید و خودتون الگو اختراع کنید
هزینه مهمترین نقش رو بازی می کنه
اینجا باید همه جوانب رو در نظر گرفت
rezaonline.net
October 22nd, 2012, 17:36
اعضای تیم ؟
ساپورت پروژه ؟
و ...
من برای تحلیل پیاده سازی یک سی ام اس روی کاغذ ، 4 ماه وقت گذاشتم اما هنوز جرات کد زدن ندارم و دارم کاملش میکنم .
تحلیل یک موتور جستجو خیلی کار میبره .
همنطور که دوستمون گفتن ،
امروزه یک شروع نامناسب یک شکست خواهد بود .
kingserver72
October 22nd, 2012, 22:00
اعضای تیم ؟
ساپورت پروژه ؟
و ...
من برای تحلیل پیاده سازی یک سی ام اس روی کاغذ ، 4 ماه وقت گذاشتم اما هنوز جرات کد زدن ندارم و دارم کاملش میکنم .
تحلیل یک موتور جستجو خیلی کار میبره .
همنطور که دوستمون گفتن ،
چندین ساله این پروژه رو داریم روی کاغذ گسترش میدیم... بررسی رقیب ها - معایب رقیب ها - طراحی امکانات جدید و روش های نوین جست و جو برای رقابت با موتور های جست و جو دیگه جمع آوری اطلاعات لازم برای شروع کار - وقتشه که برنامه نویسی رو شروع کنیم...
rezaonline.net
October 22nd, 2012, 22:22
انشاالله موفق باشید .
پس ما منتظر خبرهای خوبی باشیم دیگه درسته ؟;)
Hostpolis
October 22nd, 2012, 22:24
اگر نظرتون صرفا ایندکس کردن سایت های فارسی باشه Lucene رو ما تست کردیم و میتونید روش مطالعه کنید: http://lucene.apache.org/core/
kingserver72
October 23rd, 2012, 01:01
انشاالله موفق باشید .
پس ما منتظر خبرهای خوبی باشیم دیگه درسته ؟;)
حتما... به امید از خدا تا چند ماه دیگه نسخه آزمایشی میاد بالا
kingserver72
October 23rd, 2012, 01:02
اگر نظرتون صرفا ایندکس کردن سایت های فارسی باشه Lucene رو ما تست کردیم و میتونید روش مطالعه کنید: Apache Lucene - Apache Lucene Core (http://lucene.apache.org/core/)
باتشکر از شما تست می کنیم... بله فعلا فقط واسه ایران هستش
kingserver72
October 28th, 2012, 13:22
دوستان واسه موتور جست و جو یه سرور با مشخصات زیر به نظرتون مناسبه؟
کراولر بیشتر به چه قسمت سرور فشار وارد می کنه؟
مشخصات سرور :
500GM hard
100GB پهنای باند
4GB Ram
cpu : 8 Cores, 2.4Ghz
سرور hybrid ایران از فراسو هستش
نظرتون در مورد سرور های ایران چیه؟ کیفیت خوبی دارن؟
milade
October 28th, 2012, 13:59
سلام .
شما به ترتیب نیاز پردازنده و رم دارید و سپس هارد دیسک .
برای شروع از خارج از ایران vps تهیه کنید بهتر هستش و هزینه کمتر .
مشخصات اعلام شده خوبه . اما پهنای باندش برای 1 روزه !
در صورت نیاز به سرور اختصاصی میتونم بهتون آفر بدم که میتونید پ.خ داشته باشید .
تشکر
milade
October 28th, 2012, 14:01
سلام .
شما به ترتیب نیاز پردازنده و رم دارید و سپس هارد دیسک .
برای شروع از خارج از ایران vps تهیه کنید بهتر هستش و هزینه کمتر .
مشخصات اعلام شده خوبه . اما پهنای باندش برای 1 روزه !
در صورت نیاز به سرور اختصاصی میتونم بهتون آفر بدم که میتونید پ.خ داشته باشید .
تشکر
kingserver72
October 28th, 2012, 14:12
سرور مجازی با این مشخصات خارج از ایران به دلیل گرونی دلار هزینه بیشتری داره...
و سرعت سرور های ایران هم بیشتر از سرور های خارج کشور هستش و همچنین روی بستر اینترنت ملی هستن
با این پهنای باند ماهانه تا 1 سال می تونیم دووم بیارم و واسه مصرف کمتر پهنای باند فکر کردیم و سیستم رو بهینه طراحی کردیم
هرچند که بازدید کننده زیاد پهنای باند زیادی هم می بره. و یه مزیت دیگه ای هم که سرور های ایران دارن اینه که directadmin رایگان میدن و این هزینه های مارو پایین میاره...
اگه پیشنهاد بهتری دارید واسه خرید vps یا سرور اختصاصی لطفا بگید
تعرفه هاتون رو هم پ.خ کنید مرسی
milade
October 28th, 2012, 14:52
سلام .
هزینه این سرور در ماه چقدر میشه ؟
ببینید ، کراول داره همه دانلود میکنه .. حالا 100 گیگ با سرعت 4 مگابایت در ثانیه ، باشه . شما بین 8 ساعت تا 15 ساعت کل ترافیکتون تمام میشه و کل روزهای دیگه سرویس بدون تراوفیک و استفاده خواهد بود . در حالی که در خارج از کشور با ترافیک 10 ترابایت میتونید تهیه کنید و کل ماه رو دانلود کنید !