داستان الگوریتم گوگل

داستان الگوریتم گوگل با پیج رنک آغاز می شود ، سیستمی که در سال 1997 توسط لری پیج موسس گوگل ، زمانی که وی دانشجوی تحصیلات تکمیلی در دانشگاه استنفورد آمریکا بود اختراع شد. بینش و درک فوق العاده ی لری پیج در رتبه بندی صفحات براساس تعداد و اهمیت لینک هایی که به آنها داده می شد بود تا با استفاده از هوش مصنوعی موجود در اینترنت مشخص گردد که کدام وبسایت ها ارتباط بیشتری با عبارت جستجو شده دارند. با این کار یک موتور جستجوی موفق در اینترنت ساخته شد که لری پیج و سرجی برین از پیج رنک گوگل به عنوان نوآوری اصلی شرکتشان یاد می کنند اما این تمام داستان نبود !
مانبر می گوید :"مردم هنوز از پیج رنک استفاده می کنند چون یک ملاک برتری و امتیاز است. اما بسیاری از چیزهای دیگری وجود دارد که ارتباط در نتایج را بهبود بخشیده است." نشانه های دقیقی را می توان از صفحات استخراج نمود، نشانه هایی در متن ها وجود دارد که به موتور جستجو کمک می کند تا میلیون ها نتایج ممکن از هر عبارتی را رتبه بندی کند و اطمینان کسب شود که بهترین نتایج در صدر قرار می گیرند .
جستجوی وب یک فرایند چند بخشی است. ابتدا گوگل در وب می خزد ! (crawl) می کند، تا هرگونه محتوی قابل دسترس از همه ی سایت ها جمع آوری کند. این داده ها به ایندکس ها تفکیک می شوند ( ایندکس شدن کلمات یعنی همانند فهرست کتاب ها در سایت گوگل سازماندهی می شوند.) یکی از راه های یافتن هر صفحه ای در اینترنت براساس محتوی آن است. هر زمان که کاربر یک عبارت را تایپ می کند ، گوگل ایندکس موردنظر را برای صفحات مشابه جستجو می کند و یک لیست با تعداد بیشماری از صفحات مشابه به کاربر ارائه می شود. جالب ترین قسمت کار فرایند رتبه بندی است. مشخص کردن اینکه کدام صفحات متعلق به بالای لیست است.
اینجا جایی است که نشانه های درون متنی وارد عمل می شوند. همه موتورهای مختلف جستجو از این نشانه ها استفاده می کنند اما هیچکدام به اندازه ی گوگل با مهارت خاص خود از آنها بهره نمی گیرند. پیج رنک نیز خودش یک نشانه برای موتور جستجو به عنوان یک خاصیت از صفحه اینترنتی مورد نظر است که می تواند میزان ارتباط در نتایج را مشخص کند. خب الان برخی از نشانه ها برای ما آشکار شده است.
اخیرا ، الگوریتم گوگل به title صفحات وب توجه خاصی دارد . مشخصا نشانه ای قوی برای تعیین ارتباط بین صفحات اینترنتی است.یکی دیگر از روش های گوگل استفاده از انکرتکست (anchor text) است. کلماتی که با لینک به صفحات دیگری متصل شده اند. حسان اسکات ،یکی از اولین مهندسان گوگل که با لری پیج و برین همکاری داشته است می گوید: " در نتیجه این تلاش ها ، وقتی که شما عبارتی را جستجو می کنید گوگل نتایج درستی را برایتان پیدا می کند. حتی اگر صفحات یافت شده شامل عبارات دقیق جستجوی شما نباشند. این واقعا عالی است !"
نشانه های بعدی شامل مشخصه هایی مانند تازگی (برای عبارات مشخص، محتویی که به تازگی ایجاد شده باشد با ارزش تر محتوی قدیمی هستند) و مکان (گوگل به طور نسبی از محل جغرافیی جستجوها استفاده می کند و نتایج محلی را بالاتر از بقیه به نمایش می گذارد.) موتور جستجوی گوگل هم اکنون بیش از 200 سیگنال برای کمک به رتبه بندی اش استفاده می کند.
مهندسان گوگل بعضی از نشانه های خیلی مهم را از خود موتور جستجوی گوگل فهمیده اند. پیج رنک به عنوان مبنای اندازه گیری میزان محبوبیت وب سایت ها در موتور جستجوی گوگل مشهور شده است .نوعی دموکراسی از تصمیم میلیون ها نفر، که چه چیزی اینترنت به شهرت برسد. آقای سینگهال یادآوری می کند که مهندسان ساختمان 43 ی گوگل به دنبال طراحی دموکراسی دیگری هستند : صدها میلیون عبارت در گوگل جستجو می شود. این داده هایی که توسط مردم هنگام جستجو ایجاد می شود یا نتایجی که بروی آنها کلیک می شود یا کلماتی را که در جستجوی خود جایگزین می کنند یا روشی که افراد برای یافتن اطلاعات محلی اطراف خود جستجو می کنند ، همه ی اینها منابع بی نهایت ارزشمند در یافتن نشانه های جدید و بهبود ارتباط بین نتایج است.
نمونه ی واضح این فرایند چیزی است که گوگل آن را جستجوی شخصی می نامند، یک قابلیت که از سابقه جستجوی شخصی و همچنین موقعیت مکانی کاربر به عنوان نشانه هایی برای تعیین نوع نتایجی که بیشتر مورد پسند کاربر قرار خواهند گرفت استفاده می کند. اما به طور کلی، گوگل این حجم عظیم داده های جمع آوری شده را برای تقویت الگوریتم خود بعلاوه یک پایگاه دانش بزرگ شگفت آور که به تفسیر پیچیده ی عبارات جستجوی شده می پردازد ، به کار می گیرد.
مثلا روشی که موتور جستجوی گوگل کلمات مترادف را یاد می گیرد جالب توجه است : آقای سینگهال می گوید "ما همان ابتدا چیز بسیار خوبی را فهمیدیم. مردم عباراتی را که جستجو می کنند را تغییر می دهند. مثلا وقتی کسی می نویسد "تصاویری از سگ ها" و بعد می نویسد " تصاویری از پاپی ها". این به ما می گوید که شاید سگ و پاپی هم معنی باشند و به جای یکدیگر بکار روند .ما همچنین چیزهای بیشتری فرا گرفته ایم مثلا"آب جوش" ،"آب داغ" نیز هست . یعنی ما معناشناسی کلمات را از انسان ها بازآموزی می کنیم و این یک پیشرفت بزرگ برای ما است."
اما موانعی برای اینکار نیز وجود دارد. سیستم عبارات مترادف گوگل می فهمد که "سگ" dogبا "پاپی" puppy و یا "آب جوش" boiling water با "آب داغ" hot waterمترادف است . اما همچنین کلمه ی hot dog را به عنوان "پاپی جوشان" (از ترکیب مترادف هایشان) نتیجه گیری می کند. این مشکل در اواخر سال 2002 با دستیابی به موفقییت براساس نظریات لودویگ ویتنگستین درباره اینکه کلمات چگونه بر اساس متن زمینه ، زمانی که گوگل به خزیدن (crawl) در فضای وب می پردازد و در همان زمان میلیون ها متن و مستند و صفحات اینترنتی را بایگانی می کند ، کلمات را نیز تعریف می کند مشکل حل شد.
سینگهال می گوید : "عبارت هات داگ (hot dog) در جستجوهایی که شامل کلماتی مانند نان و سس خردل و بازی های بیسبال یافت می شود که این به الگوریتم گوگل کمک کرد تا بفهمد که هات داگ چیست و میلیون ها مورد مشابه این موضوع. امروز ، اگر شما تایپ کنید "Gandhi bio" ما می دانیم که منظور شما از "bio" در اینجا"بیوگرافی" گاندی است. و همچنین اگر تایپ کنید bio warfare منظور شما از bio ، جنگ "بیولوژیکی (شیمیایی) " است. "
در طول تاریخ خود، گوگل روش های بیشتری را برای یافتن نشانه ها بدون بر هم زدن هسته ی "تجربه ی کاربر" ابداع کرده است . هر چند سال یک تغییر بزرگ در سیستم اتفاق می افتد. چیزی شبیه انتشار نسخه جدیدی از ویندوز مایکروسافت که یک اتفاق بزرگ در منطقه ی مانتین ویو کالیفرنیا است اما این موضوع به صورت عمومی انتشار نمی یابد. سینگهال می گوید که : "کار ما اساسا این است که موتور یک هواپیمای در حال پرواز با سرعت هزار کیلومتر در ساعت و در ارتفاع 30 هزار پایی (10 کیلومتری) زمین را تعویض کنیم ."
در سال 2001 ، برای تطبیق سریع با رشد سریع اینترنت ، سینگهال، با فراهم کردن امکان استفاده سریع از نشانه های جدید به طور اساسی طراحی مجددی در الگوریتم لری پیج و برین کرد. (یکی از اولین نشانه ها در سیستم جدید تشخیص بین صفحات تجاری و غیر تجاری بود که نتایج بهتری را برای کسانی که قصد خرید دارند را فراهم کند.)
در همان سال، یک مهندس به نام کریشنا بهارات فهمید که لینک های از صفحات رسمی باید وزن بیشتری در جستجو داشته باشند، ابداع یک نشانه ی قدرتمند که اعتبار بیشتری را به وب سایت های متخصصین اعطا می کند. (این باید اولین ثبت اختراع گوگل می بود) . تغییر عمده اخیر ، موسوم به بروز رسانی کافیین، کل سیستم ایندکس کردن گوگل را نوسازی کرده است تا مهندسان گوگل بتوانند راحت تر نشانه های جدید را اضافه کنند.
گوگل در تشویق برای دستیابی به پیشرفت های جدید با خلاقیت های خاص خود مشهور است. هرساله ، یک نمایشگاه داخلی با نام CSI (مخفف ایده های جستجوی دیوانه وار - Crazy Search Ideas ) در تلاش برای ایجاد جرقه ای جدید با روشی نامتعارف برپا می کند که این اتفاقی پربازده است. بهبود فرایند ها در بیشتر قسمت ها به طور مداوم است و مهندسان گوگل به طور پیوسته با بررسی نتایج بدرد نخور و بد در جستجوها به دنبال کشف عیوب اند.
در سال 2001 ، یکی از جستجوهای ناموفق تبدیل به یک اتفاق بزرگ شد : سینگهال از نتایج ضعیف بدست آمده برای مردم در جستجوی عبارت "Audrey fino" (نام شخصی ایتالیایی) ، فهمید که گوگل سایت هایی را که درباره Audrey Hepburn (فرد ایتالیایی دیگری) را در صدر نتایج نشان می دهد. در زبان ایتالیایی Fino یعنی خوب (fine انگلیسی) . سیگنهال می گوید : "ما فهمیدیم که fino اسم واقعی شخص مورد نظر است. اما این هوش در سیستم گوگل وجود نداشت."
"خطایAudrey Fino " سینگهال را واداشت تا در تلاشی چند ساله به بهبود سیستم در جستجوی نام ها بپردازد (که این موضوع 8 % همه ی جستجوها را شامل می شود.) برای رفع این مشکل، او می بایست استاد "bi-gram breakage " می شد که بوسیله آن کلمات چند قسمتی را به واحدهای مجزا تبدیل می کرد. برای مثال ، "نیویورک (newyork)" به عنوان یک کلمه ی دو بخشی (New و York) است. اما در صورت سه بخشی شدن کلمه "نیویورک تایمز (new york times)" مشخصا یک جستجوی متفاوت مدنظر است و اما همه چیز معنای متفاوتی می گرفت اگر عبارت مورد نظر "میدان نیویورک تایمز (newyork times square)" باشد. انسان ها به سرعت متوجه این تفاوت ها می شوند اما گوگل اینقدرها باهوش نیست و همه چیز بستگی به الگوریتم ها دارد.
عبارت " Mike Siwek " به ما نشان می دهد که گوگل چطور از پس این ماجرا برآمد . زمانی که سینگهال با نوشتن یک خط کد، لایه های مخفی هریک از نتایج جستجو را برای ما به نمایش می گذارد. مشخص است که چه نشانه هایی برای تعیین نتایج بالایی جستجوی گوگل انتخاب می شوند : ارتباط دو بخشی (bi-gram) کلمه برای فهمیدن نام شخص Mike Siwek ، یک مترادف به کار رفته است و از یک موقعیت مکانی استفاده شده است .
سینگهال در ادامه توضیح می دهد که : "شکستن ساختار عبارت Mike Siwek Lawyar Mi از زاویه دید یک مهندس گوگل این گونه است که ما می گویم ما می توانیم این عبارت را به چندین قسمت بشکنیم. ما می فهمیم که lawyer نام خانوادگی نیست و Siwek هم نام وسط شخص نیست و بهرحال Lawyer نیز نام یک شهر در ایالت میشیگان هم نیست و Lawyer یعنی شخص یک وکیل است."
این قدرت فهم موتور جستجوی گوگل ستودنی است که از میان داده های میلیون ها جستجو بوجود آمده است. می دانیم که "rock" یعنی سنگ، همچنین "stone" یعنی سنگ که می تواند معنای تخته سنگ را نیز بدهد. اگر شما کلمه ی مورد نظر را به صورت "rokc" تایپ کنید با این وجود گوگل آن را rock می داند. حالا کلمه ی "little" را در ابتدای آن قرار دهید و می بینید که پایتخت ایالت آرکانساس است که در صدر نتایج می آید. سینگهال می گوید : "این توانایی شبیه جام مقدس در جستجو است (اشاره به افسانه ای جام مقدس مسیح ) و درک می کند کاربر چه می خواهد. در نتیجه اگر شما حتی کلمه را درست تایپ نکنید، گوگل سعی می کند نتایج صحیح مورد نظر شما را پیدا کند."
و گوگل همچنان به بهبود ادامه می دهد. به تازگی مارین هیمانس ، مهندس جستجوی گوگل، مشکلی در جستجوی عبارت " Cindy Louise Greenslade " کشف می کند. الگوریتم در جستجوی این عبارت فهمید که باید بدنبال نام شخص باشد. در این مورد یک روانشناس در گاردن گروو ایالت کالیفرنیا بود که گوگل سایت شخصی Greenslade را در ده نتیجه اول نتایج نیاورد. هیمانس این موضوع را فهمید که در اصل گوگل ارتباط سایت شخصی را کم دانسته زیرا Greenslade فقط به عنوان نام میانی شخص در نظر گرفته شده بود و نه به عنوان نام کامل خانوادگی این شخص در عبارت جستجو شده.
هیمانس می گوید که :"ما باید هوشمندتر باشیم." و در نتیجه یک نشانه برای تشخیص نام میانی اشخاص اضافه کرد. حالا سایت شخصی Greenslade در رتبه 5 ام نتایج قرار می گیرد.
گوگل ارتش بیشتری از تست کننده ها دارد، میلیون ها کاربر گوگل! و همه ی کسانی که به صورت مجازی و ناخواسته به طور پیوسته در آزمایش کیفیت نتایج گوگل مشارکت دارند. هر زمانی که مهندسان گوگل بخواهند یکی از تغییرات جدید را تست کنند، الگوریتم مورد نظر را بروی درصد کمی از کاربران به صورت انتخاب اتفاقی اجرا می کنند،(گروه تحت آزمایش نام دارند) و به باقی کاربران اجازه می دهد تا به جستجوی خود بپردازند(گروه کنترل). تغییرات بسیار زیادی وجود دارد که گوگل آنها را به کار نمی گیرد و گوگل می گوید که فقط یک آزمایش در هر لحظه باید در حال انجام باشد.
پاتریک رایلی ، مهندس بخش کیفیت جستجو می گوید که :" در بیشتر عباراتی که جستجو می کنید، شما در واقع به طور همزمان در چندین گروه آزمایشی یا کنترل حضور دارید." و بعد رایلی سخنانش را اینگونه اصلاح می کند که : "اساسا هر عباراتی که جستجو می شود در یک آزمایش قرار دارد." به بیانی دیگر هر زمانی که شما به جستجو در گوگل می پردازید ، شما شبیه یک موش آزمایشگاهی هستید.
این انعطاف پذیری ، امکان افزودن نشانه ها، دستکاری کدهای گوگل و آزمودن لحظه ای نتایج ، باعث شده تا کاربران گوگل بگویند که می توانند در مقابل هر رقیبی مانند بینگ و توییتر و فیس بوک تاب بیاورند ، در شش ماه اخیر، گوگل بیش از 200 بهبود را انجام داده است که بعضی از آنها به نظر می رسد که به تقلید از رقبا بوده که حتی بهتر عمل کرده و بعضی هم پیشنهاد از سوی رقبایش بوده است.
(گوگل بیان می کند که این یک اتفاق همزمان است و برای سالیان اضافه کردن ویژگی های جدید امری روتین بوده است.) چندین ماه گذشته ، زمانی که لری پیج گفته بود که گوگل باید تمام وب را هر ثانیه بررسی و مرور کند مشتاقانه در انتظار "جستجوی در لحظه گوگل" هستیم. وقتی که در جستجوی های یک شخص در یک موضوع جدید ، میان 10 لینک آبی نتایج، گوگل یک باکس با عنوان "جدیدترین نتایج" قرار خواهد داد و می توانید مطالبی که همین الان در سایت های مختلف و وبلاگ ها و حتی توییت های جدید نوشته شده اند را در آن اسکرول کنید و ببینید. همچنین، گوگل از نشانه های متنوعی برای اطمینان از پیدا کردن توییت های با بیشترین میزان ارتباط در جریان "جستجوی لحظه ای خود" استفاده می کند. سینگهال می گوید :"ما برای نشانه ها نگاه می کنیم که چه چیزهایی مجددا توییت می شوند ، شخص چند نفر فالوور دارد و آیا توییت مورد نظر به صورت ارگانیک هست یا ربات. ما می دانیم که چگونه این کار را انجام دهیم زیرا ما حدودا ده سال است که در این زمینه فعالیت داریم."
در کنار "جستجوی در لحظه"ی گوگل، گوگل ویژگی های جدید دیگری را معرفی کرده است ، شامل سرویس Goggles که تصاویر گرفته شده با موبایل می تواند به عنوان کوئری ورودی جستجوی گوگل استفاده شود. این تلاش خستگی ناپذیر در تمام بخش های شرکت گوگل است که همیشه در دسترس و حاضر باشند و حضورشان همه جا دیده شود. حالا بوسیله یک دوربین و سیستم تشخیص صدا، هر موبایل هوشمند ، تبدیل به چشم و گوش گوگل می شود و این یعنی اگر نشانه های درست پیدا شوند هر چیزی می تواند در جستجوی گوگل قرار بگیرد.
قدرت محاسباتی و پردازش عظیم گوگل و پهنای باند خیلی زیاد به گوگل پیشتازی غیر قابل انکاری را داده است. بعضی از افراد می گویند این مزیت رقابتی گوگل است که اساسا جلوی وارد شدن استارتاپ ها به رقابت با گوگل را می گیرد اما مانبر می گوید که " تنها فقط زیرساختارهای گوگل نیست که آن را رهبر دنیای اینترنت کرده است بلکه مهم ترین مهم ترین مهم ترین عنصر (با سه بار تاکید!) در بین همه ی اینها انتخاب افراد توانمند و صحیحی است که ما استخدام کرده ایم ."
با تمامی استانداردها ، کی لو (Qi Lu) یکی از این افراد دارای صلاحیت است. مانبر ، کسی که با این دانشمند کامپیوتر 48 ساله ی شرکت یاهو کار کرده است، می گوید : "من برای او بالاترین سطح احترام را قائلم." اما کی لو در اوایل سال گذشته به شرکت مایکروسافت پیوست تا تیم موتور جستجوی بینگ را رهبری کند. وقتی که درباره این کار پرسیدیم ، کی لو ، با قامتی کوتاه با شلوار جین و تی شرت با طرح موتور جستجوی بینگ اندکی مکث کرد و سپس به آرامی یک پاسخ سنجیده داد : "این خیلی مهم است در ذهن داشته باشید که این یک سفر بلند مدت است ." او با نگاهی شبیه "من جایی نمی روم" اوما تورمن در فیلم "بیل را بکش" (kill Bill) پاسخ داد.
در واقع، شرکت مایکروسافت برنده ی جنگ مرورگرها در دهه ی گذشته بود حالا در فکر انتقام گیری در زمینه ی موتور جستجو است. کمی وهم آور است که بعضی از افراد فکر می کنند الگوریتم گوگل چیزهای بیشتری می تواند ارائه دهد اما این کار را نمی کند (طعنه به مایکروسافت که به دنبال پیشی گرفتن از گوگل در زمینه جستجو است) .هری شام ، رئیس هسته توسعه جستجوی مایکروسافت می گوید : "اگر ما یک تغییر پارادایم (فلسفه ی زیربنایی) نداشته باشیم، رقابت با برندگان امروز (گوگل) خیلی خیلی سخت خواهد شد. دیدگاه ما این است که یک تغییر پارادایم رخ خواهد داد."
با این وجود ، حتی اگر چیزی شبیه تغییر پارادیم نیز اتفاق بیفتد ، الگوریتم گوگل می تواند در آن وارد شود. به همین دلیل گوگل یه رقیب ترسناک است. گوگل یک ماشین به اندازه ی کافی زیرک ساخته است که تقریبا هر روشی برای جذب و دفع چیزهای تهدید کننده اش دارد. گوگل درحالی که می تواند نتایج با کیفیت بالائی را ارائه دهد رقبایش حتی نمی توانند نتایج را به درستی پیدا کنند. هرکسی می تواند با ایجاد یک راه جدید برای خرید بلیط هواپیما (اشاره با قابلیت جدید بینگ برای جستجوی لحظه ای بلیط هواپیماها) پیدا کند اما فقط گوگل است که می تواند Mike Siwek را بیابید. (اشاره به عدم توانایی بینگ مایکروسافت در ماجرای جستجوی نام و محل Mike Siwek توسط سینگهال در بالاتر اشاره شد.)
اصلاحات اضافه (در تاریخ 25 فوریه )

جستجوی شخصی گوگل که از سابقه جستجو و همچنین مکان جغرافیایی افراد برای مشخص کردن نتایج مفید استفاده می کند . آنچنان که ذکر کرده بودیم نیازی به وارد شدن به اکانت گوگل برای استفاده از این قابلیت ندارد.