تعریف و اصطلاحات spider و crawling
photo_2015-10-18_13-58-16.jpg
خصوصیات خزنده(crawler)
مقیاس پذیر
توزیع شده
کارا
توانایی تشخیص صفحات مهم
وب عمیق
تفاوت spider و crawler
عنکبوت (spider) وظیفه بارگزاری صفحات را بر عهده دارد
اما خرنده (crawler) مانند فرمانده ای برای spider عمل می کند!
crawler تصمیم می گیرد که چه صفحاتی بایستی لود شود و نهایتا spider وظیفه بارگزاری صفحه را بر عهده دارد.
پاسخ با نقل قول