فایل پیوست 28481
خصوصیات خزنده(crawler)
مقیاس پذیر
توزیع شده
کارا
توانایی تشخیص صفحات مهم
وب عمیق
تفاوت spider و crawler
عنکبوت (spider) وظیفه بارگزاری صفحات را بر عهده دارد
اما خرنده (crawler) مانند فرمانده ای برای spider عمل می کند!
crawler تصمیم می گیرد که چه صفحاتی بایستی لود شود و نهایتا spider وظیفه بارگزاری صفحه را بر عهده دارد.
