نقل قول نوشته اصلی توسط woshka نمایش پست ها
اولین چیزی که یه موتور میاد بررسی robots.txt
اگه دوست داشتید مال خود گوگل رو بررسی کنید
http://www.google.com/robots.txt
اینرو برای این ایجاد کرده تا موتوری ضعیف مثل یاهو نیاد و از اطلاعات بایگانی شده با زحمت فراوان گوگل استفاده کنه

حالا چی رو کودومشو بیشتر توضیح بدم؟
اون قضیه فایرفاکس رو