نقل قول نوشته اصلی توسط Arashdn نمایش پست ها
در مورد این روش بیشتر توضیح میدید؟
اولین چیزی که یه موتور میاد بررسی robots.txt
اگه دوست داشتید مال خود گوگل رو بررسی کنید
http://www.google.com/robots.txt
اینرو برای این ایجاد کرده تا موتوری ضعیف مثل یاهو نیاد و از اطلاعات بایگانی شده با زحمت فراوان گوگل استفاده کنه

حالا چی رو کودومشو بیشتر توضیح بدم؟