تو فایل روبوت اگه کلا بخوای سایت را چک نکنه

User-agent: *
Disallow: /
این دستور ک میگه هیچ اسپایدری نیاد
Disallow Robots Using Robots.txt
The Web Robots Pages
این ها را مطالعه کن