دسترسی به اطلاعات از هر مسیری که باشند اما منبعشون موتورهای جستجو باشه توسط robots.txt قابل کنترل هستند . هیچ منبعی در یک وب سایت نیست که امکان کنترل دسترسی به آن از طرف موتور جستجو ها از طریق این فایل امکان پذیر نباشد .
اون اسپایدر / روبوت / یا هر کلاینتی برای ثبت اطلاعات باید این اطلاعات را مشاهده کند مگر این که به صورت دستی اطلاعات به اون اسپایدر ارایه بشه !