احتمالا منظورشون اینه که بجای 404 خطای 301 یا همون عدم دسترسی به گوگل بدهید... در مورد robot.txt هم باید URL هایی که نمیخواید گوگل یا هر ربات و اسپایدر دیگری index کند را مشخص کنید.

مورد اول ممکنه جواب بده، ولی مورد دوم اینجا کاربر نداره (شما نمیتونید هر چی URL بوده رو لیست کنید)

بهتره این کار رو توسط Webmaster Tools گوگل انجام بدهید. در سیستم ثبت نام کنید سپس امکانات زیادی من جمله همین حذف صفحات سایت به شما ارایه میشه. (با IP ایران وارد نشوید.)