نقل قول نوشته اصلی توسط REXNET نمایش پست ها
احتمالا منظورشون اینه که بجای 404 خطای 301 یا همون عدم دسترسی به گوگل بدهید... در مورد robot.txt هم باید URL هایی که نمیخواید گوگل یا هر ربات و اسپایدر دیگری index کند را مشخص کنید.

مورد اول ممکنه جواب بده، ولی مورد دوم اینجا کاربر نداره (شما نمیتونید هر چی URL بوده رو لیست کنید)

بهتره این کار رو توسط Webmaster Tools گوگل انجام بدهید. در سیستم ثبت نام کنید سپس امکانات زیادی من جمله همین حذف صفحات سایت به شما ارایه میشه. (با IP ایران وارد نشوید.)
میشه بگین چجوری میشه با گوگل وبمستر این صفحات قدیمی که الان وجود نداره رو پاک کنم؟
همچنین تمام لینک های قدیمی به این صورت هستن:
کد:
http://mysite.com/2010/...
http://mysite.com/2011/...
توی فایل robots.txt کد زیر را قرار دادم:
کد:
User-agent:*
Disallow:/2010/
Disallow:/2011/
ولی با هم گوگل میاد به این لینکها سر میزنه!