خطای 404 مشکلی برای رنکینگ شما ایجاد نمیکنه.
از طریق robots.txt همون کدی که زدید درسته.
از WMT هم دایرکتوریش رو پاک کنید تا کلا توی سرچ نشون داده نشه. یادتون نره فایل robots رو که تغییر دادید از طریق
WMT > Robots.txt tester
آپدیت کنید فایل رباتس رو