بله باید بیخیال بشید
گوگل خودش چندین دیتا سنتر داره شما هر بار از گوگل آی پی بگیرید آی پی های مختلفی میده
برای مثال با www و بدون www امتحان کنید
تا جایی که اطلاعات من میگه فقط همون robot.txt رو میشه ویرایش کرد
جلوی هر شاخه * بزنید تا روبات ها اون شاخه رو ایندکس نکنند.
موفق باشی عزیز.