یک robots.txt تهیه فرمایید
این امر به مدیریت محتوای شما نیز بستگی داره