دوست عزیز نیاز به تک تک وارد کردن فایل ها به روبوت تی اکس تی نیست کافیه همونطوری که دوستمون گفتن بخش مورد نظر رو به خزنده گوگل بفهمونید که این بخش رو بی خیال بشه
User-agent: * Disallow: /archive
شما به جای آرشیو می تونید یه بخش دیگه رو بگین که بیخیال بشه
User-agent: * Disallow: /Tag
یا
User-agent: * Disallow: /post
بستگی به نوع فهرست بندی سایتتون داره که کدوم رو بخواین بگین نخونه ربات گوگل ، البته مراقب باشین هرچیزیو توی بخش robot.txt ننویسید چون ممکنه باعث بشه ربات گوگل فایل های اساسی شما رو نخون ، اون وقت با کاهش رتبه و بازدید مواجه میشید