نقل قول نوشته اصلی توسط mtostar نمایش پست ها
دوست عزیز نیاز به تک تک وارد کردن فایل ها به روبوت تی اکس تی نیست کافیه همونطوری که دوستمون گفتن بخش مورد نظر رو به خزنده گوگل بفهمونید که این بخش رو بی خیال بشه
User-agent: * Disallow: /archive

شما به جای آرشیو می تونید یه بخش دیگه رو بگین که بیخیال بشه


User-agent: * Disallow: /Tag
یا
User-agent: * Disallow: /post


بستگی به نوع فهرست بندی سایتتون داره که کدوم رو بخواین بگین نخونه ربات گوگل ، البته مراقب باشین هرچیزیو توی بخش robot.txt ننویسید چون ممکنه باعث بشه ربات گوگل فایل های اساسی شما رو نخون ، اون وقت با کاهش رتبه و بازدید مواجه میشید
ممنون ، این کار باعث میشه تنها یک آدرس از دید ربات ها پنهون بمونه یا هر urlـی ک توش مثلاً کلمه cart رو داره ...

ببینید ما یه همچین urlـی داریم site.com/dis/i/9526/7?cart=true/sssss

حالا میخوایم هر آدرسی ک توش کلمات "cart=true" داشت ایندکس نشه ...

این دستور دقیقن همین کارو میکنه دیگه درسته ؟!