دوست عزیز نیاز به تک تک وارد کردن فایل ها به روبوت تی اکس تی نیست کافیه همونطوری که دوستمون گفتن بخش مورد نظر رو به خزنده گوگل بفهمونید که این بخش رو بی خیال بشه
User-agent: * Disallow: /archive
شما به جای آرشیو می تونید یه بخش دیگه رو بگین که بیخیال بشه
User-agent: * Disallow: /Tag
یا
User-agent: * Disallow: /post
بستگی به نوع فهرست بندی سایتتون داره که کدوم رو بخواین بگین نخونه ربات گوگل ، البته مراقب باشین هرچیزیو توی بخش robot.txt ننویسید چون ممکنه باعث بشه ربات گوگل فایل های اساسی شما رو نخون ، اون وقت با کاهش رتبه و بازدید مواجه میشید
ممنون ، این کار باعث میشه تنها یک آدرس از دید ربات ها پنهون بمونه یا هر urlـی ک توش مثلاً کلمه cart رو داره ...
ببینید ما یه همچین urlـی داریم site.com/dis/i/9526/7?cart=true/sssss
حالا میخوایم هر آدرسی ک توش کلمات "cart=true" داشت ایندکس نشه ...
این دستور دقیقن همین کارو میکنه دیگه درسته ؟!
دوست عزیز پیشنهاد میدم قبل هر کاری اول اینو خوب بخونید
http://www.7learn.com/miscellaneous/what-is-robot-txt
شما با این دستور
User-agent: * Disallow: /Tag
تمای بخش ها تگ از نگاه اسپایدر گوگل دور می مونه
ok این مشکل حل شد ... تشکر... حالا یه مشکل دیگه ایجاد شد برام :
اگر url سایت ما مثل (site.com/dis/i/10172/20/salam) باشه ،بجای عدد 20 یه عدد دیگه ای بزاریم دوباره همون صفحه و مطلب عدد 20 بالا میاد ... حالا گوگل اومده چن تا مث این صفحه رو ایندکس کرده و مطالب ما کپی دراومده !! تو رباتز [دات] تی ایکس تی باید چه دستوراتی رو وارد کنم ک فقط این گونه url هارو ایندکس نکنه ؟!
دوست عزیز متوجه نشدم site.com/dis/i/10172/20/salam من دسته ها رو خودم اینطوری تفکیک میکنم site.com » سایت اصلی dis » والد ( یا مادر دسته ) i » زیرمجموعه دسته (فرزند ) 10172 » آی دی دسته 20 » عنوان پست اون وقت این salam چیه ؟؟؟اگر منظورتون اینه که یه پست با این پیوند یکتا دارین site.com/dis/i/10172/20/salam و حالا چندتا پست دیگه با همین پیوند یکتا دارین site.com/dis/i/10172/20/salam غیرممکنه ، چون خوده وردپرس زمانی که ببینه پیوند یکتای شما با یکی دیگه از پست های وردپرس یکی هستش خود به خود تغییر میده ، و اگر این پیوند ها به فرض مثال توی گوگل ایندکس هم بشن اگر لینک ها رو تغییر بدین توی گوگل ارور 404 میخوره چون لینکی که توی گوگل ثبت شده قبلا با لینک پیوند یکتای جدید یکی نیست گوگل بهتون ارور 404 میده
در حال حاضر 1 کاربر در حال مشاهده این موضوع است. (0 کاربران و 1 مهمان ها)