نقل قول نوشته اصلی توسط mtostar نمایش پست ها
دوست عزیز پیشنهاد میدم قبل هر کاری اول اینو خوب بخونید


http://www.7learn.com/miscellaneous/what-is-robot-txt



شما با این دستور
User-agent: * Disallow: /Tag
تمای بخش ها تگ از نگاه اسپایدر گوگل دور می مونه
ok این مشکل حل شد ... تشکر... حالا یه مشکل دیگه ایجاد شد برام :

اگر url سایت ما مثل (site.com/dis/i/10172/20/salam) باشه ،بجای عدد 20 یه عدد دیگه ای بزاریم دوباره همون صفحه و مطلب عدد 20 بالا میاد ... حالا گوگل اومده چن تا مث این صفحه رو ایندکس کرده و مطالب ما کپی دراومده !! تو رباتز [دات] تی ایکس تی باید چه دستوراتی رو وارد کنم ک فقط این گونه url هارو ایندکس نکنه ؟!