دارای مسیر خاصی نیستند؟ مثل /blog/post..
اگر یک الگو ثابت دارند می توانید مسیر آن را در یک خط به راحتی از robots.txt حذف کنید؛
در غیر اینصورت ّFixed کنید؛ به مرور زمان حل خواهد شد
یک سری خیلی کمشون هست که از اینطریق اکی کردم اما بقیش تگ ، صفحه و ... هستند