سوال در مورد robot.txt در سایت وردپرسی
سلام
دوستان چند تا سوال:
1)تنظیماتی که توی قسمت XML Sitemaps افزونه yoast هست(In Sitemap/Not In Sitemap) همون کار فایل robot.txt رو انجام میده؟
2)ایندکس کردن صفحاتی مثل حریم خصوصی .قوانین .درباره ما .تماس با ما یا نظرات زیر پستها خوبه؟ یا باید دسترسی رباتها بسته باشه؟
3) فارغ از سیاست های هرکس در انتشار محتوا و سئو سایت یه فایل robot.txt آماده میخوام که حداقل هایی که باید در فایل robot.txt هر سایت وردپرسی وجود داشته باشه درش موجود باشه.کسی میتونه این فایلو اینجا بذاره؟
تشکر
پاسخ با نقل قول