سوال در مورد robot.txt در سایت وردپرسی

[ITarashe]

سلام
دوستان چند تا سوال:

1)تنظیماتی که توی قسمت XML Sitemaps افزونه yoast هست(In Sitemap/Not In Sitemap) همون کار فایل robot.txt رو انجام میده؟

2)ایندکس کردن صفحاتی مثل حریم خصوصی .قوانین .درباره ما .تماس با ما یا نظرات زیر پستها خوبه؟ یا باید دسترسی رباتها بسته باشه؟

3) فارغ از سیاست های هرکس در انتشار محتوا و سئو سایت یه فایل robot.txt آماده میخوام که حداقل هایی که باید در فایل robot.txt هر سایت وردپرسی وجود داشته باشه درش موجود باشه.کسی میتونه این فایلو اینجا بذاره؟

تشکر

با سلام و احترام

فایل Robots.txt توسط افزونه Yoast بصورت اتوماتید ایجاد میشه و بیشتر زمانی کاربرد پیدا می‌کنه که شما نیاز داشته باشید از ایندکس شدن بخش خاصی از وبسایتتون در موتورهای جستجو جلوگیری کنید
حداقل‌های موجود در robots.txt برای وردپرس همان disallow کردن wp-admin هست که بصورت پیشفرض با نصب yoast ایجاد میشه
تنظیمات مربوط به XML SITEMAP هم مشخصا فقط برای sitemap.xml هست و ارتباطی با robots.txt ندارد

ممنونم