سلام من میخواستم بدونم اگه برای مثال توی robots.txt بخش انجمن رو کامل ببندم و هیچ روباتی بهش سر نزنه

Disallow: /forum/

اگه انجمن ارور 404 داشته باشه توسط گوگل شناسایی میشه و ارور میخوریم ؟

به نظر من که فکر کنم اصلا هیچ روباتی نمیتونه سر بزنه به بخش انجمن پس هیچ روباتی هم نمینونه ارور 404 رو پیدا کنه درسته ؟