نقل قول نوشته اصلی توسط a.e نمایش پست ها
با سلام و عرض ادب

در صورتی که دسترسی را ببندید گوگل با خطای 404 مواجه نمیشود بلکه با خطای عدم دسترسی یا time out یا همان در دسترس نبودن سایت شما مواجه میشود و دچار مشکل میشوید.
جسارت نباشه ولی Time Out همونطور که از اسمش معلومه یعنی Connection گوگل به سایت شما از طرف سرور شما انقدر بی پاسخ می مونه که اخطار Connection Time Out گرفته ولی وقتی یه فایل robots.txt با تعریف عدم امکان دسترسی بذارید بازم وب سرور داخل سرور شما به Request گوگل Response می فرسته اما این گوگل هستش که با اینکه HTML کامل انجمن این دوستمون هم تو Response سرور دستشه ولی فایل robots.txt رو چک میکنه و اگه دید نباید دسترسی داشته باشه ایندکس نمیکنه و اگه حتی بخواد اخطاری هم نمایش بده اصولاً باید اخطار Access Denied رو نمایش بده نه چیز دیگه ای.