مشکل خطای دسترسی به robots.txt
سلام وقت بخیر
یه مشکلی برای سایت ما پیش اومده ( احتمالا بعد از انتقال به هاستینگ جدید ).
گوگل فایل robots.txt رو در حالتی که دامنه با www. هست رو میشناسه و مشکلی نداره اما بدون www. همون فایل رو از robot tester چک می کنیم ، میگه چنین فایلی نیست و خطای 404 میده
چون سایت بدون www بوده ، الان کلی ارور گرفتیم ،
روی مروگر در هر دو حالت فایل روبات بالا میاد و مشکلی نداره ، مشکل سر دسترسی ربات های گوگل به این فایل هست.
دوستانی که در این زمینه اطلاعاتی دارن ، ممنون میشم راهنمایی کنید.
پاسخ با نقل قول
