robots.txt و ارور 404

[Sir.DarKNesS]

سلام من میخواستم بدونم اگه برای مثال توی robots.txt بخش انجمن رو کامل ببندم و هیچ روباتی بهش سر نزنه

Disallow: /forum/

اگه انجمن ارور 404 داشته باشه توسط گوگل شناسایی میشه و ارور میخوریم ؟

به نظر من که فکر کنم اصلا هیچ روباتی نمیتونه سر بزنه به بخش انجمن پس هیچ روباتی هم نمینونه ارور 404 رو پیدا کنه درسته ؟

[a.e]

با سلام و عرض ادب

در صورتی که دسترسی را ببندید گوگل با خطای 404 مواجه نمیشود بلکه با خطای عدم دسترسی یا time out یا همان در دسترس نبودن سایت شما مواجه میشود و دچار مشکل میشوید.

[iHSG]

با سلام و عرض ادب

در صورتی که دسترسی را ببندید گوگل با خطای 404 مواجه نمیشود بلکه با خطای عدم دسترسی یا time out یا همان در دسترس نبودن سایت شما مواجه میشود و دچار مشکل میشوید.

جسارت نباشه ولی Time Out همونطور که از اسمش معلومه یعنی Connection گوگل به سایت شما از طرف سرور شما انقدر بی پاسخ می مونه که اخطار Connection Time Out گرفته ولی وقتی یه فایل robots.txt با تعریف عدم امکان دسترسی بذارید بازم وب سرور داخل سرور شما به Request گوگل Response می فرسته اما این گوگل هستش که با اینکه HTML کامل انجمن این دوستمون هم تو Response سرور دستشه ولی فایل robots.txt رو چک میکنه و اگه دید نباید دسترسی داشته باشه ایندکس نمیکنه و اگه حتی بخواد اخطاری هم نمایش بده اصولاً باید اخطار Access Denied رو نمایش بده نه چیز دیگه ای.

[a.e]

جسارت نباشه ولی Time Out همونطور که از اسمش معلومه یعنی Connection گوگل به سایت شما از طرف سرور شما انقدر بی پاسخ می مونه که اخطار Connection Time Out گرفته ولی وقتی یه فایل robots.txt با تعریف عدم امکان دسترسی بذارید بازم وب سرور داخل سرور شما به Request گوگل Response می فرسته اما این گوگل هستش که با اینکه HTML کامل انجمن این دوستمون هم تو Response سرور دستشه ولی فایل robots.txt رو چک میکنه و اگه دید نباید دسترسی داشته باشه ایندکس نمیکنه و اگه حتی بخواد اخطاری هم نمایش بده اصولاً باید اخطار Access Denied رو نمایش بده نه چیز دیگه ای.

با سلام و عر ادب

تمام مواردی که در متن به ان ها اشاره شده است به صورت مثال و مفهوم آن عدم دسترسی به سایت از طرف گوگل بوده است.

[sazsaz]

سلام من میخواستم بدونم اگه برای مثال توی robots.txt بخش انجمن رو کامل ببندم و هیچ روباتی بهش سر نزنه

چطور می خوای توی گوگل مطالبت بیاد بالا
داغون می کنی سایت را

[shayandavoodi]

خطای 404 مشکلی برای رنکینگ شما ایجاد نمیکنه.
از طریق robots.txt همون کدی که زدید درسته.
از WMT هم دایرکتوریش رو پاک کنید تا کلا توی سرچ نشون داده نشه. یادتون نره فایل robots رو که تغییر دادید از طریق
WMT > Robots.txt tester
آپدیت کنید فایل رباتس رو