پاسخ : یک سوال در مورد robots.txt
ایشون درست میگن، از نظر SEO چنین تنظیمی برای رنک سایت و ... ضرر داره. ایجاد delay باعث میشه تعداد crawling های گوگل در بازه زمانی که به چک کردن صفحات سایت شما اختصاص میده کمتر بشه... مثلا اگر در حالت عادی 100 تا page رو index می کنه، در این حالت 50 تا رو index خواهد کرد. کلا گوگل n دقیقه برای سایت شما وقت قراره بگذاره حالا یا بهش اجازه میدید با سرعت به کارهایش برسد یا اینکه با ایجاد تاخیر سرعت انجام کار رو برای اون محدود می کنید.
---------- Post added at 05:50 PM ---------- Previous post was at 05:49 PM ----------
نکته: موتورهای جستجو از روش Spider استفاده می کنند، بدین معنی که با ورود به سایت شما تمامی لینک های موجود در آن را دنبال می کنند و از این طریق صفحات بیشتری را پیدا کرده و در صورت مجاز بودن ایندکس می کنند.
پاسخ با نقل قول