دستورات زیر چه معنی داره:
کد:Crawl-delay: 40
Visit-time: 2000-0345
نمایش نسخه قابل چاپ
دستورات زیر چه معنی داره:
کد:Crawl-delay: 40
Visit-time: 2000-0345
- خط اول با ایجاد یک تاخیر 40 ثانیه ای از بازدید زیاد موتورهای جستجو بصورت پشت سر هم جلوگیری به عمل می آورد. در واقع بین هر بازدید (Crawl) موفق می بایست 40 ثانیه وقفه باشد.
- خط دوم هم به موتور جستجو یک بازه زمانی را بر اساس UTC اعلام می کند و موتور فقط در این بازه به Crawling وبسایت شما خواهد پرداخت. در کدی که دادید منظور بین ساعت های 20pm و 3:45am هست.
فکر نکنم وقفه ای قایل بشه...
ایشون درست میگن، از نظر SEO چنین تنظیمی برای رنک سایت و ... ضرر داره. ایجاد delay باعث میشه تعداد crawling های گوگل در بازه زمانی که به چک کردن صفحات سایت شما اختصاص میده کمتر بشه... مثلا اگر در حالت عادی 100 تا page رو index می کنه، در این حالت 50 تا رو index خواهد کرد. کلا گوگل n دقیقه برای سایت شما وقت قراره بگذاره حالا یا بهش اجازه میدید با سرعت به کارهایش برسد یا اینکه با ایجاد تاخیر سرعت انجام کار رو برای اون محدود می کنید.
---------- Post added at 05:50 PM ---------- Previous post was at 05:49 PM ----------
نکته: موتورهای جستجو از روش Spider استفاده می کنند، بدین معنی که با ورود به سایت شما تمامی لینک های موجود در آن را دنبال می کنند و از این طریق صفحات بیشتری را پیدا کرده و در صورت مجاز بودن ایندکس می کنند.