یک سوال در مورد robots.txt

[wordpress]

دستورات زیر چه معنی داره:

Crawl-delay: 40
Visit-time: 2000-0345

[REXNET]

- خط اول با ایجاد یک تاخیر 40 ثانیه ای از بازدید زیاد موتورهای جستجو بصورت پشت سر هم جلوگیری به عمل می آورد. در واقع بین هر بازدید (Crawl) موفق می بایست 40 ثانیه وقفه باشد.
- خط دوم هم به موتور جستجو یک بازه زمانی را بر اساس UTC اعلام می کند و موتور فقط در این بازه به Crawling وبسایت شما خواهد پرداخت. در کدی که دادید منظور بین ساعت های 20pm و 3:45am هست.

[wordpress]

- خط اول با ایجاد یک تاخیر 40 ثانیه ای از بازدید زیاد موتورهای جستجو بصورت پشت سر هم جلوگیری به عمل می آورد. در واقع بین هر بازدید (Crawl) موفق می بایست 40 ثانیه وقفه باشد.
- خط دوم هم به موتور جستجو یک بازه زمانی را بر اساس UTC اعلام می کند و موتور فقط در این بازه به Crawling وبسایت شما خواهد پرداخت. در کدی که دادید منظور بین ساعت های 20pm و 3:45am هست.

بطور پیش فرض چندثانیه وقفه میندازه بین هر بازدید؟(بیشتر گوگل منظورمه)یعنی اگه وقفه را مشخص نکنیم گوگل خودش چقدر وقفه میندازه؟

[REXNET]

فکر نکنم وقفه ای قایل بشه...

[Ahoora_SS]

بطور پیش فرض چندثانیه وقفه میندازه بین هر بازدید؟(بیشتر گوگل منظورمه)یعنی اگه وقفه را مشخص نکنیم گوگل خودش چقدر وقفه میندازه؟

گوگل 1 دقیقه الی 5 دقیقه برای هر سایت وقت میزاره که در واقع اگر شما زمان بندی برای این بازدید تعیین کنید میتونید بهترین نتیجه رو داشته باشید اما بهتره که این وقفه رو بردارید

[wordpress]

گوگل 1 دقیقه الی 5 دقیقه برای هر سایت وقت میزاره که در واقع اگر شما زمان بندی برای این بازدید تعیین کنید میتونید بهترین نتیجه رو داشته باشید اما بهتره که این وقفه رو بردارید

متوجه منظورتون نشدم. میشه بیشتر توضیح بدین؟

[REXNET]

ایشون درست میگن، از نظر SEO چنین تنظیمی برای رنک سایت و ... ضرر داره. ایجاد delay باعث میشه تعداد crawling های گوگل در بازه زمانی که به چک کردن صفحات سایت شما اختصاص میده کمتر بشه... مثلا اگر در حالت عادی 100 تا page رو index می کنه، در این حالت 50 تا رو index خواهد کرد. کلا گوگل n دقیقه برای سایت شما وقت قراره بگذاره حالا یا بهش اجازه میدید با سرعت به کارهایش برسد یا اینکه با ایجاد تاخیر سرعت انجام کار رو برای اون محدود می کنید.

---------- Post added at 05:50 PM ---------- Previous post was at 05:49 PM ----------

نکته: موتورهای جستجو از روش Spider استفاده می کنند، بدین معنی که با ورود به سایت شما تمامی لینک های موجود در آن را دنبال می کنند و از این طریق صفحات بیشتری را پیدا کرده و در صورت مجاز بودن ایندکس می کنند.