پاسخ : یک سوال در مورد robots.txt
- خط اول با ایجاد یک تاخیر 40 ثانیه ای از بازدید زیاد موتورهای جستجو بصورت پشت سر هم جلوگیری به عمل می آورد. در واقع بین هر بازدید (Crawl) موفق می بایست 40 ثانیه وقفه باشد.
- خط دوم هم به موتور جستجو یک بازه زمانی را بر اساس UTC اعلام می کند و موتور فقط در این بازه به Crawling وبسایت شما خواهد پرداخت. در کدی که دادید منظور بین ساعت های 20pm و 3:45am هست.
پاسخ با نقل قول