یک سوال در مورد robots.txt [بایگانی] - انجمن تخصصی وب هاستینگ ایران

wordpress

August 21st, 2011, 00:49

دستورات زیر چه معنی داره:

Crawl-delay: 40
Visit-time: 2000-0345

REXNET

August 21st, 2011, 04:53

- خط اول با ایجاد یک تاخیر 40 ثانیه ای از بازدید زیاد موتورهای جستجو بصورت پشت سر هم جلوگیری به عمل می آورد. در واقع بین هر بازدید (Crawl) موفق می بایست 40 ثانیه وقفه باشد.
- خط دوم هم به موتور جستجو یک بازه زمانی را بر اساس UTC اعلام می کند و موتور فقط در این بازه به Crawling وبسایت شما خواهد پرداخت. در کدی که دادید منظور بین ساعت های 20pm و 3:45am هست.

wordpress

August 21st, 2011, 05:49

- خط اول با ایجاد یک تاخیر 40 ثانیه ای از بازدید زیاد موتورهای جستجو بصورت پشت سر هم جلوگیری به عمل می آورد. در واقع بین هر بازدید (Crawl) موفق می بایست 40 ثانیه وقفه باشد.
- خط دوم هم به موتور جستجو یک بازه زمانی را بر اساس UTC اعلام می کند و موتور فقط در این بازه به Crawling وبسایت شما خواهد پرداخت. در کدی که دادید منظور بین ساعت های 20pm و 3:45am هست.
بطور پیش فرض چندثانیه وقفه میندازه بین هر بازدید؟(بیشتر گوگل منظورمه)یعنی اگه وقفه را مشخص نکنیم گوگل خودش چقدر وقفه میندازه؟

REXNET

August 21st, 2011, 14:17

فکر نکنم وقفه ای قایل بشه...

Ahoora_SS

August 21st, 2011, 16:42

بطور پیش فرض چندثانیه وقفه میندازه بین هر بازدید؟(بیشتر گوگل منظورمه)یعنی اگه وقفه را مشخص نکنیم گوگل خودش چقدر وقفه میندازه؟

گوگل 1 دقیقه الی 5 دقیقه برای هر سایت وقت میزاره که در واقع اگر شما زمان بندی برای این بازدید تعیین کنید میتونید بهترین نتیجه رو داشته باشید اما بهتره که این وقفه رو بردارید

wordpress

August 21st, 2011, 18:42

گوگل 1 دقیقه الی 5 دقیقه برای هر سایت وقت میزاره که در واقع اگر شما زمان بندی برای این بازدید تعیین کنید میتونید بهترین نتیجه رو داشته باشید اما بهتره که این وقفه رو بردارید
متوجه منظورتون نشدم. میشه بیشتر توضیح بدین؟

REXNET

August 21st, 2011, 18:50

ایشون درست میگن، از نظر SEO چنین تنظیمی برای رنک سایت و ... ضرر داره. ایجاد delay باعث میشه تعداد crawling های گوگل در بازه زمانی که به چک کردن صفحات سایت شما اختصاص میده کمتر بشه... مثلا اگر در حالت عادی 100 تا page رو index می کنه، در این حالت 50 تا رو index خواهد کرد. کلا گوگل n دقیقه برای سایت شما وقت قراره بگذاره حالا یا بهش اجازه میدید با سرعت به کارهایش برسد یا اینکه با ایجاد تاخیر سرعت انجام کار رو برای اون محدود می کنید.

---------- Post added at 05:50 PM ---------- Previous post was at 05:49 PM ----------

نکته: موتورهای جستجو از روش Spider استفاده می کنند، بدین معنی که با ورود به سایت شما تمامی لینک های موجود در آن را دنبال می کنند و از این طریق صفحات بیشتری را پیدا کرده و در صورت مجاز بودن ایندکس می کنند.