robot.txt چیست و چگونه میتوان از آن استفاده کرد؟ robot.txt مناسب ویبولتین کدام است؟
فایل robot.txt یکی از علل مهم برای افزایش رتبه سایت در سرویس های جست و جوگر است، اما بسیاری از سایت ها و مدیران سایتها به این فایل و قراردادن آن در سایت کم توجهی میکنند.
این فایل در واقع دسترسی موتورهای جست و جو گر را محدود میکند. و باعث میشود انرژی آنها صرف رفتن به بخشهای غیر ضروری سایت نشود.
بخش هایی مثلایمیل ها ، عکس ها، پوشه Template و قسمت پنل مدیریت سایت.
http://vbpro.ir/attachments/f94/2756...07t-robots.gif
در حقیقت فایل روبوت این فایل ساده متنی است که در پوشه Root سایت قرار گرفته و شامل مسیر های معرفی شده یا ممنوعه برای پیمایشگر های موتورهای جستجوگر یا در حقیقت همان Spider هاست که به Bot معروفند.
یعنی این فایل مسیرهای مجاز و غیر مجاز برای Bot ها را مشخص می کند.
بطور کلی اگر این فایل در ریشه سایت وجود نداشته باشد، Bot ها تمام سایت را پیمایش می کنند.
چگونه یک Robot.txt بسازیم؟
فایل روبات دارای یک فرمت خاص می باشد.این فایل شامل خطوطی است که در این خطوط دو فیلد وجود دارد:
نقل قول:
User-Agent و Disallow
<Field> “:”
<value> User-agent
این قسمت نام پیمایشگر را مشخص میکند :
1
2 |
User-agent: googlebot
User-agent: * |
در این قسمت مسیر فایل ها یا پوشه های مورد نظر را تعریف می کنیم.
کد HTML:
12Disallow: contactinfo.htmDisallow: /cgi-bin/مثال ها:12345678910111213141516The following allows all robots to visit all files because the wildcard "*" specifies all robots.User-agent: *Disallow:This one keeps all robots out.User-agent: *Disallow: /The next one bars all robots from the cgi-bin and images directories:User-agent: *Disallow: /cgi-bin/Disallow: /images/This one bans Roverdog from all files on the server:User-agent: RoverdogDisallow: /This one bans keeps googlebot from getting at the personal.htm file:User-agent: googlebotDisallow: personal.htm
این یه نمونه از فایل روبوت برای ویبولتین:
کد HTML:
ser-agent: *Disallow: /forum/admincp/Disallow: /forum/clientscript/Disallow: /forum/cpstyles/Disallow: /forum/customavatars/Disallow: /forum/customprofilepics/Disallow: /forum/images/Disallow: /forum/modcp/Disallow: /forum/ajax.phpDisallow: /forum/attachment.phpDisallow: /forum/calendar.phpDisallow: /forum/cron.phpDisallow: /forum/editpost.phpDisallow: /forum/global.phpDisallow: /forum/image.phpDisallow: /forum/inlinemod.phpDisallow: /forum/joinrequests.phpDisallow: /forum/login.phpDisallow: /forum/member.phpDisallow: /forum/memberlist.phpDisallow: /forum/misc.phpDisallow: /forum/moderator.phpDisallow: /forum/newattachment.phpDisallow: /forum/newreply.phpDisallow: /forum/newthread.phpDisallow: /forum/online.phpDisallow: /forum/poll.phpDisallow: /forum/postings.phpDisallow: /forum/printthread.phpDisallow: /forum/private.phpDisallow: /forum/profile.phpDisallow: /forum/register.phpDisallow: /forum/report.phpDisallow: /forum/reputation.phpDisallow: /forum/search.phpDisallow: /forum/sendmessage.phpDisallow: /forum/showgroups.phpDisallow: /forum/subscription.phpDisallow: /forum/threadrate.phpDisallow: /forum/usercp.phpDisallow: /forum/usernote.phpDisallow: /forms/Disallow: /images/Disallow: /legal/Disallow: /css/Disallow: /common/
