فایل robot.txt یکی از علل مهم برای افزایش رتبه سایت در سرویس های جست و جوگر است، اما بسیاری از سایت ها و مدیران سایتها به این فایل و قراردادن آن در سایت کم توجهی میکنند.
این فایل در واقع دسترسی موتورهای جست و جو گر را محدود میکند. و باعث میشود انرژی آنها صرف رفتن به بخشهای غیر ضروری سایت نشود.
بخش هایی مثلایمیل ها ، عکس ها، پوشه Template و قسمت پنل مدیریت سایت.


در حقیقت فایل روبوت این فایل ساده متنی است که در پوشه Root سایت قرار گرفته و شامل مسیر های معرفی شده یا ممنوعه برای پیمایشگر های موتورهای جستجوگر یا در حقیقت همان Spider هاست که به Bot معروفند.
یعنی این فایل مسیرهای مجاز و غیر مجاز برای Bot ها را مشخص می کند.
بطور کلی اگر این فایل در ریشه سایت وجود نداشته باشد، Bot ها تمام سایت را پیمایش می کنند.
چگونه یک Robot.txt بسازیم؟
فایل روبات دارای یک فرمت خاص می باشد.این فایل شامل خطوطی است که در این خطوط دو فیلد وجود دارد:

User-Agent و Disallow
<Field> “:” <value>
User-agent



این قسمت نام پیمایشگر را مشخص میکند :


1
2		 User-agent: googlebot
User-agent: *
کد HTML:
Disallow




در این قسمت مسیر فایل ها یا پوشه های مورد نظر را تعریف می کنیم.

کد HTML:
12Disallow: contactinfo.htmDisallow: /cgi-bin/مثال ها:12345678910111213141516The following allows all robots to visit all files because the wildcard "*" specifies all robots.User-agent: *Disallow:This one keeps all robots out.User-agent: *Disallow: /The next one bars all robots from the cgi-bin and images directories:User-agent: *Disallow: /cgi-bin/Disallow: /images/This one bans Roverdog from all files on the server:User-agent: RoverdogDisallow: /This one bans keeps googlebot from getting at the personal.htm file:User-agent: googlebotDisallow: personal.htm



این یه نمونه از فایل روبوت برای ویبولتین:

کد HTML:

ser-agent: *Disallow: /forum/admincp/Disallow: /forum/clientscript/Disallow: /forum/cpstyles/Disallow: /forum/customavatars/Disallow: /forum/customprofilepics/Disallow: /forum/images/Disallow: /forum/modcp/Disallow: /forum/ajax.phpDisallow: /forum/attachment.phpDisallow: /forum/calendar.phpDisallow: /forum/cron.phpDisallow: /forum/editpost.phpDisallow: /forum/global.phpDisallow: /forum/image.phpDisallow: /forum/inlinemod.phpDisallow: /forum/joinrequests.phpDisallow: /forum/login.phpDisallow: /forum/member.phpDisallow: /forum/memberlist.phpDisallow: /forum/misc.phpDisallow: /forum/moderator.phpDisallow: /forum/newattachment.phpDisallow: /forum/newreply.phpDisallow: /forum/newthread.phpDisallow: /forum/online.phpDisallow: /forum/poll.phpDisallow: /forum/postings.phpDisallow: /forum/printthread.phpDisallow: /forum/private.phpDisallow: /forum/profile.phpDisallow: /forum/register.phpDisallow: /forum/report.phpDisallow: /forum/reputation.phpDisallow: /forum/search.phpDisallow: /forum/sendmessage.phpDisallow: /forum/showgroups.phpDisallow: /forum/subscription.phpDisallow: /forum/threadrate.phpDisallow: /forum/usercp.phpDisallow: /forum/usernote.phpDisallow: /forms/Disallow: /images/Disallow: /legal/Disallow: /css/Disallow: /common/