آموزش فایل robots.txt

فایل “robots.txt” به ربات موتور های جستجو کمک می کند تا به چه قسمت هایی دسترسی داشته باشند. این فایل، باید با نام robots.txt در شاخه روت (اصلی) سایت قرار گیرد.

تمامی ربات های موتور های جستجو در صورت مشاهده * نباید به پوشه های مشخص شده آن دسترسی داشته باشند.
شما ممکن است که تمایلی نداشته باشید بخشی از سایت شما توسط موتور های جستجو مشاهده شود.خب بهتر است از فایل robots.txt استفاده کنید.

موتور جستجوگر قبل از آنکه وارد سایتی شود، ابتدا فایل robots.txt را درخواست می کند و تمام محدودیت ھای پیشروی خود در آن سایت را می خواند. نبود این فایل در یک سایت به معنای نبودن ھیچ گونه محدودیتی برای تمام اسپایدرھا است. (حالت پیشفرض)
موتور جستجوگر بعد از آنکه تمام فایل ھا و مسیرھای ممنوع را دانست. شروع به خواندن مطالب سایت می کند و البته به محدودیت ھای موجود نیز احترام می گذارد.(اگر یک اسپایدر مودب باشد.!)
عده ای از آنھا به طور کامل و صد در صد به محتوای این فایل وفادار نیستند. مثال شکارچی را به یاد آورید، آیا ھمه شکارچیان به تمام توصیه ھای زیست بانان عمل می کنند؟

روش های مناسب برایrobots.txt

از متد های فایل robots.txt به خوبی استفاده کنید – از تمامی قابلیت های این فایل برای دسترسی موتور های جستجو استفاده کنید. با این حال استفاده از تگ متا را در موارد خاص حتماً در نظر بگیرید. بهترین روش برای جلوگیری از دسترسی موتور های جستجو به پوشه های شما قرار دادن رمز برای پوشه ها توسط .htaccess است.
اجتناب کنید از:
- اجازه دهید موتور های جستجو شاخه های غیر ضروری شما را مشاهده کند.
- اجازه دهید که موتور های جستجو مطالب تکراری شما را که در بخش های دیگر سایت هستند را مشاهده کنند.
توجه: در فایل robots.txt فایل ها یا فولدر های امنیتی (ادمین، کانفیگ و …) را قرار ندهید.

تنظیم درست این فایل موجب بهبود رنک شما در گوگل و یا در دیگر موتور های جستو می شود.

نحوه ساخت فایل robots.txt

با استفاده از ویرایشگر های ویندوز خود مانند Notepad یک فایل با نام robots و با پسوند txt ایجاد کنید و در پایان کار این فایل را در روت یا پوشه ساب دامین آپلود کنید .

با این دستور، روبوت ھا مشخص می شوند. روبوت (اسپایدر) ھر موتور جستجوگر نام مشخصی دارد و برای محدود کردن موتورھای جستجوگر کافی است که نام روبوت ھای مورد نظر را به ھمراه این دستور به کار گیریم. ای دستور به صورت زیر به کار می رود:
کد:

user-agent: robot name

به عنوان مثال وقتی که روبوت مورد نظر مربوط به گوگل است خواھیم داشت:
کد:

user-agent:googlebot

و ھمین طور اگر روبوت NorthernLight مورد نظر باشد،آنگاه:
کد:

user-agent:gulliver

با هر دستور user-agent تنها میتوان یک روبوت را مشخص کرد و اگر بخواهید برای تمامی ربوت ها ایجاد کنید به این شکل استفاده کنید :
کد:

*:User-agent

disallow

با این دستور مسیرھای ممنوع مشخص می شوند که به صورت زیر به کار می رود:
کد:

disallow:/path/

و مثال ھایی از آن به صورت زیر می باشند:
کد:

disallow:/sales/
disallow:/shopping_card/

با ھر دستور disallow تنھا می توان یک مسیر را مشخص کرد و کابرد آن به صورت زیر اشتباه است:
کد:

disallow:/sales/,/shopping/

برای محدود کردن ھر روبوت ابتدا آنرا مشخص کرده و سپستمام مسیرھای محدود شده برای آنرا ذکر می کنیم:
کد:

user-agent: googlebot
disallow:/test/
disallow:/sales/

در مثال زیر روبوت موتور جستجوگر آلتاویستا از دسترسی به فولدرھای ۲ ، ۱ و ۳۳ ممنوع شده است:
کد:

user-agent: scooter
diallow:/1/
disallow:/2/
disallow:/33/

و با دستور زیر ھمه روبوت ھا می توانند محتوای تمام مسیرھا را بخوانند:
کد:

user-agent:*
disallow:

حتی اگر سایت شما ھیچ گونه محدودیتی ندارد توصیه می شود که این فایل را بر روی سرور خود قرار دھید. در این صورت کافیست که به صورت زیر عمل کنید:
کد:

user-agent:*
فایل پیوست 5184
robots 150x150 آموزش فایل robots.txtrobots 150x150 آموزش فایل robots.txtdiallow:

بودن این فایل به صورت ذکر شده و نبودن آن در ھر دو صورت برای موتورھای جستجوگر یک معنا دارد :
آزادی در دسترسی به محتوای سایت می تواند نشان از حرفه ای بودن سایت باشد و شاید در رتبه بندی سایت ھم مورد لحاظ قرار گیرد. robots.txt اما وجود آزادی در پرتو یک قانون بدون محدودیت بھتر است از آزادی ناشی از بی قانونی!

اگر مشکلی در ایجاد این فایل داشتید می توانید از سایت زیر کمک بگیرید.

Robots.txt Generator - SEO Tools - Search Engine Optimization, Google Optimization