معمولا تمام وبمستر ها با فایل Robots.txt آشنا هستند ، همانطور که شما هم می دانید این فایل برای درک بهتر موتور های جستجو روی وبسایت ها قرار می گیرد ، به جهت اینکه موتورهای جستجو بدانند در وبسایت ما به دنبال چه چیزی باید باشند ! از همین رو با توجه به اهمیتی که این فایل برای وبسایت ها دارد ما طی این مطلب آموزشی خواهیم پرداخت به نحوه ی سئو سازی فایل Robots.txt . توجه داشته باشید در صورتیکه اشتباهی در تنظیمات فایل Robots.txt سایت شما باشد بعبارتی دیگر باید قید آن سایت را زد ! ( یعنی یک سایت مرده است ! ) . بهینه سازی فایل Robots.txt :

بسیار خب ، در قدم اول باید فایل Robots.txt را روی هاست سایت خود ایجاد کنید که معمولا اینجار در روت هاست انجام می شود ، کافیست به روت هاست خود وارد بشید ( منیجر ) و در همان مسیر روت هاست اقدام به ایجاد یک فایل با نام robots.txt کنید ( در واقع در همان مسیری که وردپرس را نصب کرده اید ) . بسیار خب یک مثال پیش پا افتاده از دستورات این فایل را در زیر میبینید که حالا می توانید دستورات زیر را در این فایل وارد و آن را ذخیره کنید

کد PHP:
User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html 
همانطور که در کد بالا مشاهده می کنید ، USER AGEN مشخص می کند که محتوای وبسایت با کدام مرورگرها مورد برسی و ایندکس قرار بگیرند ( بعنوان نمونه GOOGLEBOOT و یا YAHOOBOOT و یا … ) که وقتی علامت * را مقابل آن قرار دهید بیانگر این هست که محتوای سایت توسط تمامی ربات های مرورگرها مورد برسی قرار بگیرند . اما در خط بعدی ما دستور ALLOW را داریم که بیانگر اجازه ی ورود ربات ها به این آدرس ها می باشد ، خط سوم هم DISSALLOW عکس این مورد می باشد ، یعنی عدم اجازه ی ورود به مسیر هایی که مشخص می کنید . اما برای بهینه سازی این فایل ها معمولا موتور های جستجو پیشنهاداتی را در اختیار کاربران خود قرار می دهند ، برای مثال وبمستر تولز به وبمستران پیشنهاد می کند مطالب بی کیفیت سایتشان را توسط ROBOTS.TXT مخفی نکنند ، باید به این نکته توجه داشته باشید نحوه ی صحیح تنظیم این فایل می تواند سرعت ایندکس نوشته های سایت شما و … را در موتور های جستجو بسیار افزایش دهد و بطور قطع می توان گفت این خودمان هستیم که برای موتور های جستجو تصمیم گیری میکنیم که چطور با وبسایت ما برخورد کنند . در ادامه ی این آموزش نیز ما به شما پیشنهاد می کنیم تا مسیر سایت مپ های سایت خود را نیز به انتهای فایل robots.txt اضافه کنید . حالا اگر شما برای یک سایت وردپرسی می خواهید یک فایل robots.txt استاندارد ایجاد کنید ، دستوراتی به مانند دستورات زیر را برای شما پیشنهاد میکنیم تا از آنها استفاده کنید .

کد PHP:
User-Agent: *

Allow: /?display=wide

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

Sitemap: http://www.example.com/deals-sitemap.xml 
بسیار خب به انتهای این مطلب آموزشی رسیدیم ، امروز یاد گرفتیم که چگونه می توان یک فایل بهینه robots.txt برای وبسایت وردپرسیمان بسازیم .