bah.man
November 16th, 2014, 11:18
تقریبا میشه گفت امروزه هر وبمستر با فایل روبات تکست یا همون robots.txt آشنایی داره یا حداقل نامش رو شنیده است. فایل روبات تکست بخش مهمی در سئو (http://gemhost.in)و بهینه سازی سایت ها ایفا می کند.این فایل به عنوان راهنما برای روبات ها و موتور های جستجو عمل می کند.
http://www.seoone.ir/wp-content/uploads/2013/09/shutterstock_52635862_01-2-300x168.jpg
(http://www.seoone.ir/wp-content/uploads/2013/09/shutterstock_52635862_01-2.jpg)فایل روبات تکست چیست ؟
فایل روبات تکست چیست ؟
فایل روبات تکست که در روت سایت شما قرار می گیرید فقط برای موتور های جستجو قرار داده شده است. کار اصلی فایل روبات تکست این است که شما موتور های جستجو را از ورود به بعضی از بخش های سایت خود منع کنید و آنها از بررسی و کاویدن آن بخش پرهیزمی کنند آما باید توجه فایل روبات تکست robots.txt هیچ گونه ضمانتی برای محرومیت تمام روبات های موتورهای جستجو نمی دهد ولی بیشتر موتورهای جستجو بزرگ همچن گوگل ، بینگ و … از این فایل پیروی می کنند.
چرا ما باید از فایل روبات تکست استفاده کنیم ؟
پاسخ به این سوال بسیار ساده است شما در سایت خود بخش های بسیاری دارید که مایل نیستید کسی از آن آگاه شود ، با ورود موتور های جستجو به آن و ایندکس شدن آن فایل ها دیگران از آن آگاه خواهند شد و این از لحاظ امنیتی صحیح نمی باشد مانند کد های اصلی سایت شما … همچین بعد از مدتی ربات های بسیاری به تمامی قسمت های سایت شما وارد خواهد شود و آن را کاوش خواهند کرد که این باعث افزایش فشار بر روی سرور سایت شما خواهد شد. پس بهتر است ربات های موتورهای جستجو به بعضی از قسمت ها دسترسی نداشته باشند.
ساخت فایل روبات تکست
برای ساخت فایل روبات تکست کافی است که در ویرایشگر متنی همچون notepad ویندوز فایل متنی ساده ای ایجاد کنید با نام robots و پسوند txt و سپس در روت سایت خود آن را آپلود کنید . مثال آدرس فایل روبات تکست جم هاستینگ :
http://www.gemhost.in/robots.txt
در داخل فایل روبات تکست یک سری دستوارت قرار داده شده است که در آن می توانید شما موتور های جستجو را از کاوش یک فایل یا پوشه خاص به صورت کل یا موتور جستجو خاصی منع کنید. به مثال های زیر توجه کنید : این دستور کاوش همه روبات موتورهای جستجو را در سایت شما منع می کند
User-agent: *
Disallow: /
این دستورکاوش همه روبات موتور های جستجو را در یک پوشه خاص شما منع می کند
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
این دستور کاوش همه روبات موتور های جستجو را در یک فایل خاص شما منع می کند
User-agent: *
Disallow: /directory/file.html
Disallow: /wp-content/themes/seoone/footer.php
برای منبع کردن از کاوش یک موتور جستجو کاففی است که نام روبات موتور جستجو را به شکل زیر به کد های بالا اضافه کنیم
User-agent: Googlebot Disallow: /
Disallow: /
لیست روبات های جستجو معروف (http://www.robotstxt.org/db.html)
تذکر : به یاد داشته باشید که / در آخر پوشه ها (دایرکتوری) آورده شود در غیر این صورت روبات ها آن را به عنوان فایل خواهند شناخت و فایل ها و پوشه های داخل آن را کاوش خواهند کرد.
اضافه کردن نقشه سایت (sitemap.xml) به فایل روبات تکست
در فایل روبات تکست شما می توانید نقشه سایت خود را به روبات موتور های جستجو معرفی کنید تا ایندکس شدن و شناخت بهتر سایت شما برای آن ها راحتر باشد . برای اضافه کردن نقشه سایت این کد را اضافه کنید :
Sitemap: http://www.seoone.ir/sitemap.xml
Sitemap: http://www.seoone.ir/sitemap.xml.gz
چه مواردی نباید در فایل روبات تکست آورده شود ؟
به یاد داشته باشید هرگز فایل و پوشه های محرمانه خود را در فایل روبات تکست نیاورید. بعضی از مدیران وب برای این که موتور های جستجو به فایل های محرمانه و شخصی شان دسترسی نداشته باشید این فایل ها را در فایل روبات تکست میآوردند اما باید به یاد داشته باشید که تنها موتور های جستجو نیستند که به فایل روبات تکست سایت شما دسترسی دارند ممکن است افراد از این فایل های محرمانه شما سوء استفاده کنند.
میتوان از این فایل استفاده نکرد ؟
بعضی از افراد شاید نخواهند هیچ فایل و پوشه ای از سایت خود را برای روبات ها منع کنند سوال پیش می آید که آیا نیاز پس به ایجاد این فایل است ؟ همان طور که در مقاله ای “ معیارهای ارزیابی سئو سایت چیست ؟ (http://www.webhostingtalk.ir/f249/128826/)” ذکزر شد یکی از ملاک های اررزیابی سئو سایت شما وجود فایل روبات تکست است پس اگر حتی نمی خواید هیچ ر,باتی را محدود کنید باز هم فایل روبات تکست را ایجاد و فقط از کد زیر در فایل روبات تکست خود استفاده کنید که به معنای این است که هیچ روباتی در سایت شما محدود نمی باشد.
User-agent: *
Disallow:
منبع اصلی استفاده شده در مقاله فایل روبات تکست ،مطلبی با عنوان Robots exclusion standard (http://en.wikipedia.org/wiki/Robots_exclusion_standard)در سایت ویکی پدیا بوده است.
http://www.seoone.ir/wp-content/uploads/2013/09/shutterstock_52635862_01-2-300x168.jpg
(http://www.seoone.ir/wp-content/uploads/2013/09/shutterstock_52635862_01-2.jpg)فایل روبات تکست چیست ؟
فایل روبات تکست چیست ؟
فایل روبات تکست که در روت سایت شما قرار می گیرید فقط برای موتور های جستجو قرار داده شده است. کار اصلی فایل روبات تکست این است که شما موتور های جستجو را از ورود به بعضی از بخش های سایت خود منع کنید و آنها از بررسی و کاویدن آن بخش پرهیزمی کنند آما باید توجه فایل روبات تکست robots.txt هیچ گونه ضمانتی برای محرومیت تمام روبات های موتورهای جستجو نمی دهد ولی بیشتر موتورهای جستجو بزرگ همچن گوگل ، بینگ و … از این فایل پیروی می کنند.
چرا ما باید از فایل روبات تکست استفاده کنیم ؟
پاسخ به این سوال بسیار ساده است شما در سایت خود بخش های بسیاری دارید که مایل نیستید کسی از آن آگاه شود ، با ورود موتور های جستجو به آن و ایندکس شدن آن فایل ها دیگران از آن آگاه خواهند شد و این از لحاظ امنیتی صحیح نمی باشد مانند کد های اصلی سایت شما … همچین بعد از مدتی ربات های بسیاری به تمامی قسمت های سایت شما وارد خواهد شود و آن را کاوش خواهند کرد که این باعث افزایش فشار بر روی سرور سایت شما خواهد شد. پس بهتر است ربات های موتورهای جستجو به بعضی از قسمت ها دسترسی نداشته باشند.
ساخت فایل روبات تکست
برای ساخت فایل روبات تکست کافی است که در ویرایشگر متنی همچون notepad ویندوز فایل متنی ساده ای ایجاد کنید با نام robots و پسوند txt و سپس در روت سایت خود آن را آپلود کنید . مثال آدرس فایل روبات تکست جم هاستینگ :
http://www.gemhost.in/robots.txt
در داخل فایل روبات تکست یک سری دستوارت قرار داده شده است که در آن می توانید شما موتور های جستجو را از کاوش یک فایل یا پوشه خاص به صورت کل یا موتور جستجو خاصی منع کنید. به مثال های زیر توجه کنید : این دستور کاوش همه روبات موتورهای جستجو را در سایت شما منع می کند
User-agent: *
Disallow: /
این دستورکاوش همه روبات موتور های جستجو را در یک پوشه خاص شما منع می کند
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
این دستور کاوش همه روبات موتور های جستجو را در یک فایل خاص شما منع می کند
User-agent: *
Disallow: /directory/file.html
Disallow: /wp-content/themes/seoone/footer.php
برای منبع کردن از کاوش یک موتور جستجو کاففی است که نام روبات موتور جستجو را به شکل زیر به کد های بالا اضافه کنیم
User-agent: Googlebot Disallow: /
Disallow: /
لیست روبات های جستجو معروف (http://www.robotstxt.org/db.html)
تذکر : به یاد داشته باشید که / در آخر پوشه ها (دایرکتوری) آورده شود در غیر این صورت روبات ها آن را به عنوان فایل خواهند شناخت و فایل ها و پوشه های داخل آن را کاوش خواهند کرد.
اضافه کردن نقشه سایت (sitemap.xml) به فایل روبات تکست
در فایل روبات تکست شما می توانید نقشه سایت خود را به روبات موتور های جستجو معرفی کنید تا ایندکس شدن و شناخت بهتر سایت شما برای آن ها راحتر باشد . برای اضافه کردن نقشه سایت این کد را اضافه کنید :
Sitemap: http://www.seoone.ir/sitemap.xml
Sitemap: http://www.seoone.ir/sitemap.xml.gz
چه مواردی نباید در فایل روبات تکست آورده شود ؟
به یاد داشته باشید هرگز فایل و پوشه های محرمانه خود را در فایل روبات تکست نیاورید. بعضی از مدیران وب برای این که موتور های جستجو به فایل های محرمانه و شخصی شان دسترسی نداشته باشید این فایل ها را در فایل روبات تکست میآوردند اما باید به یاد داشته باشید که تنها موتور های جستجو نیستند که به فایل روبات تکست سایت شما دسترسی دارند ممکن است افراد از این فایل های محرمانه شما سوء استفاده کنند.
میتوان از این فایل استفاده نکرد ؟
بعضی از افراد شاید نخواهند هیچ فایل و پوشه ای از سایت خود را برای روبات ها منع کنند سوال پیش می آید که آیا نیاز پس به ایجاد این فایل است ؟ همان طور که در مقاله ای “ معیارهای ارزیابی سئو سایت چیست ؟ (http://www.webhostingtalk.ir/f249/128826/)” ذکزر شد یکی از ملاک های اررزیابی سئو سایت شما وجود فایل روبات تکست است پس اگر حتی نمی خواید هیچ ر,باتی را محدود کنید باز هم فایل روبات تکست را ایجاد و فقط از کد زیر در فایل روبات تکست خود استفاده کنید که به معنای این است که هیچ روباتی در سایت شما محدود نمی باشد.
User-agent: *
Disallow:
منبع اصلی استفاده شده در مقاله فایل روبات تکست ،مطلبی با عنوان Robots exclusion standard (http://en.wikipedia.org/wiki/Robots_exclusion_standard)در سایت ویکی پدیا بوده است.