webhostyab
January 20th, 2021, 10:31
Robots.txt یک فایل متنی است که مدیران وب یا وب مستران برای راهنمایی ربات‌های وب (به طور معمول ربات‌های موتور جستجو) ایجاد می‌کنند. فایل robots.txt بخشی از پروتکل خروج ربات‌ها (REP) است، این پروتکل شامل گروهی از استانداردهای وب است که نحوه خزیدن وب ، دسترسی و فهرست بندی محتوای ربات‌ها را تنظیم می‌کنند و این مطالب را به کاربران ارائه می‌دهند. REP همچنین شامل دستورالعمل‌هایی مانند ربات‌های متا، و همچنین دستورالعمل‌های صفحه، زیرشاخه- یا سایت در مورد چگونگی رفتار موتورهای جستجو با لینک‌ها است (مانند "follow" یا "nofollow").