Robot.txt file چیست؟

Robots.txt یک فایل متنی است که مدیران وب یا وب مستران برای راهنمایی ربات‌های وب (به طور معمول ربات‌های موتور جستجو) ایجاد می‎کنند. فایل robots.txt بخشی از پروتکل خروج ربات‌ها (REP) است، این پروتکل شامل گروهی از استانداردهای وب است که نحوه خزیدن وب ، دسترسی و فهرست بندی محتوای ربات‌ها را تنظیم می‌کنند و این مطالب را به کاربران ارائه می‌دهند. REP همچنین شامل دستورالعمل‌هایی مانند ربات‌های متا، و همچنین دستورالعمل‌های صفحه، زیرشاخه- یا سایت در مورد چگونگی رفتار موتورهای جستجو با لینک‌ها است (مانند "follow" یا "nofollow").