با توجه به اینکه منظور شما یک ربات خاص است، باید به صورت خاص برای آن ربات قانون نوشته شود
ولی لازمه‌اش داشتن اطلاعات کافی از ربات احتمالی مورد نظر است

به صورت کلی با اضافه کردن قطعه کدهایی به فایل htaccess می‌شه ربات‌هایی که به صورت عمومی با مشخصاتی شناخته شده به سایت شما مراجعه می‌کنند رو مسدود کرد
مثلا ربات‌هایی که با پایتون نوشته شدن

ولی این نکته رو هم نباید فراموش کنید که یک برنامه‌نویس ربات هر شبیه‌سازی که لازم باشه تا مثل یک انسان به نظر برسه رو می‌تونه انجام بده
به جز captcha که رد شدن ازش نیازمند هوش انسانی هست