خب چند تا نمونه از اون خطاها رو اینجا بذارید تا بشه بهتر نظر داد.
این طوری دقیقاً معلوم نمیشه که خطا واقعا از robots.txt ایه یا چیز دیگه!