داداش عالیه.. فقط یک چیزی. اجازه هست وسط های آموزش سوال هم بپرسیم؟ خیلی وقته میخوام راجب robot.txt بپرسم..تو گوگل که به صورت پیشفرض سه خط بیشتر نیست.تو مال نیوک آدرس چند پوشه هست با کلمه
Disallow به کار هر مسیر پایان میده.. شما تنظیم خاصی رو پیشنهاد میدید برای روبوت؟