نقل قول نوشته اصلی توسط azad6 نمایش پست ها
می تونید بذارید می تونید نذارید.
تفاوتش جوری که من فهمیدم در اینه که اگه $ آخرش بذارید Query String ها هم حساب میکنه اما اگه نذارید حساب نمیکنه.

مثلاً فکر کنید یکی از فایل های شما آدرسش اینه:

domain.com/post1/test.jp

اگر کاراکتر $ رو نذارید بازم فایل بالا ایندکس نمیشه ولی اگه در سایت به فایل بالا همراه با Query String به شکل مثلاً این:

domain.com/post1/test.jp?ver=123

لینک داده باشید این ایندکس میشه و اینجا باید کاراکتر $ آخرش باشه.

البته من با یه سرچ از طریق دو لینک زیر این اطلاعات رو حالا درست یا غلط پیدا کردم:

http://stackoverflow.com/questions/3...ave-disallowed
http://stackoverflow.com/questions/2...sallow-jpg-php

- - - Updated - - -

دوست عزیز اگر مثلا ما یه سری ادرس داشته باشیم که بخواییم اونارو Disallow کنیم و یه فولدری توی اینها مشترک باشه باید چه کرد.
مثلا ادرس ها این جور باشن :
mysite.com/besttoie/allovi/kjgjkgjkgkgg
mysite.com/yatori/allovi/jehegdgkhjh

میبینین اون فولدر allovi توی این ادرس ها مشترک هست.ولی خب یه فولدر دیگه قبلش هست که هم نام نیستن که از هون فولدر اول disallow کنم فولدر دومشون مشترک هست.

میشه اینارو با یه کد disallow کرد؟
ببینید در پنل گوگل وب مستر یه امکان چک کردن robots.txt لحظه ای هستش که فکر کنم همون جا هم میشه ویرایش و دوباره چک کرد.
برای این میگم چون اطلاع دقیق از Syntax مورد قبولش ندارم گفتم تست کنید مثلاً شاید وقتی میشه از کاراکتر * به عنوان نادیده گرفتن اسم و فقط فهموندن پسوند فایل استفاده کرد شاید بشه به عنوان اون پوشه با اسم متغیر شما هم استفاده کرد.
مثلاً اینطوری:

کد:
mysite.com/*/allovi/*
ولی خب چون مطمئن نیستم میگم در پنل وب مستر چک کنید.