Disallow کردن در فایل robots

[azad6]

سلام دوستان.
ما اگر بخواییم در فایل Robots.txt خودمون یه سری آدرس هایی که دارای پسوند خاص هستند رو Disallow کنیم باید چه کنیم؟
توی ویمستر یه سری ارور 404 داریم که پسوند همون jp هست.

یعنی این ادرس هایی که باعث ارور 404 شدن آخر آدرس همشون ( jp. ) هست.
میشه از دستور Disallow استفاده کرد برای این آدرس ها؟که یه دستور Disallow بنویسیم تمام ادرس هایی که به jp. ختم میشن Disallow بشن.
ممنون دوستان

[AtrafNet]

سلام
این دستور در فایل robots.txt باید کاری که شما می خواین رو به موتور های جستجو بفهمونه:



User-agent: *
Disallow: /*.jp

[azad6]

سلام
این دستور در فایل robots.txt باید کاری که شما می خواین رو به موتور های جستجو بفهمونه:



User-agent: *
Disallow: /*.jp


ممنوند آخرف jp نباید $ بذاریم که بشه :


User-agent: *
Disallow: /*.jp$
[/QUOTE]

تو چنند تا سایت این کاراکتر رو دیدم که گذاشته بودن

[AtrafNet]

ممنوند آخرف jp نباید $ بذاریم که بشه :


User-agent: *
Disallow: /*.jp$


تو چنند تا سایت این کاراکتر رو دیدم که گذاشته بودن[/QUOTE]

می تونید بذارید می تونید نذارید.
تفاوتش جوری که من فهمیدم در اینه که اگه $ آخرش بذارید Query String ها هم حساب میکنه اما اگه نذارید حساب نمیکنه.

مثلاً فکر کنید یکی از فایل های شما آدرسش اینه:

domain.com/post1/test.jp

اگر کاراکتر $ رو نذارید بازم فایل بالا ایندکس نمیشه ولی اگه در سایت به فایل بالا همراه با Query String به شکل مثلاً این:

domain.com/post1/test.jp?ver=123

لینک داده باشید این ایندکس میشه و اینجا باید کاراکتر $ آخرش باشه.

البته من با یه سرچ از طریق دو لینک زیر این اطلاعات رو حالا درست یا غلط پیدا کردم:

http://stackoverflow.com/questions/30358956/how-to-allow-js-and-css-files-and-images-in-the-robots-txt-if-i-have-disallowed
http://stackoverflow.com/questions/29793137/robots-txt-how-to-disallow-jpg-php

[azad6]

یعنی کلا اون کارکتر رو بذاریم فکر کنم بهتره.
هر چه در رابطه با jp باشه Disallow میکنه.

[azad6]

تو چنند تا سایت این کاراکتر رو دیدم که گذاشته بودن

می تونید بذارید می تونید نذارید.
تفاوتش جوری که من فهمیدم در اینه که اگه $ آخرش بذارید Query String ها هم حساب میکنه اما اگه نذارید حساب نمیکنه.

مثلاً فکر کنید یکی از فایل های شما آدرسش اینه:

domain.com/post1/test.jp

اگر کاراکتر $ رو نذارید بازم فایل بالا ایندکس نمیشه ولی اگه در سایت به فایل بالا همراه با Query String به شکل مثلاً این:

domain.com/post1/test.jp?ver=123

لینک داده باشید این ایندکس میشه و اینجا باید کاراکتر $ آخرش باشه.

البته من با یه سرچ از طریق دو لینک زیر این اطلاعات رو حالا درست یا غلط پیدا کردم:

http://stackoverflow.com/questions/30358956/how-to-allow-js-and-css-files-and-images-in-the-robots-txt-if-i-have-disallowed
http://stackoverflow.com/questions/29793137/robots-txt-how-to-disallow-jpg-php[/QUOTE]

- - - Updated - - -

دوست عزیز اگر مثلا ما یه سری ادرس داشته باشیم که بخواییم اونارو Disallow کنیم و یه فولدری توی اینها مشترک باشه باید چه کرد.
مثلا ادرس ها این جور باشن :
mysite.com/besttoie/allovi/kjgjkgjkgkgg
mysite.com/yatori/allovi/jehegdgkhjh

میبینین اون فولدر allovi توی این ادرس ها مشترک هست.ولی خب یه فولدر دیگه قبلش هست که هم نام نیستن که از هون فولدر اول disallow کنم فولدر دومشون مشترک هست.

میشه اینارو با یه کد disallow کرد؟

[AtrafNet]

می تونید بذارید می تونید نذارید.
تفاوتش جوری که من فهمیدم در اینه که اگه $ آخرش بذارید Query String ها هم حساب میکنه اما اگه نذارید حساب نمیکنه.

مثلاً فکر کنید یکی از فایل های شما آدرسش اینه:

domain.com/post1/test.jp

اگر کاراکتر $ رو نذارید بازم فایل بالا ایندکس نمیشه ولی اگه در سایت به فایل بالا همراه با Query String به شکل مثلاً این:

domain.com/post1/test.jp?ver=123

لینک داده باشید این ایندکس میشه و اینجا باید کاراکتر $ آخرش باشه.

البته من با یه سرچ از طریق دو لینک زیر این اطلاعات رو حالا درست یا غلط پیدا کردم:

http://stackoverflow.com/questions/30358956/how-to-allow-js-and-css-files-and-images-in-the-robots-txt-if-i-have-disallowed
http://stackoverflow.com/questions/29793137/robots-txt-how-to-disallow-jpg-php

- - - Updated - - -

دوست عزیز اگر مثلا ما یه سری ادرس داشته باشیم که بخواییم اونارو Disallow کنیم و یه فولدری توی اینها مشترک باشه باید چه کرد.
مثلا ادرس ها این جور باشن :
mysite.com/besttoie/allovi/kjgjkgjkgkgg
mysite.com/yatori/allovi/jehegdgkhjh

میبینین اون فولدر allovi توی این ادرس ها مشترک هست.ولی خب یه فولدر دیگه قبلش هست که هم نام نیستن که از هون فولدر اول disallow کنم فولدر دومشون مشترک هست.

میشه اینارو با یه کد disallow کرد؟

ببینید در پنل گوگل وب مستر یه امکان چک کردن robots.txt لحظه ای هستش که فکر کنم همون جا هم میشه ویرایش و دوباره چک کرد.
برای این میگم چون اطلاع دقیق از Syntax مورد قبولش ندارم گفتم تست کنید مثلاً شاید وقتی میشه از کاراکتر * به عنوان نادیده گرفتن اسم و فقط فهموندن پسوند فایل استفاده کرد شاید بشه به عنوان اون پوشه با اسم متغیر شما هم استفاده کرد.
مثلاً اینطوری:



mysite.com/*/allovi/*


ولی خب چون مطمئن نیستم میگم در پنل وب مستر چک کنید.

[hegza]

Some search engines, like Google, allow for more complicated regular expressions. Be aware that not all search engines might understand this logic. The most useful feature this adds is the $, which indicates the end of a URL. In the following example you can see what this does:


Disallow: /*.php$ This means /index.php could not be indexed, but /index.php?p=1 could be indexed. Of course, this is only useful in very specific circumstances and also pretty dangerous: it’s easy to unblock things you didn’t actually want to unblock.