مشکل با robots.txt و بلاگ شدن تصاویر

با درود
من یه مشکلی با robots.txt دارم ، از گوگل وب مستر پیغام Url blocked by robots.txt میدهد . چطور میتوانم برطرفش کنم

محتوانی فایل ربات من به شکل زیر است
User-agent:
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: */trackback

Allow: */feed
Allow: /feed
Allow: /wp-content/themes/
Allow: /upload/
Allow: /upload/*/
Allow: /tag/
Allow: /tag/*
Allow: /wp-content/uploads/
Allow: /wp-content/uploads/*.gif
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.jpg


Sitemap: http://irsfe.in/sitemap_index.xml

مشکل خاصی نمیبینم تو فایل ربات.

ولی دستور بیهوده زیاد میبینم تو فایل رباتتون مثلا:

Allow: /wp-content/uploads/*.gif
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.jpg

3 دستور بالا اصلا یعنی چی؟ مگه تو اون مسیرها اصلا عکسی هست؟

بله عکسی هست .
ببینید فلدری که

Sitemap: irsfe.in/page-sitemap.xml
Value: http://irsfe.in/wp-content/uploads/2...isco-kerio.jpg
-
Oct 15, 2016
Sitemap: irsfe.in/post-sitemap.xml
Value: http://irsfe.in/wp-content/uploads/2...isco-kerio.jpg
-
Oct 15, 2016
Sitemap: irsfe.in/post-sitemap.xml
Value: http://irsfe.in/wp-content/uploads/2016/08/Prisma-1.jpg
-
Oct 15, 2016
به این شکل هست رو خطا میگیره !!!

عکس ها در مسیرهای زیر نیست:

Allow: /wp-content/uploads/*.gif
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.jpg

بلکه در این مسیرهاست:

Allow: /wp-content/uploads/*/*/*.gif
Allow: /wp-content/uploads/*/*/*.png
Allow: /wp-content/uploads/*/*/*.jpg

و نکته بعدی اینه که جلوی User-agent بعد از : باید * را قرار دهید تا تمامی ربات ها را هدف بگیرید.

ولی فی المجموع تمام دستوراتی که با Allow شروع میشه در فایل ربات شما بیهوده هست.

توصیه من به شما اینه که محتویات فایل ربات را به شکل زیر بازنویسی کنید:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-*
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /*/trackback/
Sitemap: http://irsfe.in/sitemap_index.xml

انشاالله مشکل حل میشه.

موفق باشید

اقا دست درد نکنه لطف کردی ، یه سوال داشتم اگه عکسها در مسیر ربات نباشن به شکی که شما نوشتید . عکسها در موتور جستجو قرار میگیرن ؟

درود

طبق قواعد نوشتن فایل ربات فقط در صورتی از دستور Allow استفاده می شود که ما در سطزهای بالا کل یه دایرکتوری را Disallow کرده باشیم و اکنون بخوایم در سطرهای پایین تر بخش هایی از آن دایرکتوری Disallow شده را برای ربات ها باز کنیم. به طور مثال در کدی که من به شما دادم اگر توجه کنید:

Disallow: /wp-includes/
Allow: /wp-includes/css/
Allow: /wp-includes/js/


بنده پوشه wp-includes را Disallow کردم ولی چون میخواستم ربات های به پوشه های css و js در پوشه wp-includes دسترسی داشته باشند در سطرهای پایین دو پوشه css و js را Allow کردم.

در مورد عکس ها هم بگم که عکس های شما الان در گوگل ایندکس شدند و مشکلی نیست صرفا کدی رو که براتون قرار دادم رو با محتویات فایل رباتتون حایگزین کنید. قاعدتا بعد این کار نباید اروری برای فایل ربات دیگه باشه.

موفق باشید