مشکل در گوگل وبمستر robot tester

[alirad]

سلام
دوستان من برای robot.txt سایتم موارد زیر رو تعیین کردم و بعدش سایت مپ رو به صورت https://example.com/sitemap.xml توی وبمستر ثبت کردم اما توی قسمت sitemap وبمستر ذر بخش warnings نوشته که "Sitemap contains urls which are blocked by robots.txt" میخواستم بدونم آیا فایل robot.txt من ایراد داره؟ آیا فایل روبوت آدرسی رو بلاک کرده؟

User-Agent: *
Disallow: /wp-content/plugins/
Disallow: /readme.html


Sitemap: https://example.com/post-sitemap.xml
Sitemap: https://example.com/page-sitemap.xml
Sitemap: https://example.com/product-sitemap.xml

[alirad]

دوستان کسی نظری نداره؟

[hamid1101]

سلام

آدرس سایتی که این مشکل را داره بفرمایید تا بشه تست کرد.

از لحاظ ساختار این robots.txt که نوشته اید مشکلی نداره
البته اگر حجم sitemap های شما بیشتر از 10 مگابایت باشه و یا بیشتر از 50000 رکورد داخلش باشه٫ بهتره به جای اینکه همه اونها را داخل robots.txt بنویسید٫ یک فایل فهرست برای sitemap با پسوند xml درست کنید و لینک فایل مربوطه را بگذارید داخل robots.txt. فرمت فایل فهرست sitemap میتونه به شکل زیر باشه:

1 - فایل با عنوان مثلا sitemap_index.xml بسازید
2 - محتوی این فایل میتونه شبیه به زیر باشه:




<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://www.example.com/sitemap1.xml</loc>
<lastmod>2012-10-01T18:23:17+00:00</lastmod>
</sitemap>
<sitemap>
<loc>http://www.example.com/sitemap2.xml</loc>
<lastmod>2012-01-01</lastmod>
</sitemap>
</sitemapindex>





البته توی وردپرس پلاگین هایی مانند yoast این کار را خودشون انجام میدهند.

[alirad]

سلام ممنون از شما
سایت وردپرسی هست و تازه ایجاد شده و 5 روز هست توی وبمستر ثبت شده یه پست بلاگ داره و 10 تا برگه و یه محصول
توی قسمت سایت مپ وبمستر خود وبمستر سایت مپ رو 3 قسمت کرده(page-sitemap.xml)(post-sitemap.xml)(product-sitemap.xml) برای 10 تا برگه هیچ warning نداده ولی برای سایت مپ محصول و پست نوشته "Sitemap contains urls which are blocked by robots.txt" و برای example آدرس پست بلاگ و آدرس محصول و عکسهای داخلشون رو قرار داده

[hamid1101]

از توی وب مستر به قسمت Google Index و بعد به قسمت Blocked Resources بروید و اونجا نشون میده که کدام آدرسهای سایت شما بلوک شده و از طریق Crawl قابل دسترس نیست. بعد میتونید اون آدرس را از طریق robot tester تست کنید و ببینید که روی کدام خط این بلوک شدن تعریف شده.

حدسی که من میزنم این هست که :
۱ - ممکنه یک robots.txt دیگر در فولدرهای مرتبط با آدرس های بلوک شده شما وجود داشته باشه که باید اون را هم بررسی کنید
2 - اگر فقط robots.txt با فرمتی که بالا نوشته اید وجود داره٬ به احتمال زیاد مشکل از خطی هست که نوشته اید :
Disallow: /wp-content/plugins/

معمولا توی robots.txt های وردپرس دسترسی به wp-admin را بر میدارند و نباید دسترسی به فولدر plugin ها و یا در کل فولدر wp-content و زیر مجموعه های آن را محدود کرد برای اینکه بسیاری از فایل های تصویر٫ js و css که مربوط به پلاگین ها و یا تم ها میشه در این فولدر ها هست و دسترسی به اونها محدود میشه و در نتیجه پیغام های خطای این چنینی ظاهر میشه

[alirad]

سلام ممنون از شما توی قسمت Blocked Resources نگاه کردم و دیدم همه آدرس های سایتم بلاک هست و واسه همه آدرسها Resource این آدرس نوشته شده
wp-content/themes/zedWooTheme/behaviors/manual-trigger.js این آدرس رو توی robot tester نوشتم و Allowed نوشت اگه Allowed هست چرا بلاک شده؟ .لطف میکنید بفرمایید مشکل از کدوم خط فایل robot.txt هست؟بینهایت ممنون

[alirad]

دوستان کسی میتونه راهنمایی کنه؟

[hamid1101]

از توی همون Blocked Resource:

1 - روی لینک همون فایلی که بلوکه هست کلیک کنید تا لیست صفحاتی که مشکل دارند را به شما نشان بده
2 - روی یکی از صفحات کلیک کنید تا یک پنجره باز بشه که سه تا گزینه داره. اولین گزینه که نوشته Fetch as Google را کلیک کنید
3 - توی صفحه ای که نشون داده میشه٫ روی گزینه Fetch که یک دکمه قرمز رنگ هست کلیک کنید. با این کار آدرس مربوطه به لیست زیر همین صفحه وارد میشه. اگر که در قسمت Status نوشت Complete یعنی صفحه مربوطه مشکلی نداره ولی اگر مثلا نوشت Partial این صفحه مشکل داره و روش که کلیک کنید میتونید ببینید که دقیقا مشکل از کجاست.

این کار را برای همه صفحات مشکل دار تکرار کنید و مشکلات را حل کنید تا Complete بنویسه. اگر از اول بدون مشکل بود و یا مشکلات را حل کردید٫ دیگه نیازی به نگرانی نیست و فقط باید مدتی به گوگل زمان بدهید تا سایت شما را دوباره از طریق Crawl جستجو کنه تا پیغام ها برطرف بشه.

البته برای سرعت دادن میتونید Sitemap های خودتون را یکبار از توی وب مستر resubmit بزنید

[alirad]

آقای حمید ممنون از شما با راهنمایی شما ارورها درست شدن فقط 2 تا سوال دیگه دارم
1-توی index status کل ایندکس هارو 1 نشون میده ولی توی sitemaps کل ایندکس ها رو 14 نشون میده دلیل تفاوت در تعداد ایندکسها چیه؟
2-در بخش fetch as google دوتا آپشن desktop و mobile وجود داره باید برای هر 2 تا آپشن هم fetch کرد؟

تشکر

[hamid1101]

سلام

در مورد سوال اول ایندکس هایی که توی sitemaps نشون میده مربوط به محتویات sitemap شما هست و برای اینکه این ایندکس ها توسط گوگل تایید بشه مقداری زمان میبره و وقتی که تایید و در اطلاعات گوگل ثبت بشه توی قسمت Index Status تعداد بیشتر میشه... یکم باید حوصله به خرج بدهید. البته همیشه میتونید به صورت دستی هم از طریق قسمت Fetch as Google صفحات خوتون را برای ایندکس شدن درخواست بدهید که مقداری در سرعت کار تاثیر میگذاره.

در مورد سوال دوم آپشن های desktop و mobile برای این هست که شما بتوانید صفحات خودتون را از طریق گوگل هم برای مرورگرهای دسکتاپ و هم مرورگرهای موبایل تست کنید و ببینید که آیا از نظر گوگل این صفحات برای هر دو مدل بدون مشکل رندر میشه یا خیر. با توجه به اینکه گوگل توی الگوریتمهای جدیدش اولویت را برای موبایل گذاشته٫ بهتره شما هم اولویت بدون مشکل بودن صفحاتتون برای موبایلها باشه