ایندکس گذاری تمامی صفحات سایت در موتورهای جستجوگر

آیا نمی توانید تمامی صفحات خود را در موتورهای جستجوگر پیدا کنید؟ چگونه می توانیم تمامی صفحات خود را به موتورهای جستجوگر بشناسانیم؟ در این مفاله در صدد این هستیم با بیان نکاتی، کمکی در جهت بهبود سئو سایت شما کرده باشیم.




چگونه متوجه شویم کدام صفحات از وب سایت ایندکس گذاری شده است؟
چگونه متوجه می شوید که کدام صفحه از وب سایت ایندکس گذاری شده و کدام یک نشده است؟ یک روش حل این مسئله استفاده کردن از "site:domain-name"برای سرچ کردن وب سایت است. در این روش موتورهای جستجوگر google , yahoo , bing را مورد بررسی قرار می دهیم. برای مثال اگر دامین شماexample.com باشد عبارت "site:example.com" را در موتور جستجو تایپ کنید. در لیست نتایج جستجو، شما می توانید دریابید که کدام صفحات سایت را موتور جستجو میشناسد.
مراحل ایندکس گذاری کردن تمامی صفحات در موتور جستجو
1- چک کردن این مسئله که آیا موتور جستجو از صفحه وب سایت شما بلاک شده است یا خیر!. اولین گام این است که شما فایل robots.txt را بررسی کنید که قواعد robots.txt در آن لحاظ شده باشد. بسیاری از وب سایت ها، در برخی از صفحات خود موتور جستجوگر را بلاک نموده اند به خاطر اشتباهاتی که در فایل robots.txt آنها وجود داشته است. مورد دیگر اطمینان حاصل کردن بر این نکته که صفحه شما متاتگ ( meta tag) نداشته باشد که در اینصورت مانع ایندکس گذاری ربات های موتور جستجوگر می شود و بهینه سازی سایت پایین می آید.


2- ایجاد فایل با استفاده از پروتکل Sitemap
برجسته ترین موتورهای جستجوگر مانند Google,Bing,Yahoo و Ask همگی فایل Sitemap را پشتیبانی می کنند. منظور از Sitemap نقشه سایت " Site Map" که در بسیاری از وب سایت ها می بینید نیست. فایل sitemap که پروتکل sitemap را پشتیبانی می کند طراحی سایت آن ها به منظور موتورهای جستجوگر انجام شده و فرمت خاصی دارد که برای اطلاعات بیشتر می توانید به وب سایت sitemaps.org مراجعه کنید.


3- تغییر در فایل Robots.txt به لحاظ Sitemaps
در نتیجه ایجاد پروتکل sitemap فرمت فایل robots.txt برای موتورهای جستجوگر قابل پذیرش خواهد بود. زمانی که شما ایجاد فایل sitemapرا تمام و آن را در وب سایت خود آپلود کرده اید می بایست در فایل robots.txt این تغییر را لحاظ کنید:
Sitemap: http://www.example.com/name-of-sitemap-file.xml



منبع: ایندکس گذاری تمامی صفحات سایت در موتورهای جستجوگر