برای سیستم مدیریت محتوا از url_rewite استفاده کنید. سئو بحث مهمی هست.

از ابزارهای خود گوگل استفاده کنید حتما. که ببینید ایراد مسیریابی روبات گوگل چی هست. در ابزارها به صورت کامل توضیح داده شده که کرالینگ ارورها چی هستند.

مورد بعدی اینکه سایت مپتون رو از طریق سیستم مدیریت محتوا جنریت کنید و به ابزار سایت مپ گوگل آپلود کنید. این یک فایل xml هست. که به کرالر توضیح میده ساختار به چه شکل هست.

و در نهایت چک کنید که در htaccess یا robot.txt روبات ها بلاک نشده باشند.