معمولا توی sitemap هم نوشته میشه
میتونید با روش اسکرپینگ هم یه ربات بزارید و دسته بندی همه مطالب رو در بیاره سپس ریشه یابی کنه و موارد تکراری رو حذف کنه