به احتمال زیاد راه ساده تر و کم هزینه تری هست ولی چیزی که به ذهنم میرسه اینه.
برنامه ای نوشته بشه که آدرس هایی رو تولید و یکی یکی چک کنه، برای مثال:
site.com/a
site.com/b
site.com/c
...
site.com/z
site.com/0
site.com/1
...
site.com/9
site.com/aa
site.com/ab
site.com/ac
...
البته این راه به نظرم زمانبر و هزینه بر خواهد بود، مگه اینکه فولدر ها مثل همینی که فرستادید کوتاه باشن.