سلام،
باید فعالیت سایت شما به طور 100% بررسی بشه اما اگر صرفا آهنگ و این چیزاست مشکلی نیست.
خیر مشکلی برای سئو ندارند بلکه به دلیل افزایش سرعت حتی مفید هم هستند.
راه زیاده، با کسی که سرور رو براتون کانفیگ کردن صحبت کنید و برای خود سایت و بهینه سازی قالب هم حتما با یک شخص مجرب صحبت کنید.
اگر هر کدوم از دو طرف یعنی سایت یا سرور مشکل داشته باشند، مشکلات سرعت رو خواهید داشت.
با احترام.