سلام
به طور دقیق منظور شما از سرور چیه ؟ سرور اختصاصی / سرور مجازی
مقدار منابع ... Cpu/ram و سیستم عامل ؟
میزان بازدید روزانه به طور معمول ؟
اسکریپت یا cms های هم که استفاده می کنید ؟
اگر مشخصات سرور در حد قابل قبول به بالا باشه با بهینه سازی می شه فشار کاهش داد ( البته به اسکریپت و تنظیمات سرور شما بر می گرده که قبلا انجام شده یا نه ) اگر نه مشخصات سرور شما پایین باشه ( نسبت به میزان بازدید ) کار خاصی نمیشه کرد و احتمالا باید منابع افزایش بدید
به نظر من اگر رفتید سمت سرورمجازی / اختصاصی تا جای که امکان داره دیگه سمت هاست و هاست دانلود و ... نرید.