مشکل سرعت کم دانلود از سرور

با سلام دوستای عزیز

بنده روی یه وی پی اس با رم 2 گیگ و سی پی یو 2 هسته ای که روی 5GHz لیمیت شده سیستم عامل centos 6 64 biti نصب کردم و nginx رو هم برای دانلود فایل ازش روش نصب کردم .

وقتی میزنم دانلود بشه سرعت خیلی کمه و خیلیم نوسان داره این در حالی هم هستش که تعداد کانکشن های متصل هم بیشتر از 40 تا نمیشه ولی سرعت خیلی نوسان داره .

با پورت 22 یا همون sftp هم با یه سرور دیگه تست می کنم سرعت اونم خیلی نوسان داره بین 4 مگ تا 12 مگ متغییر هست.

به نظرتون مشکل از کانفیگ هست یا سرور ؟؟