محدود کردن سرور مجازی به یک سایت

سلام
من از سرور مجازی برای هاست دانلود استفاده میکنم ولی یه مشکل دارم !
من فقط با ضافه کردن آی پی سرور تو پنل هاست سایتم سرور رو به سایت وصل کردم و الان دارم لینک دانلود رو تو سایت میذارم.
مشکل من این هست چون فقط من از خود هاست برای این اتصال استفاده کردم پس ممکن هست سایت دیگری هم آی پی سرور من رو تو سایت خودش اضافه بکنه و به نوعی از سرور من استفاده بکنه.البته در مورد گذاشتن و یا مدیریت سرورنمیگم ها ! منظورم استفاده از پهنای باند هست اون هم به این شکل که به صورت لینک مستقیم اون سایت میشه.
می خواستم بدونم روشی هست که بشه کاری کرد فقط یه سایت بتونه از سرورمجازی استفاده بکنه ؟