خوب اول که VPS می خری باید چک کنی که ببینی Hosts و Resolve درست باشه. برای آپی های DNS که NS1 فقط ساختی باید یک ورودی در قسمت DNS هات داشته باشی که می تونی با راحتی با رفتن در قسمت Edit Dnd تنظیمش کنی یا این که در قسمت Basic cPanel/WHM Setup اونجا آدرس دی نی اس وارد کن و اول یه آی پی بهش بده و بعد هم Add an Entry کن.
در باره Bruteforce Detection هم فکر کنم 15 دقیقه بیشتر Block نمی کنه و از طریق iptables هم بلاکت می کنه.
خیلی راحت می تونی Flush کنی یا از deny لیستش ای پی رو حذف کنی.
یه کار دیگه هم بکن که یه Entry برای hostname بساز.