سلام
شما باید اول در پنل دامنه آی پی سرور رو ست کنید.
بعدش در ویندوز سرور DNS نصب کنید و ns هایی که برای دامنه ست کردید رو توی بخش DNS هم اضافه کنید.
بعدش در آخر تو IIS در بخش Binding آدرس دامنه رو روی یکی از سایت های IIS بذارید.

برای DNS اینجا http://wiki.terahost.ir/?p=173 در ویندوز سرور 2003 رو آموزش داده که با کمی تغییر در 2012 هم میشه انجامش داد.