vmware workstation از full virtualization واسه مجازی سازی استفاده می کنه و حتی شما می تونید intel-VT رو هم برای VM مجازی سازی کنید. پس می تونید ESXi رو بدون مشکل خاصی نصب و استفاده کنید.
اینکه نمی تونید از openfiler استفاده کنید به احتمال زیاد تنظیماتتون اشتباهه وگرنه باید بتونید به راحتی استفاده کنید.