SuperMicro X10SDV 主板 + ESXi 8.0 不认网卡的问题解决

发布时间 2023-03-22 21:13:30作者: 风驰电掣的马

问题描述

超微主板 X10SDV :

  • 17cm * 17cm
  • 板载2个万兆电口
  • Xeon D-1521 @2.40GHz
  • 4 DDR4 (最高2133MHz、最多32GB*4=128GB)内存槽:注意:只支持2R,不支持淘宝上的 诸如 三星 DDR4 4DR 2133P 的型号内存,根据官网的内存兼容测试记录,明确说明支持 DDR4 2R 2666MHz,根据卖主板的店家说, 2R的2400T的内存条也是支持的
  • PCIe x16 槽位一个,支持拆分: x4x4x4x4、x8x4x4等
  • 支持IPMI、有板载显卡
  • 支持NVMe固态(PCIe3.0 x4的速度)

用来做All-In-One的主机挺不错。

纠结了很久——是采用Windows Server + Hyper-V的方案呢,还是使用ESXi + 多虚拟机的方案。

  • Windows Server + Hyper-V
    -- 好处:主机是Windows,接上显示器有图形界面,也可以当一台主机来用。
    -- 坏处:曾经出现过Windows直接关机后再次开机、Hyper-V里面的虚拟机无法正常启动的情况——需要删除保存的状态,重新挂载虚拟磁盘等操作。一旦windows挂了,所有虚拟机全部“阵亡”。
    -- 不方便:Hyper-V会虚拟出第二套网卡,有时候网卡配置容易晕。
    -- 既是好处又是坏处:Windows的电源管理,可以节电——晚上或者平时不用的时候,可以自动休眠,省电。但是有时候想要用的时候,还得要Wake-On-LAN唤醒。 “永远在线”和“电费”的矛盾。

  • ESXi + Linux/Windows Server
    -- 好处:各个系统相互独立
    -- 坏处:安装后,直接连接显示器没有实际内容输出、必须借用另外的主机远程才能使用虚机的系统
    -- 方便:一直在线、网卡配置相对比较清晰
    -- 不确定: 不同版本的ESXi可能对板卡的有兼容性问题

最终决定还是使用ESXi的方案(主要是看上各个虚机系统的独立性,一旦安装好、除了打补丁之外,基本不会动ESXi,但是如果主系统是Windows Server,除了打补丁、难免还要在上面图方便安装一些开发工具之类的软件,怕系统崩溃。)

X10SDV 安装ESXi 8.0 过程描述

安装过程中,一切顺利。

安装完成后,在配置管理网络(Managed Network)的时候,在选择网络适配器(Network Adapter)的时候,发现网卡的状态始终显示:Disconnected。

由于经验不足,一开始并没有认为是网卡驱动的问题,因为现象是:

  • 在ESXi主界面,按F2,进入详细配置页面后,找到管理网络配置,在网卡处能够看到网卡型号为557-AT2,但是网卡状态不管如何设置都是断链(Disconnected)
  • 网卡亮红灯

不论怎么配置IP地址,一度还以为是家里的交换机VLAN限制了,但是考虑到还有另外一台软路由是ESXi 6.7U3的版本,当时的网络配置不费吹灰之力。

最终还是怀疑到网卡驱动的问题。首先怀疑是ESXi版本不兼容,一开始以为是ESXi 8.0版本删除了一些网卡的驱动(查了一下这款网卡,好像是2015年左右出来的),于是又重装了一个ESXi 6.7U3,发现故障现象一样。

上网搜了一下,没有太多文章,偶有一篇说是网卡驱动,还说了要上传新的驱动到ESXi上去。—— 看起来很有道理,但是,我现在连ESXi后台都登不了啊。

ESXi就这点不好,一旦网卡不通、没办法通过web方式访问到后台设置,整个系统就废了。

就在快要绝望、差点就要回到Windows Server + Hyper-V方案的时候,看到旁边有一台平时给笔记本用的USB转(千兆)网卡线。

灵机一动——既然ESXi 8.0不支持板载的这两个万兆网卡,那么能不能先插上USB网线、然后临时将管理网络设置到USB网口、连上ESXi的后台、再打上新的网卡驱动。

问题解决

将USB网卡接到板载的USB3.0接口,在ESXi主界面切换一下菜单,然后再进入网卡设置,可以马上看到3个网卡:2个板载万兆 + 1个USB转千兆网卡,一阵狂喜。

将Managed Network设置到USB网口。

用其他电脑访问管理网络,正常登入!

然后准备新的网卡驱动:

在这里查询驱动: https://www.vmware.com/resources/compatibility/search.php

最后我参照文献[1]找了一个X552/X557-AT的驱动: https://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=41984&vcl=true

驱动版本是:ixgben version 1.15.1.0, 固件版本是:9.2

下载地址:https://customerconnect.vmware.com/downloads/details?downloadGroup=DT-ESXI80-INTEL-IXGBEN-11510&productId=1345

下载后,上传到ESXi的datasotre中,然后用命令终端访问ESXi,在命令行中敲入:

esxcli software vib install -v "/vmfs/volumes/datastore1/INT_bookbank_ixgben_1.15.1.0-1OEM.800.1.0.20613240.vib"

安装好后,需要reboot重启ESXi。

重启完成,再进入ESXi,看到网卡状态正常显示为Connected了!

备注:我第一次是吧vib文件放到了ESXi的/tmp目录下,结果执行完后、掉电重启后,网卡驱动似乎丢了,又出现网卡断链的状态,只好将vib文件再次上传到datastore的一个非临时目录,再执行一次。这次之后,反复重启都没有问题了。下次再观察看看是不是掉电重启会出现类似问题。

参考文献

[1].确认网卡型号:https://www.servethehome.com/lab-confirmation-intel-xeon-10g-lan-x552-x557at/
[2].https://www.truenas.com/community/threads/build-report-node-304-x10sdv-tln4f-esxi-freenas-aio.57116/
[3].https://blog.ljdelight.com/vmware-esxi-on-x10sdv-tln4f/