ESXi 8.x/9.x 主机物理网卡链路状态反复 Up/Down 问题

老哥们，今天遇到一个非常常见的网络问题——ESXi 主机的物理网卡链路状态反复出现 Up/Down 事件，导致网络连接不稳定。原来这是一个物理层链路不稳定导致的问题。

故障现象还原

1. 事件日志

在 ESXi 主机的 /var/run/log/vobd.log 中可以看到以下反复出现的事件：

[vob.net.dvport.uplink.transition.down] Uplink: vmnicX is down. Affected dvPort: ...
[vob.net.vmnic.linkstate.down] vmnic vmnicX linkstate down
[vob.net.vmnic.linkstate.up] vmnic vmnicX linkstate up
[vob.net.dvport.uplink.transition.up] Uplink: vmnicX is up. Affected dvPort: ...

2. 影响

• • 分布式交换机可能会报告临时网络断开或冗余丢失警报
  • 虚拟机网络连接可能不稳定
  • 严重时可能导致业务中断

核心原因分析

这个问题主要由物理层链路不稳定引起，常见原因包括：

1. 网络电缆问题

• • 电缆故障
  • 连接松动
  • 质量差的电缆

2. 交换机端口或模块问题

• • 交换机端口故障
  • SFP/GBIC 模块故障
  • 模块连接松动

3. 物理网卡问题

• • 物理网卡硬件故障
  • 网卡驱动问题
  • 服务器主板相关硬件问题

故障排查与解决方法

1. 验证网卡状态

# 列出所有网卡并检查链路状态
esxcfg-nics -l

 

# 检查特定网卡的详细状态
esxcli network nic get -n vmnicX

 

# 检查网卡的统计信息
esxcli network nic stats get -n vmnicX

2. 手动测试链路稳定性

# 手动将网卡设为 down 状态
esxcli network nic down -n vmnicX

 

# 观察一段时间后，再将网卡设为 up 状态
esxcli network nic up -n vmnicX

 

# 检查链路状态变化
esxcli network nic get -n vmnicX

3. 物理层验证

1. 更换网络电缆：使用已知正常的网络电缆替换当前电缆
2. 更换交换机端口：将电缆连接到已知稳定的交换机端口
3. 更换 SFP/GBIC 模块：如果使用光纤或千兆位接口转换器，更换模块
4. 检查硬件连接：确保所有物理连接都牢固

4. 监控链路状态

# 实时监控网卡状态
tail -f /var/log/vobd.log | grep -i vmnicX

 

# 持续监控一段时间
watch -n 1 'esxcli network nic get -n vmnicX | grep -E "Link|Speed"'

 

# 收集网络诊断信息
esxcli network diag ping --host  --interface-name vmnicX

5. 硬件诊断

# 检查网卡驱动和固件版本
esxcli network nic list | grep vmnicX
esxcli software vib list | grep -i

 

# 运行系统诊断
esxcli system health component get

 

# 检查系统事件日志
esxcli system syslog config get

预防措施

1. 定期检查物理连接

• • 定期检查网络电缆和模块的物理连接
  • 确保电缆没有被过度弯曲或挤压
  • 定期更换老化的网络设备

2. 使用网络监控工具

# 使用 PowerCLI 监控网络事件
Connect-VIServer 
Get-VMHost  | Get-VMHostNetworkAdapter | Select-Object Name, LinkSpeed, LinkState

 

# 使用 vRealize Operations Manager 进行网络监控

3. 实施网络冗余

• • 使用 NIC 组合（NIC Teaming）提供链路冗余
  • 确保交换机和网络设备的冗余配置
  • 实施端口汇聚（Port Aggregation）以提高带宽和冗余

4. 定期更新驱动和固件

# 检查并更新网卡驱动
esxcli software vib update -v

 

# 检查并更新 ESXi 主机固件
# 这需要使用厂商提供的工具

常见问题解答

Q：为什么这个问题只影响特定的网卡？
A：问题主要与物理连接有关，所以通常只影响特定的网卡端口。

Q：是否可以通过软件配置解决？
A：软件配置只能缓解问题（如调整链路检测参数），但解决问题的根本方法是修复物理连接。

Q：如何防止类似问题再次发生？
A：定期检查物理连接、使用网络监控工具和实施网络冗余是最好的预防方法。

Q：这个问题会影响虚拟机的运行吗？
A：如果使用了适当的网络冗余配置，虚拟机可能只会经历短暂的连接中断，但如果没有冗余，可能会导致虚拟机连接失败。

风险评估

1. 业务影响

• • 可能导致虚拟机连接不稳定
  • 可能影响服务的可用性
  • 在严重情况下可能导致业务中断

2. 排查风险

• 在物理层排查过程中可能需要短暂的停机
• 更换硬件组件可能会影响网络连接
• 需要谨慎操作，防止意外中断其他服务

总结

记住，网络问题的排查通常需要从物理层开始，逐步向上排查。通过使用上面说的那些的工具和方法，我们可以快速定位和修复问题，恢复网络的稳定性。

在处理这个问题时，建议：
1. 首先验证物理连接
2. 使用网络监控工具观察链路状态
3. 在需要时更换硬件组件
4. 实施网络冗余以提高系统的可用性

通过遵循这些步骤，我们可以有效防止类似问题的再次发生。

---

Reference: VMware KB 413302