vCenter /storage/log爆满排查指南localhost_access.log、catalina.log日志问题

vCenter /storage/log爆满排查指南localhost_access.log、catalina.log日志问题

很多vm运维管理 vCenter Appliance(VCSA)的时候很大机会都会遇到一个非常头疼的问题:

👉 /storage/log 磁盘突然飙满,告警不断,甚至导致 vCenter 服务异常或无法登录。

如果你看到下面这些现象,这篇文章基本就是你的对症解药。


一、常见故障现象(Problem Description)

生产环境里通常表现为:

典型告警

  • VAMI / vCenter UI 提示: /storage/log usage exceeds 80%
  • 邮件 / SNMP / 监控系统持续告警

功能异常

  • vSphere Client 登录慢 / 超时
  • SSO 登录失败
  • 服务随机 crash
  • backup 失败
  • 升级失败
  • VCSA 变得非常卡

SSH 查看磁盘

df -h

发现:

/storage/log  100%

二、快速定位占用目录(必做)

执行:

du -hSx /storage/log | sort -rh | head -30

你通常会看到这些目录异常大:

/var/log/vmware/sso/tomcat
/var/log/vmware/lookupsvc/tomcat
/var/log/vmware/lookupsvc
/var/log/vmware/eam/web
/var/log/vmware/vsphere-ui

进入后发现:

localhost_access*.log
catalina*.log
threadmonitor*.log

特点是:

❌ 不压缩
❌ 不轮转
❌ 数量巨大(几千到上万)
❌ 单个文件几百 MB ~ 数 GB


三、根因分析(Cause)

本质原因:Tomcat日志轮转失效

vCenter 内部很多组件(SSO / Lookup Service / vsphere-ui)都基于 Tomcat

正常情况下应该:

  • 每天 rotation
  • 自动 gzip
  • 保留一定天数

但在 vCenter 7.0.x 某些版本中:

👉 log rotation & compression 失效

导致:

日志无限追加写入 → 不压缩 → 不删除 → /storage/log 被撑爆

也就是典型:

日志泄洪型磁盘爆满(Log Disk Exhaustion)


四、官方修复版本(推荐)

官方已经在:

✅ 7.0 Update 3c

中修复此问题。

强烈建议

如果允许维护窗口:

👉 直接升级是最佳方案

具体可以参考官方KB:https://knowledge.broadcom.com/external/article?articleNumber=318209


五、临时解决方案(Workaround,生产可用)

如果暂时不能升级,可以使用下面方法。

⚠️ 重要:
修改前务必:

  • 做 VCSA 备份 或
  • 关机 Snapshot

如果是 ELM(Enhanced Linked Mode):

👉 所有节点必须一起备份/恢复

否则 LDAP 会不一致。

六、修复步骤详解(实操)

Step 1:替换 logging 配置文件

从官方KB最下面的 configs.zip 复制下来:

https://knowledge.broadcom.com/external/article?articleNumber=318209

文件目标路径
SSO_server.xml/usr/lib/vmware-sso/vmware-sts/conf/server.xml
SSO_logging.properties同目录
LOOKSVC_server.xml/usr/lib/vmware-lookupsvc/conf/server.xml
LOOKSVC_logging.properties同目录

作用:

👉 重新启用 Tomcat rotation + compression

Step 2:重启服务

service-control --stop vmware-stsd && service-control --start vmware-stsd
service-control --stop lookupsvc && service-control --start lookupsvc

Step 3:添加自动压缩 cron

复制(同样来源上面KB最下面的zip文件tomcat_compress_fixed.zip):

tomcat_compress.cron

到:

/etc/cron.d

作用:

👉 定时压缩历史日志


七、手动清理日志(立即释放空间)

如果已经 100% 满:

可以安全手动删除。

清理 vsphere-ui

查看:

du /storage/log/vmware/vsphere-ui -ahx . | sort -rh | head -20

删除 1 周前 catalina

rm catalina-2023*

清空 threadmonitor

不能删除,只能清零:

echo > threadmonitor7.log

八、额外注意(另一个类似问题)

还有一个类似 bug:

目录:

/storage/log/vmware/eam/web/

出现大量:

localhost_access.*.log

这是另一已知问题。

已在:

👉 7.0 Update 3 修复

如果你更老版本:

也需要同时处理。


九、运维最佳实践建议(强烈推荐)

为了以后不再踩坑:

1. 定期检查

df -h
du -sh /storage/log/*

2. 设置阈值监控

建议:

  • 70% 预警
  • 80% 严重
  • 90% 紧急

3. 保持版本更新

7.0.x 老版本:
👉 日志问题非常多

建议:

  • 至少 U3c+
  • 或升级 8.x

4. 定期清理历史日志

可自定义:

find /storage/log -name "*.log" -mtime +14 -delete

有VM问题需要协助?

免费试用VMware技术助理(已接Deepseek)!即时解答VM难题

→ 🤖VM技术助理

解析和诊断各类vCenter错误,ESXi日志,虚拟机vmware.log

→ 📕VMware日志分析器

图书推介 - 京东自营

24小时热门

还有更多VMware问题?

免费试下我们的VMware技术助理(已接Deepseek)!即时解答VM难题 → 🤖VM技术助理

试试 📕VMware日志分析器 免费诊断各类vCenter错误,ESXi日志,虚拟机vmware.log等等

########

扫码加入VM资源共享交流微信群(请备注加群

需要协助?或者只是想技术交流一下,直接联系我们!

推荐更多

Dell PowerProtect Data Manager 无法连接 vCenter 的凭据验证问题
运维必备

Dell PowerProtect Data Manager 无法连接 vCenter 的凭据验证问题

Dell PowerProtect Data Manager 无法连接 vCenter 的凭据验证问题。详细解析 Dell PowerProtect Data Manager (PPDM) 无法连接到 vCenter 的问题,重点说明无效凭据导致的身份验证失败,提供完整的故障排查步骤,帮助管理员快速恢复连接。 本文针对该问题提供了深度剖析与实测解决方案。

VMware Tools 升级失败 - VMXNet3 驱动安装超时问题
运维必备

VMware Tools 升级失败 – VMXNet3 驱动安装超时问题

VMware Tools 升级失败 – VMXNet3 驱动安装超时问题。详细解析 VMware Tools 从 12.3.0 升级到 12.5.2 时出现的 VMXNet3 驱动安装超时问题,重点说明 Windows 系统映像损坏的原因,提供故障排查方法,帮助管理员快速解决升级失败问题。 本文针对该问题提供了深度剖析与实测解决方案。

ESXi 8.x/9.x 主机物理网卡链路状态反复 Up/Down 问题
运维必备

ESXi 8.x/9.x 主机物理网卡链路状态反复 Up/Down 问题

ESXi 8.x/9.x 主机物理网卡链路状态反复 Up/Down 问题。详细解析 ESXi 8.x/9.x 主机中物理网卡反复出现 Up/Down 事件的问题,提供完整的硬件和软件排查步骤,帮助管理员快速定位和修复链路不稳定问题。 本文针对该问题提供了深度剖析与实测解决方案。

ESXi 主机 hpilo 驱动日志泛滥导致无响应问题
运维必备

ESXi 主机 hpilo 驱动日志泛滥导致无响应问题

ESXi 主机 hpilo 驱动日志泛滥导致无响应问题。详细解析 ESXi 主机中 hpilo 驱动日志泛滥导致主机无响应的问题,重点说明 HPE WBEM Provider 的工作机制,提供驱动和固件更新的解决方案,帮助管理员快速恢复主机可用性。 本文针对该问题提供了深度剖析与实测解决方案。

//omg10.com/4/9119499