1、故障概述

客户在EM13c中检查Exadata的健康状态时，发现某个存储节点的状态异常。在EM13c显示“可用性评估错误”。如图所示：

2、故障分析

2.1 直接登录该存储节点，使用list cell detail命令检查该存储节点的状态。

 可以看出，存储节点的服务状态是正常的，但存在异常的地方：rpmVersion部分显示package cell is not installed。 这块显示不对，存储管理软件的版本信息没有展示出来。

2.2 查看主机上安装的软件信息。

[root@exd1celadm01 rpm]# rpm -qa --last |more
error: db3 error(12) from dbenv->open: Cannot allocate memory
error: db3 error(12) from dbenv->close: Cannot allocate memory
error: cannot open Packages index using db3 - Cannot allocate memory (12)
error: cannot open Packages database in /var/lib/rpm
error: db3 error(12) from dbenv->open: Cannot allocate memory
error: db3 error(12) from dbenv->close: Cannot allocate memory
error: cannot open Packages database in /var/lib/rpm
[root@exd1celadm01 rpm]#

rpm命令竟然报错。从报错信息也可以看出，rpm的数据库损坏了，无法打开rpm数据库。

2.3 重建rpm数据库

# cp -rf  /var/lib/rpm/_db.*  /tmp/
# cd /var/lib/rpm/
# rm -rf _db.*
# rpm --rebuilddb 

2.4 执行rpm命令再次检查，报错已经消失，说明rpm数据库已经重建成功，但list cell detail的命令输出仍然提示package cell is not installed。这只能重启cell服务，重新加载软件信息。重启服务后，一切恢复正常。