1、故障概述

客户的一台Exadata X3-2, 前段时间在巡检的过程中，发现其中一台Infiniband交换机有“坏块”的告警信息。这块，这台交换机彻底故障，已经无法启动。经过分析，发现该交换机的主板已经损坏 。只能更换新的Infiniband交换机。

本文主要描述更换Infiniband交换机的主要步骤。

[root@ex01sw-iba0 ~]# showunhealthy
WARNING Flash disk has bad blocks
FAILURE - 1 sensors NOT OK
[root@ex01sw-iba0 ~]#

2、故障解决。

幸亏在第一次发现有坏块时，及时对交换机的配置信息做了备份。

1. 备份Infiniband交换机的配置信息。
参考：How To Back Up and Restore Switch Settings for Sun Datacenter InfiniBand Switch 36 & Gateway Switch
具体步骤：
(1).用ilom-admin用户登录Infiniband交换机的ILOM URL。例如：http://dbm002-i1.us.example.com.
(2).选择Maintenance页面。
(3).选择Backup/Restore选项。
(4).选择Backup操作，并且选择Browser方式。
(5).输入assphrase。类似于备份密钥。
(6).点击Run,最终保存为XML文件。
(7).备份/root/.ssh/authorized_keys、/home/nm2user/.ssh/authorized_keys、/etc/hosts 和 /etc/opensm/opensm.conf。
(8).保存version命令输出。
(9).保存setsmpriority list命令输出。

2. 升级新交换机的固件版本。
在新交换机更换之前，检查新交换机的固件版本与当前环境中的版本是否一致，如果不一致，在更换之前，先升级新交换机的固件版本。
# version

3. 恢复新交换机的配置信息。
在新交换机更换之前，利用备份的信息来恢复这台新交换机。
参考：How To Back Up and Restore Switch Settings for Sun Datacenter InfiniBand Switch 36 & Gateway Switch
具体步骤：
(1).在恢复配置之前，执行version命令，确保新交换机的固件版本与现有环境中的版本完全一致。
(2).用ilom-admin用户登录Infiniband交换机的ILOM URL。例如：http://dbm002-i1.us.example.com.
(3).选择Maintenance页面。
(4).选择Backup/Restore选项。
(5).选择Restore操作，并且选择Browser方式。
(6).点击Browse，并且选择备份的XML文件。
(7).输入assphrase。
(8).点击Run,最终进行恢复操作。
(9).还原/root/.ssh/authorized_keys、/home/nm2user/.ssh/authorized_keys、/etc/hosts 和 /etc/opensm/opensm.conf。
(10).重启openSM服务。
# disablesm
# enablesm

4. 如果需要更换的Infiniband交换机为master，则需要手动切换成standby。
具体步骤：
(1).用ibswitches命令检查当前环境有几台Infiniband交换机。
(2).检查所有Infiniband交换机上的opensmd服务是否正常运行。
service opensmd status
(3).检查哪台交换机是master。
# sminfo
或者
# getmaster
(4).如果需要更换的Infiniband交换机为master,则需要手动执行命令将master切换至其他交换机上。
# disablesm
(5).再次检查master是否已经切换至其他交换机上。
# sminfo
或者
# getmaster

5. 正式更换Infiniband交换机。
(1).拔掉Infiniband交换机的电源插头，关闭交换机。
(2).拔掉Infiniband交换机上的所有网线。
(3).将交换机从机架的前部取出。
(4).更换新的交换机。
(5).插入网线。
(6).插入电源线。
(7).验证网络连通性。
/opt/oracle.SupportTools/ibdiagtools/verify-topology