PC服务器阵列卡管理简易手册

叶金荣

weibo：@yejinrong， http://imysql.com

2012-12-23

简介

介绍接触过的DELL、HP、IBM等几款PC SERVER服务器阵列卡相关内容。

涉及主要机型有：

DELL：2950/R410/R710

HP：DL 360G5/DL 380G5

IBM：3650M3

涉及阵列卡型号：

PERC 5/i、PERC/6i、PERC H700

P400、P400I、P410、P410I

M5014、M5015

阵列卡种类

主要有两种：

• LSI – DELL PowerEge、IBM x3600系列服务器使用。

• HP SmartArray – HP DL系列服务器使用。

阵列卡作用

RAID是Redundant Array of Independent Disk(独立冗余磁盘阵列)的简写，优势：

• 可靠，数据存储更安全

• 高效，提升整体IOPS

• 简便，易管理，易操作

阵列级别

• RAID 0，N块硬盘并行组合成一个新的逻辑盘，N块盘同时写入/读取

• 容量最大，性能最高，可靠性最低。适合高可用/分布式集群中的单元

• RAID 1，N(偶数)块硬盘组合成一组镜像，N/2块盘写入，N块盘同时读取

• N/2容量，性能一般，可靠性高。中小企业起步服务器标配

• RAID 1+0，N(偶数，N>4)块硬盘两两镜像后，再组合成一个RAID 0；N/2块盘同时写入，N块盘同时读取

• N/2容量，性能高，可靠性高。适合高TPS的OLTP应用

• RAID 5，N(N>3)块盘组成阵列，一份数据产生N-1个条带，同时还有1份校验数据，共N份数据在N块盘上循环均衡存储；N块盘同时读写，读性能很

高，但由于有校验机制的问题，写性能相对不高

• (N-1)/N容量，读性能高，写性能一般，可靠性高。适合一般的OLTP应用，适合OLAP应用。

创建阵列 – DELL R710，PERC 6/i

创建阵列 – HP DL360/380G5，P400

创建阵列 – IBM x3650M3，M5014

创建阵列 – IBM x3650M3，M5014

MegaCli管理阵列

• LSI原厂提供的LSI MegaRAID阵列卡管理工具

• 安装

rpm -i Lib_Utils-1.00-09.noarch.rpm

rpm -i MegaCli-8.02.21-1.noarch.rpm

程序安装目标目录： /opt/MegaRAID/MegaCli/MegaCli(或者MegaCli64)

MegaCli管理阵列

• 查看阵列卡信息

MegaCli –AdpAllInfo –a0

阵列卡Firmware版本如果较低，最好升级，保证可靠性及性能

MegaCli管理阵列

• 查看阵列配置

MegaCli -CfgDsply -a0

阵列的读写CACHE策略最好修改成FORCE WB(WB Write Cache if Bad BBU)

阵列是否有热备盘、阵列状态是否为Optimal

MegaCli管理阵列

• 创建/删除阵列

MegaCli -CfgLdAdd -r5 [1:2,1:3,1:4] WB Direct -Hsp[1:5] -a0

MegaCli -CfgLdDel -L1 -a0 (删除阵列时无确认提示，务必小心)

• 修改阵列逻辑盘读写CACHE策略(写策略用WB；可关闭预读，影响很小)

MegaCli -LDSetProp WT|WB|NORA|RA|ADRA -L0 -a0

• 修改阵列逻辑盘BBU策略(电池充放电期间仍可强制启用WB写策略，性能不受到影响)

MegaCli -LDSetProp CachedBadBBU -L0 -a0

MegaCli管理阵列

• 修改阵列物理盘CACHE策略(强烈建议关闭物理硬盘的CACHE策略)

MegaCli -LDSetProp -EnDskCache|-DisDskCache -L0 -a0

• 强制上线/下线某块物理磁盘(个别时候，物理硬盘有异常，要强制下线；阵列不能识别某硬盘时，可尝试强制上线)

MegaCli -PDOffline/PDOnline -PhysDrv [8:4] -a0

• 清除阵列卡外部阵列信息(如果存在外部阵列信息说明个别硬盘在其他阵列上用过，不能自动加入本地阵列)

MegaCli -CfgForeign -Clear –a0

MegaCli管理阵列

• 查看阵列卡电池状态(电池健康状况不佳时，需谨慎使用WB策略)

MegaCli -AdpBbuCmd –a0

• 强制充放电(防止自动充放电期间遇上业务高峰期)

MegaCli -AdpBbuCmd -BbuLearn –a0

DELL阵列卡充放电周期一般是：90天，IBM阵列卡充放电周期一般是：30天

下次电池充放电，从2000-01-01开始的秒数，有的起始时间不一定是这个

MegaCli管理阵列

• 查看阵列卡TTY日志(关注failed/error/warn等关键字)

MegaCli -FwTermLog -Dsply -a0

MegaCli管理阵列

• 查看物理硬盘状态(需关注几个Count值，异常暴增时要迅速将该物理硬盘下线)

MegaCli -PDList -a0

MegaCli -pdinfo -PhysDrv[8:0] -a0

MegaCli管理阵列

• 阵列在线添加磁盘

MegaCli -LDRecon -Start -r5 -Add -PhysDrv[1:4] -L1 -a0

• 指定全局/特定逻辑阵列热备盘

MegaCli -PDHSP -Set [-EnclAffinity] [-nonRevertible] -PhysDrv[1:5] -a0

MegaCli -PDHSP -Set [-Dedicated [-Array1]] [-EnclAffinity] [-nonRevertible] -PhysDrv[1:5] -a0

推荐阅读手册： USER’S GUIDE，MegaRAID SAS Software

Hpacucli管理阵列

• HP封装的Smart Array阵列卡管理工具

• 安装

rpm -i hpacucli-8.35-7.0.noarch.rpm

程序安装目标目录： /usr/sbin/hpacucli(这是个封装后的shell脚本，实际上可执行文件是/opt/compaq/hpacucli/bld/.hpacucli)

Hpacucli管理阵列

• 查看阵列卡信息

hpacucli ctrl all show config detail

阵列卡Firmware版本如果较低，升级可提升可靠性及性能。

关闭Drive Write Cache(和DisDskCache类似)。

在这个例子中，” Total Cache Memory Available”异常，可尝试升级firmware并重启。

HP Smart Array的电池只有新装的时候会充放电一次，之后全部在后台充放电，不可调整。

Hpacucli管理阵列

• 查看阵列配置

hpacucli ctrl slot=0 array all show detail

阵列的读写CACHING策略最好是 Enabled

阵列是否有热备盘、阵列状态是否为Ok

Hpacucli管理阵列

• 创建/删除阵列

hpacucli ctrl slot=0 create type=ld drives=1I:1:3,1I:1:4,2I:1:5,2I:1:6 raid=1+0

hpacucli ctrl slot=0 create type=ld drives=1I:1:3,1I:1:4,2I:1:5 raid=5

• 修改阵列逻辑盘CACHE加速策略

hpacucli ctrl slot=0 logicaldrive 1 modify arrayaccelerator=enable/disable

• 修改阵列逻辑盘读写缓存比策略

hpacucli ctrl slot=0 modify cacheratio=25/75(50/50、75/25、0/100、100/0)

Hpacucli管理阵列

• 修改阵列逻辑盘BBU策略(电池充放电期间仍可强制启用WB写策略，性能不受到影响)

hpacucli ctrl slot=0 modify nobatterywritecache=enable/disable

• 修改阵列物理盘CACHE策略(强烈建议关闭物理硬盘的CACHE策略)

hpacucli ctrl slot=0 modify drivewritecache=disable

• 强制上线/下线某块物理磁盘

hpacucli ctrl slot=0 array A add/remove drives/spares=1:1/allunassigned

Hpacucli管理阵列

• 查看阵列卡TTY日志(关注failed/error/warn等关键字)

hpaducli -f adu-report.zip

hpaducli -f ssdreport.zip -ssdrpt

hpaducli -f textreport.txt –txt

推荐阅读手册：HP Array Configuration Utility User Guide

PERC H700 & BBU

HP Smart Array P410 & BBU

了解更多内容非专业人士整理，很多知识点不全，请访

问官网了解更多内容。

LSI

DELL

HP

IBM