名词解析

EID (Enclosure Device ID )  #  机柜设备ID  
Cachebypass Mode  # 缓存旁路模式
Emulation type    # 仿真类型
Span Depth        # 跨度深度
spares            # 备件 ，   表示热备  
Consistent        # 一致的

功能测试

LSI 系列管理工具------- storcli

# Broadcom 阵列卡使用如下关键字 过滤 
lspci | grep -i 'broadcom'

选项及其含义

驱动和固件

LSI阵列卡：modinfo mpt3sas 
PMC阵列卡：modinfo smartpqi

信息的查看

# 查看命令帮助添加 -h 参数即可 
# 查看第一块阵列卡的简要信息: 物理驱动，虚拟驱动等，可以获取到EID、Slot号等信息
storcli64 /c0 show
	# para  
	all  # 所有信息 
storcli64 show ctrlcount        # 查看控制器(阵列卡)数量
storcli64 /c0 show freespace    # 查看剩余空间
storcli64 /c0 show rebuildrate  # 查看 rebuild 速率
storcli64 /c0 set rebuildrate=30　　# 设置rebuild速率
storcli64 /c0/vall show  all  # 查看某个阵列卡下的所有逻辑盘的详细信息 
storcli64 /c0/dall  show      # 获取卷组信息 
storcli64 /c0/pall  show all  # 
storcli64 /c0 show alarm      # 显示报警信息 


# 相同槽位可以重建成功；不同槽位不重建

EID 机柜相关

storcli64 /c0/eall show     # 查看 第一个阵列卡下的所有机柜的信息 
storcli64 /c0/e68 show      # 查看 第一个阵列卡 第68机柜的信息 
storcli64 /c0/e68 show all  # 查看 第一个阵列卡 第68机柜的详细信息
storcli64 /c0/e68 show status  # 查看 第一个阵列卡 第68机柜下的磁盘风扇等设备的状态

磁盘相关

storcli64 /c0/eall/sall  show  # 查看所有磁盘的信息 
storcli64 /c0/e68/s1  show all  # 查看 68 号机柜下 1 槽位硬盘详细信息 
storcli64 /c0/e68/s5 start init # 初始化某个物理磁盘 
storcli64 /c0/e68/s5 show init  # 显示物理磁盘初始化进度  
storcli64 /c0/v0 start erase normal # 逻辑盘擦除 
storcli64 /c0/v0 show erase         # 显示擦除进度

其他

storcli64 /c0 restart # 重启 RAID 卡， 得以新固件生效 

PMC 卡 H460-B1不同的接口类型不能一起组建RAID，比如：STAT、SAS、NVME接口不能混合。
9361阵列卡STAT、SAS、HDD、SSD都可以混合组建RAID
9460阵列卡STAT、SAS可以混合组建RAID，HDD和SSD不可以
9300和9400-16i不支持fault和PFA点灯
9460-8i(2G)不支持legacy模式
海光机器的BIOS下点灯，选择start locate,回车即是点亮
PMC卡支持在OS下逻辑盘定位，LSI不支持
LSI卡也可以专属热备多个逻辑盘
PMC卡如果你对其中一个成员盘进行下线操作后，删除逻辑盘时，如果删除不掉，请用./arcconf delete 1 logicaldrive 0
LSI卡测试时，powersave状态设置只和HDD有效

固件升级

storcli64  /c0 download file=./HBA_9500-8i_Mixed_Profile.bin  noverchk

模式切换

# 盘各个状态的解读
UBUnsp   # unconfigured bad；表示 没办法扶正，意思就是 盘坏了， 需要换盘； 
online   # 
offline  # 
jbod     # 
good   
	# JBOD （ Just a Bunch Of Disks ）不是标准的 RAID 等级，它通常用来表示一个没有控制软件提供协调控制的磁盘集合。 JBOD 将多个物理磁盘串联起来，提供一个巨大的逻辑磁盘。 JBOD （如图 1 ）的数据存放机制是由第一块磁盘开始按顺序往后存储，当前磁盘存储空间用完后，再依次往后面的磁盘存储数据。 JBOD 存储性能完全等同于单块磁盘，而且也不提供数据安全保护。它只是简单提供一种扩展存储空间的机制， JBOD 可用存储容量等于所有成员磁盘的存储空间之和。目前 JBOD 常指磁盘柜，而不论其是否提供 RAID 功能。 
bootdrive # 
missing  # 
# 强制删除第一个阵列卡下 第 68 号机柜 中 槽位是 7 的盘的 jbod 状态 
storcli64 /c0/e68/s7 delete  jbod  force
storcli64 /cx/ex/sx set good/offline/online/missing　　设置某块磁盘的状态

# 设置物理盘离线
storcli64 /cx/ex/sx set offline

标准 RAID 阵列组的组建和删除

# 查看 add 命令的命令帮助 
storcli64 add help
# 
storcli64 /c0 add vd r0 drives=68:7
storcli64 /c0/v0 del force  # 删除逻辑卷 
storcli64 /c0 add vd r5 Size=500  name=testing drives=68:1,4,5  # 创建 RDIA5   
storcli /c0 add JBOD drives=62:4  # 添加 JBOD  
storcli64 /c0/V1  start  init force   # 格式化 逻辑盘 
# 
for fff in {5..15}; do storcli64   /c0/e251/s$fff delete jbod; done

注意

1. 在创建阵列组时请注意阵列卡所支持的功能，比如，只有同SSH才可以组 RAID  
2. 在创建阵列组时， 书写参数名称可不区分大小写 
3. 在创建阵列组时， 组大小默认占用所有空间 ，若要指定大小可添加 size 参数 
4. RAID组等同于卷组，  卷组中可以包含若干个逻辑卷 
5. 删除卷组的最后一个逻辑卷，卷组自动删除，卷组编号会自动调整
6. 

热备盘操作

storcli64 /c0/e68/s5 add hotsparedrive  # 添加全局热备盘 
storcli64 /c0/e68/s5 delete hotsparedrive # 删除全局热备盘 
storcli64 /c0/e252/s1 add hotsparedrive dg=0  # 添加专属热备盘 

# 注意：ugood状态的物理盘作为逻辑盘的专用热备，热备盘容量大于组成逻辑盘中的任何一个盘的容量
# 热备盘容量大于等于成员盘容量；专用热备在新盘加入进去后，热备盘还是原热备盘
# 热备盘容量大于等于成员盘容量；全局热备在新盘加入进去后，热备盘顶替成为成员盘之一，原本的成员盘槽位上的物理盘却成了热备盘

磁盘的扩容

storcli64 /c0/v0 expand size=20480  # 不增加盘逻辑盘扩容 
# 增加盘扩容, 即是RAID0迁移操作
storcli64 /c0/vx start migrate type=raidx option=add/remove drives=e:s force 

磁盘的迁移

storcli64 /c0 add vd r0 size=10240 name=before drives=68:1
storcli64 /c0/v0 start migrate type=raid1 option=add drives=68:4  # 开始迁移
storcli64 /c0/v0 show migrate  # 查看迁移进度

# 迁移操作只允许小容量往大容量迁移；热备盘容量要大于成员盘的容量；
# 当RAID0迁移到RAID1上时，迁移后逻辑盘是RAID1，所以开始的RAID0应该由偶数盘组成；不支持RAID10,50,60,00进行迁移

硬盘的点灯

storcli64 /c0/ex/sx start locate  # 物理盘定位 

缓存的设置

storcli64 /c0 flushcache # 清除raid卡、物理磁盘cache
storcli64 /c0/v0 set rdcache=nora  # 设置 vd 的读策略
# 设置 raid 组缓存读写属性 
storcli /cx/vx set wrcache=WT|WB|AWB
# 设置 RAID 组成员盘的 Cache 状态 
storcli /cx/vx set pdcache=On|Off|Default

配置管理

storcli64 /c0/fall show   # 显示外来配置 
storcli64 /c0 get config file=config.log  # 转储配置
storcli64 /c0 set config file=saveconfig  # 导入配置 
storcli /cx delete config # 删除配置 

日志保存与清除

storcli64 /c0 show termlog type=contents  # 查看在线日志 
storcli64 /c0 show events  # 查看完整事件日志 
storcli64 /c0 show events file=c0.log  # 转储日志 
storcli /c0 delete events  # 删除事件日志
storcli /c0 delete termlog # 删除在线日志 

信息的清除

# 清除 foreign是外来raid信息 
./storcli64 /c0/fall del
# 清楚阵列卡所有配置
./storcli64 /c0/vall del

PMC 系列管理工具----arcconf

PMC 阵列卡编号从 1 开始 
[root@localhost software]# lspci | grep -i 'storage'
16:00.0 Serial Attached SCSI controller: Adaptec Smart Storage PQI 12G SAS/PCIe 3 (rev 01)

信息的查看

# 查看阵列卡列表信息 
arcconf list
# 查看某个阵列卡下的 物理盘信息 
arcconf getconfig  1 pd
# 查看某个阵列卡下的 逻辑盘信息 
arcconf getconfig  1 ld
# 查看阵列卡适配器信息
arcconf getconfig  1 ad
# 查看 阵列信息 
arcconf getconfig 1 ar
# 查询 Controller 的所有信息
arcconf getconfig 1 al
# 查看 Controller FW 信息 
arcconf getversion 1

固件升级

arcconf ROMUPDATE 1 C:\firmwareImage\SmartFW.bin noprompt

模式切换

# 模式切换
arcconf setconnectormode <控制器ID>  <接口ID  模式ID>  <接口ID  模式ID> .......  
	# 由于阵列卡存在多个接口的情况，且每个接口都可单独设置自身模式；若要同时设置多个接口的模式，只需在命令控制器 ID 后添加多个格式为<接口id  模式id> 的参数, 而其中接口ID 默认一般则是从 0 开始，而模式 ID 所对应具体模式的关系为： (该对应关系具体根据厂商而异)
		0 ： HBA 
		1 ： RAID
		2 ： Mixed 

# 设置物理盘离线
arcconf setstate 1 device 0 x DDD 

标准 RAID 阵列组的组建和删除

# 添加 RAID 0  
arcconf create 1 logicaldrive max 0 0 7
arcconf create 1 logicaldrive name <名字> max 0 0 7
arcconf create 1 logicaldrive name <名字> 200 0 0 7  # 单位默认为 GB 
# ADD RAID 1  
arcconf create 1 logicaldrive max 1 0 6 0 7
# 创建 RAID 10 
arcconf create 1 logicaldrive max 10 0 2 0 3 0 4 0 5 noprompt


# 删除 逻辑盘 
arcconf delete 1 logicaldrive 0 noprompt

# 重新扫描所有盘 
arcconf rescan 1 

热备盘操作

# 添加热备 ，<1 Dedicate ,2 Autoreplace>
arcconf setstate 1 device 0 6 hsp array 0 sparetype <热备类型 ID>

# 注意： 热备盘大小必须大于等于逻辑盘中最小的盘大小

磁盘的扩容

待更新...

磁盘的迁移

待更新...

硬盘的点灯

# 格式为
arcconf identify <控制器ID>  <定位盘> [亮灯时间]
# 设置单盘一直亮
arcconf identify 1 device 0 2 
# 设置所有盘亮灯 60 秒
arcconf identify 1 ALL time 60  
# 点亮阵列组下的所有硬盘灯
arcconf identify 1 array 0 
# 点亮逻辑盘下的所有硬盘灯 
arcconf identify 1 logicaldrive 0  
# 熄灭所有硬盘灯 
arcconf identify 1 ALL stop  

缓存的设置

待更新...

配置管理

# 硬盘初始化
arcconf task start 1 device 0 2 initialize 
# 初始化所有盘
arcconf task start 1 device all initialize 

# 去初始化
arcconf task start 1 device 0 2 uninitialize 
# 去初始化所有盘
arcconf task start 1 device all uninitialize 

日志保存与清除

待更新...

性能测试

2.1 最多逻辑盘组建
2.2 最多成员盘组建
2.3 最大容量逻辑盘组建
2.4 重复创建与删除逻辑盘

压力测试

3.1 AC Reboot
3.2 DC Reboot
3.3 FIO
3.4 IOmeter
3.5 AC异常掉电

FIO 读写压力测试

单盘和多盘压力测试

异常测试

4.1 逻辑盘恢复
4.2 物理盘离线/上线
4.3 异常掉电
4.4 控制卡逻辑盘组建达到10个以上后进行迁移等操作
4.5 删除不同状态下的逻辑盘
4.6 不同状态物理盘的可用性
4.7 两块RAID卡互相交换
5 组合测试
5.1 BIOS升级
5.2 BIOS升级后立即升级FW
5.3 HDM升级
5.4 BIOS下的安全模式
5.5 legacy模式下存在逻辑盘时的单盘window系统安装

其他

lsblk -o 'NAME,MODEL' | grep -i intel | awk '{print $1}'| xargs -i smartctl -a /dev/{} | grep Firmware

LSI 系列管理工具-----sas3ircu

待更新...

阵列卡中断绑定

1. 查询其 Bus 号 
2. 类网卡适配器绑定即可

测试经验

# 类似于 9500 阵列卡不支持 RAID 功能，故无法操作一些类似创建  JBOD 和添加 JBOD 的动作 ； 	以00结尾的的卡都不支持组raid

待更新...