目录
最近在两台 Dell PowerEdge R730xd 上遇到同一个问题:
- PERC H730 Mini 工作正常
- 物理硬盘状态正常
- iDRAC Web 无法正常创建 RAID
- 使用 RACADM 可以成功创建 RAID
- Job Queue 中存在
SYS044 - Web 侧会出现
STOR026、LC062
本文记录完整排查过程。
如果只想直接解决问题:
1. 问题现象
在 iDRAC Web 页面创建虚拟磁盘时,会出现:
textSTOR026: 无法创建配置作业,因为该设备没有挂起的配置更改。
有时还会出现:
textLC062: 导出或导入服务器配置文件操作已在运行。
但通过 SSH 登录 iDRAC 后,使用 RACADM 可以正常创建 RAID。
这说明问题不在 RAID 功能本身,而更可能出现在:
textiDRAC Web ↓ Lifecycle Controller ↓ Pending Configuration ↓ Configuration Job ↓ PERC
2. SSH 登录 iDRAC
直接 SSH 登录 iDRAC:
bashssh root@192.168.1.245
登录后进入 RACADM Shell:
text/admin1->
查看物理硬盘:
bashracadm storage get pdisks
得到:
textDisk.Bay.0:Enclosure.Internal.0-1:RAID.Integrated.1-1 Disk.Bay.1:Enclosure.Internal.0-1:RAID.Integrated.1-1 Disk.Bay.2:Enclosure.Internal.0-1:RAID.Integrated.1-1 Disk.Bay.3:Enclosure.Internal.0-1:RAID.Integrated.1-1 Disk.Bay.12:Enclosure.Internal.0-1:RAID.Integrated.1-1
本次计划使用:
textBay 0 Bay 1 Bay 2 Bay 3
四块盘创建 RAID6。
3. 查看当前虚拟磁盘
执行:
bashracadm storage get vdisks
异常情况下可能直接出现:
textERROR: STOR0104 : No virtual disks are displayed. Check if the server has power, physical disks are available, and virtual disks are created.
如果本身还没有创建任何 Virtual Disk,这个提示不一定表示 PERC 故障。
4. 使用 RACADM 创建 RAID6
既然 Web 无法正常完成配置,可以直接使用 RACADM 创建 RAID。
完整命令:
bashracadm storage createvd:RAID.Integrated.1-1 -rl r6 -ss 256k -wp wb -rp ra -pdkey:Disk.Bay.0:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.1:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.2:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.3:Enclosure.Internal.0-1:RAID.Integrated.1-1 -name RAID6_0_3
参数说明:
text-rl r6 RAID6 -ss 256k Stripe Size 256KB -wp wb Write Back -rp ra Read Ahead -pdkey 指定参与阵列的物理硬盘 -name Virtual Disk 名称
执行后成功:
textSTOR094 : The storage configuration operation is successfully completed and the change is in pending state. To apply the configuration operation immediately, create a configuration job using the --realtime option.
这说明:
PERC 已经接受 RAID6 配置,阵列卡本身可以正常工作。
此时配置只是处于 Pending 状态,还需要提交。
5. 提交 Pending RAID 配置
执行:
bashracadm jobqueue create RAID.Integrated.1-1 --realtime
返回:
textRAC1024: Successfully scheduled a job. Verify the job status using "racadm jobqueue view -i JID_xxxxx" command. Commit JID = JID_895745421911
查看任务:
bashracadm jobqueue view
可以看到:
text[Job ID=JID_895745421911] Job Name=Configure: RAID.Integrated.1-1 Status=Running Start Time=[Now] Expiration Time=[Not Applicable] Message=[PR20: Job in progress.] Percent Complete=[1]
等待任务完成后应变成:
textStatus=Completed Message=[PR19: Job completed successfully.] Percent Complete=[100]
至此 RAID6 创建完成。
6. 发现 Export System Configuration 异常
在查看 Job Queue 时,还发现一个关键异常:
text[Job ID=JID_290143924436] Job Name=Export: System configuration XML file Status=Failed Start Time=[Not Applicable] Expiration Time=[Not Applicable] Message=[SYS044: Unable to export one or more component configurations.] Percent Complete=[100]
也就是说:
textExport System Configuration ↓ Failed ↓ SYS044
但 iDRAC Web 有时却提示:
textLC062: 导出或导入服务器配置文件操作已在运行
这里存在明显的状态不一致:
textJob Queue: Export Job 已经 Failed Web / Lifecycle Controller: 仍然认为 Export / Import 操作正在进行
这说明 Lifecycle Controller 内部可能存在状态残留,或者 Web 与 LC 的状态没有完全同步。
7. 查看 Lifecycle Controller 状态
执行:
bashracadm get LifecycleController.LCAttributes
得到:
textAutoBackup=Disabled #AutoDiscovery=Off AutoUpdate=Enabled BIOSRTDRequested=False CollectSystemInventoryOnRestart=Enabled #DiscoveryFactoryDefaults=Off IPChangeNotifyPS=Off #Licensed=Yes LifecycleControllerState=Enabled PartConfigurationUpdate=Apply always PartFirmwareUpdate=Match firmware of replaced part ProvisioningServer= #SystemID=627 VirtualAddressManagementApplication=
关键参数:
textCollectSystemInventoryOnRestart=Enabled LifecycleControllerState=Enabled
说明:
- Lifecycle Controller 已启用
- CSIOR 已启用
- 问题并不是 Lifecycle Controller 被关闭导致的
8. 查看 iDRAC 和 Lifecycle Controller 版本
执行:
bashracadm getversion
结果:
textBios Version = 2.13.0 iDRAC Version = 2.21.21.21 Lifecycle Controller Version = 2.21.21.21
这里可以确认:
textiDRAC / LC = 2.21.21.21
版本非常老。
而这台机器上的 PERC H730 Mini 固件明显更新得多。
9. Lifecycle Log 显示阵列卡被更换过
查看日志:
bashracadm lclog view
需要注意,iDRAC 自带 RACADM Shell 不是标准 Linux Shell,类似下面这种写法不能直接使用:
bashracadm lclog view | grep RAID
会报:
textERROR: The syntax of the command specified is not correct.
因此只能直接读取完整日志。
日志中出现:
textMessage ID = PR1 Category = Config AgentID = iDRAC Severity = Information Message = A replacement part was detected for device: PERC H330 Mini(Embedded) FQDD = RAID.Integrated.1-1
随后:
textMessage ID = PR8 Category = Config Severity = Warning Message = Device not detected: PERC H330 Mini(Embedded)
紧接着:
textMessage ID = PR7 Category = Config Severity = Information Message = New device detected: PERC H730 Mini(Embedded) FQDD = RAID.Integrated.1-1
可以确认这台机器之前使用的是:
textPERC H330 Mini
后来更换成:
textPERC H730 Mini
这意味着 Lifecycle Controller 中的硬件 Inventory 曾经发生过比较大的变化。
10. PERC 固件也发生过变化
Lifecycle Log 中还有:
textMessage ID = PR36 Category = Config AgentID = DE Severity = Information Message = Version change detected for PERC H730 Mini firmware. Previous version: 25.2.2-0004 Current version: 25.4.0.0015
也就是说这台服务器同时经历过:
textH330 Mini ↓ H730 Mini
以及:
textH730 Firmware 25.2.2-0004 ↓ 25.4.0.0015
而 iDRAC / Lifecycle Controller 仍然停留在:
text2.21.21.21
这进一步增加了 Lifecycle Controller Inventory 与当前硬件状态不一致的可能性。
11. RAID Controller 配置还被 Reset 过
Lifecycle Log 中还能看到:
textMessage ID = CTL11 Category = Storage AgentID = iDRAC Severity = Information Message = Configuration on Integrated RAID Controller 1 was reset. FQDD = RAID.Integrated.1-1
之后 Bay 0-3 的硬盘经历过:
textREADY ↓ Non-RAID
例如:
textMessage ID = PDR77 Message = Disk 0 in Backplane 1 of Integrated RAID Controller 1 state changed from READY to Non-RAID.
其他三块盘也一样:
textDisk 1 READY → Non-RAID Disk 2 READY → Non-RAID Disk 3 READY → Non-RAID
之后又陆续恢复:
textMessage ID = PDR4 Message = Disk 0 in Backplane 1 of Integrated RAID Controller 1 returned to a ready state.
最终:
textDisk 0 → READY Disk 1 → READY Disk 2 → READY Disk 3 → READY
这说明 Lifecycle Controller 确实重新处理过 RAID Controller 和这些 Physical Disk 的状态。
12. RACADM 创建 RAID 后日志正常
最终通过 RACADM 创建 RAID6 后,日志正常。
四块硬盘上线:
textMessage ID = PDR26 Message = Disk 0 in Backplane 1 of Integrated RAID Controller 1 is online.
随后:
textDisk 1 is online Disk 2 is online Disk 3 is online
Virtual Disk 成功创建:
textMessage ID = VDR4 Category = Storage AgentID = iDRAC Severity = Information Message = Virtual Disk 0 on Integrated RAID Controller 1 was created. FQDD = Disk.Virtual.0:RAID.Integrated.1-1
随后开始 Background Initialization:
textMessage ID = VDR32 Message = Background initialization has started for Virtual Disk 0 on Integrated RAID Controller 1.
最后:
textMessage ID = PR19 Category = Config AgentID = iDRAC Severity = Information Message = Job completed successfully. Message Arg 1 = RAID.Integrated.1-1
因此可以基本排除:
- PERC H730 Mini 本身故障
- 物理硬盘故障
- RAID6 本身无法创建
- Configuration Job 无法执行
13. 为什么 Web 创建失败,但 RACADM 可以?
iDRAC Web 创建 RAID,大致要经过:
textiDRAC Web ↓ Lifecycle Controller ↓ 读取 Hardware Inventory ↓ 创建 Pending Configuration ↓ 创建 Configuration Job ↓ PERC ↓ 应用配置
而使用 RACADM:
bashracadm storage createvd ...
相当于更加直接地告诉 Storage Provider:
text指定 Controller 指定 Physical Disk 指定 RAID Level ↓ 创建 Pending Configuration
然后再手动执行:
bashracadm jobqueue create RAID.Integrated.1-1 --realtime
流程变成:
textRACADM ↓ Storage Provider ↓ Pending Configuration ↓ 手动创建 Configuration Job ↓ PERC
所以即使 Web 上层的 Inventory 或状态管理异常,底层 PERC 仍然可以正常完成 RAID 配置。
14. STOR026 不是根本原因
Web 之前出现:
textSTOR026: Unable to create configuration job because there are no pending configuration changes.
它表达的实际含义是:
textLifecycle Controller: 当前没有 Pending Configuration, 因此无法创建 Configuration Job。
但 Web 页面刚刚执行过 RAID 创建操作。
这说明有可能出现:
textWeb ↓ 认为已经创建 Pending Configuration Lifecycle Controller ↓ 实际上没有正确记录或同步 Pending Configuration Web ↓ 继续提交 Configuration Job Lifecycle Controller ↓ 返回 STOR026
所以 STOR026 更像是状态不同步后的结果,而不是根因。
15. LC062 同样说明状态可能残留
另一个错误:
textLC062: Export or Import Server Configuration Profile operation is already running.
但 Job Queue 中对应任务实际上是:
textExport: System configuration XML file Status=Failed
一种合理的故障链路是:
textExport Job ↓ 执行失败 ↓ Job Queue 标记为 Failed ↓ Lifecycle Controller 内部状态未完全释放 ↓ Web 再次发起配置操作 ↓ LC 判断仍有 Export / Import 正在运行 ↓ LC062
这类问题本质上更接近:
textstale state
或者:
textstale lock
16. 根因判断
结合目前的日志,问题更可能是多个条件叠加导致:
text较旧的 iDRAC / LC 2.21.21.21 + RAID Controller 从 H330 更换成 H730 + Lifecycle Controller 检测到 Replacement Part + H730 Firmware 发生升级 + RAID Controller Configuration 被 Reset + Hardware Inventory 多次变化 ↓ Lifecycle Controller Inventory / 状态异常 ↓ System Configuration Export SYS044 ↓ Web Storage 状态与 PERC Pending 状态不同步 ↓ LC062 / STOR026
目前可以基本确认:
PERC H730 Mini 正常
因为:
bashracadm storage createvd
可以正常创建 Pending Configuration。
物理硬盘正常
最终日志中:
textDisk 0 Online Disk 1 Online Disk 2 Online Disk 3 Online
Configuration Job 正常
最终出现:
textPR19: Job completed successfully.
RAID6 正常
Virtual Disk 成功创建,并开始 Background Initialization。
解决方案
如果目标只是解决 iDRAC Web 无法创建 RAID 的问题,可以直接通过 RACADM 创建阵列。
1. SSH 登录 iDRAC
bashssh root@192.168.1.245
2. 查看物理硬盘
bashracadm storage get pdisks
示例:
textDisk.Bay.0:Enclosure.Internal.0-1:RAID.Integrated.1-1 Disk.Bay.1:Enclosure.Internal.0-1:RAID.Integrated.1-1 Disk.Bay.2:Enclosure.Internal.0-1:RAID.Integrated.1-1 Disk.Bay.3:Enclosure.Internal.0-1:RAID.Integrated.1-1
3. 创建 RAID6
Bay 0-3 创建 RAID6:
bashracadm storage createvd:RAID.Integrated.1-1 -rl r6 -ss 256k -wp wb -rp ra -pdkey:Disk.Bay.0:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.1:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.2:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.3:Enclosure.Internal.0-1:RAID.Integrated.1-1 -name RAID6_0_3
成功后会返回:
textSTOR094 : The storage configuration operation is successfully completed and the change is in pending state.
4. 提交配置
立即应用:
bashracadm jobqueue create RAID.Integrated.1-1 --realtime
5. 查看 Job 状态
bashracadm jobqueue view
正常完成:
textJob Name=Configure: RAID.Integrated.1-1 Status=Completed Message=[PR19: Job completed successfully.] Percent Complete=[100]
6. 查看虚拟磁盘
bashracadm storage get vdisks
查看详细信息:
bashracadm storage get vdisks -o
7. 清理失败 Job
确认没有正在运行的重要任务后,可以查看:
bashracadm jobqueue view
删除指定失败任务:
bashracadm jobqueue delete -i JID_xxxxxxxxxxxx
如果 Job Queue 已经明显异常,也可以考虑:
bashracadm jobqueue delete -i JID_CLEARALL_FORCE
注意:
JID_CLEARALL_FORCE会清空整个 Lifecycle Controller Job Queue。
如果存在 BIOS、RAID、Firmware Pending Job,不要直接执行。
8. 重启 iDRAC
如果怀疑 iDRAC / LC 状态残留:
bashracadm racreset soft
这个操作只会重启 iDRAC,不会重启服务器操作系统。
SSH 会断开几分钟,等待 iDRAC 恢复即可。
17. 后续维护建议
目前 RAID 已经正常建立,后续建议继续处理管理固件和 Inventory 状态。
17.1 升级 iDRAC / Lifecycle Controller
当前版本:
textiDRAC 2.21.21.21 Lifecycle Controller 2.21.21.21
版本较老。
建议确认 Dell 官方升级路径后,再逐步升级到较新的 iDRAC8 / LC 版本。
不建议在没有确认升级路径的情况下直接跨多个大版本升级。
17.2 检查完整固件版本
建议确认:
textBIOS iDRAC Lifecycle Controller PERC H730 Mini Backplane NIC CPLD PSU
尽量让服务器整体 Firmware Baseline 保持在合理范围。
17.3 完整重启并重新收集 Inventory
当前:
textCollectSystemInventoryOnRestart=Enabled
因此完整重启后,Lifecycle Controller 会重新进行 Hardware Inventory。
可以借此重新确认:
textSystem Controller Physical Disk Virtual Disk Firmware
等组件状态。
18. RAID10 RACADM 补充
另一台相同型号的 R730xd 上还测试了 4 块盘 RAID10。
使用:
bashracadm storage createvd:RAID.Integrated.1-1 -rl r10 -sc 2 ...
出现:
textSTOR090 : Unable to create a virtual disk because an invalid combination of span count or number of disks was entered for the RAID level selected.
最终改为:
text-sc 0
成功。
示例:
bashracadm storage createvd:RAID.Integrated.1-1 -rl r10 -sc 0 -ss 256k -wp wb -rp ra -pdkey:Disk.Bay.8:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.9:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.10:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.11:Enclosure.Internal.0-1:RAID.Integrated.1-1 -name RAID10_8_11
返回:
textSTOR094 : The storage configuration operation is successfully completed and the change is in pending state.
提交方式相同:
bashracadm jobqueue create RAID.Integrated.1-1 --realtime
19. 常用排查命令
查看版本:
bashracadm getversion
查看 Lifecycle Controller:
bashracadm get LifecycleController.LCAttributes
查看 Job Queue:
bashracadm jobqueue view
查看物理盘:
bashracadm storage get pdisks
查看虚拟盘:
bashracadm storage get vdisks
查看虚拟盘详细信息:
bashracadm storage get vdisks -o
查看 Lifecycle Log:
bashracadm lclog view
重启 iDRAC:
bashracadm racreset soft
20. 总结
本次故障表面上表现为:
textiDRAC Web 无法创建 RAID
但实际测试结果是:
textRACADM 创建 Pending Configuration 成功 Configuration Job 提交成功 PERC 创建 Virtual Disk 成功 物理硬盘全部 Online Background Initialization 正常
因此可以排除 PERC 和硬盘本身的主要故障。
结合日志:
textH330 → H730 PERC Firmware 发生变化 RAID Controller Configuration 被 Reset SYS044 LC062 STOR026
以及较旧的:
textiDRAC / LC 2.21.21.21
更可能的问题点位于:
textiDRAC Web Lifecycle Controller Hardware Inventory Pending Configuration Job Queue
之后如果遇到类似问题,可以优先执行:
bashracadm getversion racadm jobqueue view racadm storage get pdisks racadm storage get vdisks racadm get LifecycleController.LCAttributes racadm lclog view
如果出现:
textWeb 不行 RACADM 正常
应优先检查:
textLifecycle Controller Inventory Job Queue Pending Configuration System Configuration Export iDRAC / LC Firmware
而不是直接判断 PERC 或物理硬盘故障。
本文作者:Casear
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!