数据库导入时的LSI RAID控制器错误 – 如何排除故障？

我们正在Oracle系统上运行数据库转储的导入 – （RHEL 5.9,2.6.18-348.6.1.el5）。 导入不完成，最终出错：

ORA-15080: synchronous I/O operation to a disk failed WARNING: failed to write mirror side 1 of virtual extent 248 logical extent 0 of file 280 in group 1 on disk 1 allocation unit 986 Errors in file /u01/app/oracle/diag/rdbms/dbprod/DBPROD/trace/DBPROD_lgwr_24520.trc: ORA-00345: redo log write error block 509314 count 2023 ORA-00312: online log 1 thread 1: '+DATA/dbprod/redo01.log' ORA-15081: failed to submit an I/O operation to a disk ORA-15081: failed to submit an I/O operation to a disk 

环形缓冲区和/var/log/messages有相应的错误：

 Jun 12 18:54:42 db1-test kernel: megasas: build_ld_io error, sge_count = 51 Jun 12 18:54:42 db1-test kernel: megasas: Err returned from build_and_issue_cmd Jun 12 18:54:42 db1-test kernel: megasas: build_ld_io error, sge_count = 51 Jun 12 18:54:42 db1-test kernel: megasas: Err returned from build_and_issue_cmd Jun 12 18:54:42 db1-test kernel: megasas: build_ld_io error, sge_count = 51 Jun 12 18:54:42 db1-test kernel: megasas: Err returned from build_and_issue_cmd Jun 12 18:54:42 db1-test kernel: sd 0:2:1:0: timing out command, waited 360s Jun 12 18:54:42 db1-test kernel: sd 0:2:1:0: Unhandled error code Jun 12 18:54:42 db1-test kernel: sd 0:2:1:0: SCSI error: return code = 0x06000000 Jun 12 18:54:42 db1-test kernel: Result: hostbyte=DID_OK driverbyte=DRIVER_TIMEOUT,SUGGEST_OK 

包含导入的驱动器arrays是RAID 1 + 0中使用300GB 10k磁盘的10磁盘SASarrays。 RAID控制器是LSI MegaRAID SAS 9260-8i 。 没有磁盘或适配器错误通过MegaCLI报告。

• 这是硬件问题吗？
• 有什么方法可以排除故障吗？ RAID控制器状态正常。 磁盘和逻辑驱动器报告健康。
• 这是一个Linux操作系统或调优问题？ 我会尝试使用不同的I / O调度程序。 CFQ是默认的。

编辑：

• 为了build立一个物理服务器集群，需要哪些“部分”？
• 在OOM杀手级日志中查看完整的程序命令行参数
• Tomcat中的redirect端口是什么？
• 对initramfs systemd服务的反思 – 如何？
• 经过硬件RAIDarrays扩展fdisk不会允许我使用额外的可用扇区

其他调度程序已经尝试了相同的结果。 在此设置中运行第三方（Vormetric）文件系统encryption模块 。 删除它可以导入完成。 所以现在我想知道这是否是模块中的缺陷，或者是否在LSI驱动中触发了一个不好的情况。

在导入期间，我们达到了14,000个写入IOPS。

在最近的尝试中，系统在控制台上完全停止。

冻结前的最后一个输出。

 megacli -adpeventlog -getevents -f /tmp/megaraid-$(date +%F_%T) -aALL 

 # megacli -pdlist -a0 |grep 'Device Id' Device Id: 10 Device Id: 9 # smartctl -a /dev/sda -d megaraid,9 «…» # smartctl -a /dev/sda -d megaraid,10 «…»