mdadm RAID6,在重塑时恢复2个磁盘故障

我正在从10个磁盘重塑我的arrays到11降级状态(驱动器我想添加已经有数据,但无处可放)。 2个驱动器在运行时断开(电源问题)。

是否仍然可以恢复这个数组?

电源循环后,我无法再次将它们添加到arrays:

mdadm: /dev/md0 has failed so using --add cannot work and might destroy mdadm: data on /dev/sdX1. You should stop the array and re-assemble it. 

自重启后,我试过了:

– 组装,由于“错误”磁盘而失败

– 组装 – 强制,失败:

 md: sdl1 does not have a valid v1.2 superblock, not importing! md: sdk1 does not have a valid v1.2 superblock, not importing! md/raid:md0: not enough operational devices (3/11 failed) md/raid:md0: failed to run raid set.` 

我一直在阅读RAID恢复文章,但到目前为止还没有成功。

mdadm --create --chunk=64 --size=1953512448 --assume-clean --level=6 --raid-devices=11 /dev/md0 /dev/sd{f,h,e,g,m,i,k,l,n,d}1 missing ,失败:

 mdadm: /dev/sdf1 is smaller than given size. 1953512256K < 1953512448K + metadata 

为所有驱动器。 我对–size的参数是从mdadm –examine / dev / sdf1中“使用Dev Size / 2”。 我已经将mdadm降级到v3.1.2的每个版本(当默认元数据被更改为1.2时,我知道我从来没有手动指定它)。

除去–size,我可以创build数组,但不能mount:

  XFS(md0):挂载V4文件系统
 XFS(md0):日志不一致(没有find以前的头文件)
 XFS(md0):未能find日志头
 XFS(md0):日志装载/恢复失败:错误-5
 XFS(md0):日志装载失败

信息

我的mdadm --detail重塑前的尾巴:

 的/ dev / md0的:
        版本:1.2
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
     arrays大小:15628099584(14904.12 GiB 16003.17 GB)
  二手Dev尺寸:1953512448(1863.01 GiB 2000.40 GB)
    Raid设备:10
  设备总数:10
    持久性:超级块是持久的

  意图位图:内部

    更新时间:2015年6月17日星期三14:16:09
          状态:干净
 有源器件:10
工作设备:10
 失败的设备:0
  备用设备:0

         布局:左对称
     块大小:64K

           名称:ubuntu:0
            UUID:70485ad1:0f5f2362:e8f5489a:577ac908
         事件:6037532

    数量主要次要RaidDevice状态
        0 8 81 0活动同步/ dev / sdf1
        9 8 177 1活动同步/ dev / sdl1
       12 8 65 2主动同步/ dev / sde1
        3 8 97 3活动同步/ dev / sdg1
        4 8 145 4活动同步/ dev / sdj1
        6 8 193 5活动同步/ dev / sdm1
        7 8 113 6活动同步/ dev / sdh1
        8 8 129 7活动同步/ dev / sdi1
       10 8 161 8活动同步/ dev / sdk1
       11 8 49 9活动同步/ dev / sdd1

mdadm --examine失败后重新启动,所有的磁盘再次可见:

设备path已经改变,因为在重塑开始之前添加了热插拔磁盘

 的/ dev / SDD1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:3907024896(1863.01 GiB 2000.40 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
    数据抵消:2048个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:329fc32d:e9cf2ff4:3aa6c9a0:500aa445

内部位图:超级块中的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:904d0c9c  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备9
   arrays状态:A.AAA ... AA。  ('A'==活跃,'。'缺less)


的/ dev / SDE1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:3907024896(1863.01 GiB 2000.40 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
    数据抵消:2048个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:e59303ea:e613013e:ef8af657:1fc6ccab

内部位图:来自超级块的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:b3b3f659  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备2
   arrays状态:A.AAA ... AA。  ('A'==活跃,'。'缺less)


的/ dev / SDF1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:3907024896(1863.01 GiB 2000.40 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
    数据抵消:2048个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:6aa0f9d8:e7b0cc66:d2f2a60​​0:ef305279

内部位图:来自超级块的2个扇区
  重新定位:3148373376(3002.52 GiB 3223.93 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:3beac20c  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备0
   arrays状态:AAAAAAAAAA。  ('A'==活跃,'。'缺less)


的/ dev / sdg1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:3907024896(1863.01 GiB 2000.40 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
    数据抵消:2048个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:4b1d87a9:16027400:df71810f:3ce53c50

内部位图:来自超级块的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:91a563ea  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备3
   arrays状态:A.AAA ... AA。  ('A'==活跃,'。'缺less)


的/ dev / SDH1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:5860268032(2794.39 GiB 3000.46 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
  使用开发大小:3907024896(1863.01 GiB 2000.40 GB)
    数据偏移量:262144个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:27c8fefa:8b2b74a2:9a456d34:d1a60c20

内部位图:来自超级块的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:29:09
       校验和:ee4ae103  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备1
   arrays状态:AAAAAA..AA。  ('A'==活跃,'。'缺less)


的/ dev / SDI1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:3907024896(1863.01 GiB 2000.40 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
    数据抵消:2048个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:bebc3764:9e582fe8:01de9766:2d8c452b

内部位图:来自超级块的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:29:09
       校验和:6632686d  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备5
   arrays状态:AAAAAA..AA。  ('A'==活跃,'。'缺less)


的/ dev / sdk1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:5860268032(2794.39 GiB 3000.46 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
  使用开发大小:3907024896(1863.01 GiB 2000.40 GB)
    数据偏移量:262144个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:986d9f31:3a74b90d:7800779e:31607539

内部位图:来自超级块的2个扇区
  重新定位:3148373376(3002.52 GiB 3223.93 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:24:09
       校验和:de0a23b  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备6
   arrays状态:AAAAAAAAAA。  ('A'==活跃,'。'缺less)


的/ dev / SDL1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:5860268032(2794.39 GiB 3000.46 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
  使用开发大小:3907024896(1863.01 GiB 2000.40 GB)
    数据偏移量:262144个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:a5f4ac69:f6bbac94:60c1b790:db2c223e

内部位图:来自超级块的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:28:58
       校验和:c9909fb9  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备7
   arrays状态:AAAAAA.AAA。  ('A'==活跃,'。'缺less)


的/ dev / SDM1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:3907024896(1863.01 GiB 2000.40 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
    数据抵消:2048个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:938d9190:582eecf8:b9157fce:38705df2

内部位图:来自超级块的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:d2462ecd  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备4
   arrays状态:A.AAA ... AA。  ('A'==活跃,'。'缺less)


的/ dev / SDN1:
          魔术:a92b4efc
        版本:1.2
    function图:0x5
     数组UUID:70485ad1:0f5f2362:e8f5489a:577ac908
           名称:ubuntu:0
  创作时间:星期五1月27日19:20:36 2012
     团队副本:raid6
    Raid设备:11

  Avail Dev Size:3907024896(1863.01 GiB 2000.40 GB)
     arrays大小:17581612032(16767.13 GiB 18003.57 GB)
    数据抵消:2048个扇区
   超级抵消:8个行业
          状态:干净
    设备UUID:289f68f6:f43d8a40:2203e21c:e6cff371

内部位图:来自超级块的2个扇区
  重新定位:3196923264(3048.82 GiB 3273.65 GB)
  三angular洲设备:1(10-> 11)

    更新时间:2015年6月17日星期三19:46:34
       校验和:4db49d1a  - 正确
         活动:6039833

         布局:左对称
     块大小:64K

   设备angular色:主动设备8
   arrays状态:A.AAA ... AA。  ('A'==活跃,'。'缺less)

我认为你没有讲完整个故事,我怀疑电源故障是在RAID重新同步期间,如果是的话 – 自动组装将无法正常工作。 是时候从备份恢复或使用专业人士的帮助。

那么好消息是所有十个驱动器都有相匹配的事件计数在6039833。

我认为成功的关键是解决你为什么看到…

 md: sdl1 does not have a valid v1.2 superblock, not importing! md: sdk1 does not have a valid v1.2 superblock, not importing! 

这是一个有趣的案例,当然需要一些研究来找出解决scheme。 如果您需要帮助,请通过我的个人资料中的网页链接联系我。