Contenu | Rechercher | Menus

Annonce

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 21/09/2017, à 20:01

rbn8

RAID6 - Tous les disques en spare

Bonjour à tous,

J'ai récemment eu un souci avec mon RAID 6.
Ma config : 10 HDD en RAID6 sur une carte PCI, le tout utilisé sur une VM Synology DSM (NAS) via Hyper-V sur un WS2012 R2.


Avant problème (exemple pour un disque) :

SIZE NAME                            FSTYPE            LABEL         MOUNTPOINT
 2,7T sdf                                                             
 2,7T ├─sdf3                          linux_raid_member DATASTATION:2 
21,8T │ └─md2                         LVM2_member                     
21,8T │   ├─vg1-volume_1              ext4              1.42.6-5644   

Pour faire court : pour une raison inconnue, le système a redémarré et deux disques ont été exclue du RAID [8/10].

J'éteins donc mon DSM et lance un Ubuntu 16.04 pour mesurer l’ampleur des dégâts.
Après quelques vérifications et quelques recherches, j’entreprends de faire un mdadm --set-faulty sur les deux disques (un par un), pour ensuite faire un --remove et enfin un --add.
Manque de chance ça n'a pas marché (il a pourtant travaillé jusqu'au bout), et je décide d'utiliser l'IHM du DSM synology pour ajouter ces deux disques.
Pendant le process, la machine hôte WS2012 m'a pondu une vingtaine de bluescreen (gg Windows)!


Résultat : plus aucun disque actif dans le RAID et la partition a disparue.

robin@WS2012-Ubuntu:~$ sudo lsblk -o SIZE,NAME,FSTYPE,LABEL,MOUNTPOINT
 SIZE NAME   FSTYPE            LABEL         MOUNTPOINT
 2,7T sdf                                    
 2,7T ├─sdf3 linux_raid_member DATASTATION:2 
 2,4G ├─sdf1 linux_raid_member               
   2G └─sdf2 linux_raid_member               
 2,7T sdd                                    
   2G ├─sdd2 linux_raid_member               
 2,7T ├─sdd3 linux_raid_member DATASTATION:2 
 2,4G └─sdd1 linux_raid_member               
 2,7T sdb                                    
   2G ├─sdb2 linux_raid_member               
 2,7T ├─sdb3 linux_raid_member DATASTATION:2 
 2,4G └─sdb1 linux_raid_member               
 2,7T sdk                                    
 2,7T ├─sdk3 linux_raid_member DATASTATION:2 
 2,4G ├─sdk1 linux_raid_member               
   2G └─sdk2 linux_raid_member               
 2,7T sdi                                    
 2,7T ├─sdi3 linux_raid_member DATASTATION:2 
 2,4G ├─sdi1 linux_raid_member               
   2G └─sdi2 linux_raid_member               
1024M sr0                                    
 2,7T sdg                                    
 2,7T ├─sdg3 linux_raid_member DATASTATION:2 
 2,4G ├─sdg1 linux_raid_member               
   2G └─sdg2 linux_raid_member               
   4K fd0                                    
 2,7T sde                                    
   2G ├─sde2 linux_raid_member               
 2,7T ├─sde3 linux_raid_member DATASTATION:2 
 2,4G └─sde1 linux_raid_member               
 2,7T sdc                                    
   2G ├─sdc2 linux_raid_member               
 2,7T ├─sdc3 linux_raid_member DATASTATION:2 
 2,4G └─sdc1 linux_raid_member               
  50G sda                                    
   1K ├─sda2                                 
  16G ├─sda5 swap                            [SWAP]
  34G └─sda1 ext4                            /
 2,7T sdj                                    
 2,7T ├─sdj3 linux_raid_member DATASTATION:2 
 2,4G ├─sdj1 linux_raid_member               
   2G └─sdj2 linux_raid_member               
 2,7T sdh                                    
 2,7T ├─sdh3 linux_raid_member DATASTATION:2 
 2,4G ├─sdh1 linux_raid_member               
   2G └─sdh2 linux_raid_member               
robin@WS2012-Ubuntu:~$ sudo mdadm --detail /dev/md2
/dev/md2:
        Version : 1.2
     Raid Level : raid0
  Total Devices : 10
    Persistence : Superblock is persistent

          State : inactive

           Name : DATASTATION:2
           UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
         Events : 47498

    Number   Major   Minor   RaidDevice

       -       8      163        -        /dev/sdk3
       -       8      147        -        /dev/sdj3
       -       8      131        -        /dev/sdi3
       -       8      115        -        /dev/sdh3
       -       8       99        -        /dev/sdg3
       -       8       83        -        /dev/sdf3
       -       8       67        -        /dev/sde3
       -       8       51        -        /dev/sdd3
       -       8       35        -        /dev/sdc3
       -       8       19        -        /dev/sdb3
robin@WS2012-Ubuntu:~$ cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md2 : inactive sde3[3](S) sdh3[12](S) sdg3[5](S) sdk3[8](S) sdj3[9](S) sdi3[11](S) sdb3[10](S) sdf3[7](S) sdd3[6](S) sdc3[2](S)
      29254445600 blocks super 1.2
       
unused devices: <none>
robin@WS2012-Ubuntu:~$ sudo mdadm --examine /dev/sdd
/dev/sdd:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)


robin@WS2012-Ubuntu:~$ sudo mdadm --examine /dev/sde
[sudo] Mot de passe de robin : 
/dev/sde:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)


robin@WS2012-Ubuntu:~$ sudo mdadm --examine /dev/sdf
/dev/sdf:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)
robin@WS2012-Ubuntu:~$ cat /etc/mdadm/mdadm.conf 
# definitions of existing MD arrays
ARRAY /dev/md/2  metadata=1.2 UUID=c2c3c3e9:58e9ef7b:82edb893:e678743d name=DATASTATION:2
root@WS2012-Ubuntu:~# mdadm --detail --scan --verbose
INACTIVE-ARRAY /dev/md2 num-devices=10 metadata=1.2 name=DATASTATION:2 UUID=c2c3c3e9:58e9ef7b:82edb893:e678743d
   devices=/dev/sdb3,/dev/sdc3,/dev/sdd3,/dev/sde3,/dev/sdf3,/dev/sdg3,/dev/sdh3,/dev/sdi3,/dev/sdj3,/dev/sdk3
root@WS2012-Ubuntu:~# mdadm --examine /dev/sdk3
/dev/sdk3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 83a3997d:9d073cf5:1ab9856b:b4033431

    Update Time : Fri Sep  1 16:39:55 2017
       Checksum : f3af150 - correct
         Events : 47498

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : spare
   Array State : .......... ('A' == active, '.' == missing, 'R' == replacing)


J'ai entrepris un --assemble :

root@WS2012-Ubuntu:~# mdadm --stop md2
mdadm: stopped md2

root@WS2012-Ubuntu:~# mdadm --assemble --scan
mdadm: /dev/md/2 assembled from 6 drives and 2 spares - not enough to start the array.
root@WS2012-Ubuntu:~# mdadm --examine /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 95c06c7f:971b8228:efeaa45f:5828afb2

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : ba0b86da - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : spare
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
root@WS2012-Ubuntu:~# blkid
/dev/sda1: UUID="fe48968e-a82b-4e79-8237-119ba043d26c" TYPE="ext4" PARTUUID="da36e843-01"
/dev/sda5: UUID="f76117e3-5de7-4abf-8e07-5bc9576fc168" TYPE="swap" PARTUUID="da36e843-05"
/dev/sdc1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="f4c73639-cde7-4735-97bf-5fbaa0c3233a"
/dev/sdc2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="2c370b84-2f1e-4588-902c-8d7209189e99"
/dev/sdc3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="7e4e65ab-601a-c336-0221-2ccfa8c5b0c7" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="57cbfa33-4418-4256-bcd6-419adb576ea6"
/dev/sdb1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="85189725-c607-4468-8f7e-be3b7a4b233d"
/dev/sdb2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="4e4d86bd-744a-470f-aa28-c42a34fa6ef3"
/dev/sdb3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="8af5fda4-2665-92cb-360c-79b71902cc27" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="8def4288-d8a4-455f-8294-b38e079627fd"
/dev/sdd1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="9d7499db-e4df-4807-a185-720e0a39c1e0"
/dev/sdd2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="2e8067cd-b915-4244-b605-2cbb42cc810b"
/dev/sdd3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="7833125d-eb16-609f-360b-58bb904416e8" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="daba67c7-c870-4681-bad5-8a61cfacf243"
/dev/sdf1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="fcaa72da-56d1-48f3-8a95-e40a66eb1972"
/dev/sdf2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="a8f5d410-f4e3-4959-a7c1-150782499ec6"
/dev/sdf3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="39b5057e-3bfa-50f3-92e7-16622423c535" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="8e0c65e6-30ff-4ab0-ab02-ae149407ee3c"
/dev/sdg1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="c68d70f7-42af-4562-83d0-121e450b2dfb"
/dev/sdg2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="629c09a7-b2eb-4e69-807c-3c6b4025e108"
/dev/sdg3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="3a5fa935-4749-0b19-188f-0139b776f4a9" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="f1546668-7344-44ad-a0b4-8fd15236887a"
/dev/sde1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="aa4bc471-d2ee-4a32-988a-841a4c4fb330"
/dev/sde2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="86acceac-3acd-464f-81ee-62199699d485"
/dev/sde3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="40febebe-818f-2efc-b697-37445bfb46f1" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="10b0a006-be5f-4ac6-85fa-94e4acc549a0"
/dev/sdh1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="2b1134ed-cda9-45db-8651-0948097eced4"
/dev/sdh2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="16d54ea4-29bf-4527-bdc4-673a5771e72c"
/dev/sdh3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="95c06c7f-971b-8228-efea-a45f5828afb2" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="c9c36671-c4ba-4be4-b055-cdbdefed09cf"
/dev/sdj1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="725440a1-e108-419b-a59e-0ef8e92cdbc0"
/dev/sdj2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="38786640-fb13-4cda-bfcb-2230ffa4a018"
/dev/sdj3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="4c912550-6bf5-0e36-27b4-9ac1d53c21fa" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="b86292e9-59d1-4574-9a52-19de31836302"
/dev/sdi1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="2a74db20-945e-43a4-acd0-ec40c1bcaa5a"
/dev/sdi2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="21d42993-36f7-4faf-912f-6f5c5bdd7f2b"
/dev/sdi3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="d86936e3-4554-75a2-59d4-2ede62979378" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="0b6c6537-6480-4d0a-9374-022ca944014a"
/dev/sdk1: UUID="b037ed2e-6f60-0c51-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="0de5dff6-035a-4716-9fbd-541c8f0d239d"
/dev/sdk2: UUID="7e0f81c4-ec5a-156c-9c4b-9e4456be808a" TYPE="linux_raid_member" PARTUUID="7da2a8a2-78c0-49ef-9793-2d0108b722d8"
/dev/sdk3: UUID="c2c3c3e9-58e9-ef7b-82ed-b893e678743d" UUID_SUB="83a3997d-9d07-3cf5-1ab9-856bb4033431" LABEL="DATASTATION:2" TYPE="linux_raid_member" PARTUUID="2896eda1-4ee6-4121-8c9d-6672f1ee567e"

Après quelques recherches, j'ai trouvé deux cas qui se rapprochent du mien :
https://www.linuxquestions.org/question … 4175572950
https://raid.wiki.kernel.org/index.php/RAID_Recovery


J'ai actuellement un RAID à 6/10, sachant que 2 sont en spare, et les deux autres sont complétement crashés (ils étaient en reconstruction pendant le crash).


Quand je compare le mdadm actuel avec un ancien, je pense avoir identifié les disques plantés (à confirmer) :

Avant : 
    Number   Major   Minor   RaidDevice State
      10       8       99        0      active sync   /dev/sdg3
       1       8       67        1      active sync   /dev/sde3
       2       8      131        2      active sync   /dev/sdi3
       3       8      195        3      active sync   /dev/sdm3
      11       8      147        4      active sync   /dev/sdj3
       5       8      115        5      active sync   /dev/sdh3
       7       8       83        6      active sync   /dev/sdf3
       6       8       51        7      active sync   /dev/sdd3
       9       8      179        8      active sync   /dev/sdl3
       8       8      163        9      active sync   /dev/sdk3


Actuel : 
    Number   Major   Minor   RaidDevice
       -       8      163        -        /dev/sdk3
       -       8      147        -        /dev/sdj3
       -       8      131        -        /dev/sdi3
       -       8      115        -        /dev/sdh3
       -       8       99        -        /dev/sdg3
       -       8       83        -        /dev/sdf3
       -       8       67        -        /dev/sde3
       -       8       51        -        /dev/sdd3
       -       8       35        -        /dev/sdc3
       -       8       19        -        /dev/sdb3

Les sdc, sdd, sde, sdf, sdh, sdi, sdj et sdk sont identiques sur les deux (nom ET valeur du minor)
Tandis que les sdk et sdl seraient les disques plantés qui étaient sdb et sdc avant.


Je pense qu'il y a deux solutions :
1) Essayer d'ajouter les deux disques actuellement en spare (qui sont normalement intacte) pour arriver à 8/10 et relancer le RAID.
2) Suivre la procédure dans les liens ci-dessus


Je n'ai pour le moment pas voulu aller plus loin, car je souhaiterais avoir l'avis d'une personne plus compétente que moi. Peut-être que je suis complétement à côté de la plaque..


Je vous remercie d'avance pour votre intérêt à mon problème.

Robin.

Hors ligne

#2 Le 21/09/2017, à 21:17

jamesbad000

Re : RAID6 - Tous les disques en spare

Hello.

Que donnes

sudo mdadm -E /dev/sd[b-k]3

L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#3 Le 21/09/2017, à 22:37

rbn8

Re : RAID6 - Tous les disques en spare

Hello, ravi de te revoir smile
Comment vas-tu?


Voici le résultat :

root@WS2012-Ubuntu:~# sudo mdadm -E /dev/sd[b-k]3
/dev/sdb3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 8af5fda4:266592cb:360c79b7:1902cc27

    Update Time : Fri Sep  1 16:39:55 2017
       Checksum : 4f80f263 - correct
         Events : 47498

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : spare
   Array State : .......... ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 7e4e65ab:601ac336:02212ccf:a8c5b0c7

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : 78cde6e6 - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 2
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 7833125d:eb16609f:360b58bb:904416e8

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : 9fa9318b - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 7
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sde3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 40febebe:818f2efc:b6973744:5bfb46f1

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : f034b831 - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 3
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdf3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 39b5057e:3bfa50f3:92e71662:2423c535

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : 8fb518d - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 6
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdg3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 3a5fa935:47490b19:188f0139:b776f4a9

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : 317345b0 - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 5
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 95c06c7f:971b8228:efeaa45f:5828afb2

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : ba0b86da - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : spare
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdi3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : d86936e3:455475a2:59d42ede:62979378

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : dc36c13f - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : spare
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdj3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 4c912550:6bf50e36:27b49ac1:d53c21fa

    Update Time : Fri Sep  1 17:39:28 2017
       Checksum : 41b90f18 - correct
         Events : 47501

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 8
   Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdk3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c2c3c3e9:58e9ef7b:82edb893:e678743d
           Name : DATASTATION:2
  Creation Time : Sun Aug  7 15:04:44 2016
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : 83a3997d:9d073cf5:1ab9856b:b4033431

    Update Time : Fri Sep  1 16:39:55 2017
       Checksum : f3af150 - correct
         Events : 47498

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : spare
   Array State : .......... ('A' == active, '.' == missing, 'R' == replacing)

Dernière modification par rbn8 (Le 21/09/2017, à 23:03)

Hors ligne

#4 Le 22/09/2017, à 00:04

jamesbad000

Re : RAID6 - Tous les disques en spare

Moi ça va. Ton raid par contre...

Voici un récap de la situation par disques

disk	posit.  events  dernière écriture  
b 	spare	47498 	Fri Sep  1 16:39:55 2017
c 	2	47501 	Fri Sep  1 17:39:28 2017
d 	7	47501 	Fri Sep  1 17:39:28 2017
e 	3	47501 	Fri Sep  1 17:39:28 2017
f 	6	47501 	Fri Sep  1 17:39:28 2017
g 	5	47501 	Fri Sep  1 17:39:28 2017
h 	spare 	47501 	Fri Sep  1 17:39:28 2017
i 	spare 	47501	Fri Sep  1 17:39:28 2017
j 	8	47501 	Fri Sep  1 17:39:28 2017		
k 	spare 	47498	Fri Sep  1 16:39:55 2017

manque donc 0, 1, 4, 9 qui sont tous classés en spare, ce qui est plutôt gênant, car ça signifie qu'aucun d'entre eux n'a de position connue dans le raid.
b et k étant désynchronisés. On doit se concentrer sur h et i

Les positions des disques dans le raid ne se recoupent pas avec ta liste "avant".
Et si le mappage des device a changé, on ne peut pas en déduire une position dans le raid.

Pour réassembler, On a donc à affronter une combinatoire : 2 disques dans 4 emplacements possibles. Ce qui doit faire 12 possibilités si je ne me trompe pas. Ajoutés aux différentes options possibles qu'il faudra peut-être tenter pour forcer l'assemblage dans cette situation foireuse, je sais pas trop ou ça nous emmène...

Je vais donc tenter de reproduire une situation approchante, histoire d'éviter qu'on se perdre dans de trop nombreuses tentatives en pur perte... Et ça sera plutôt demain...

Edit : si tu avais dans un coin un résultat  de mdadm -E (ou --examine) avant l'incident. On pourrait identifier facilement le n° d'ordre qu'avaient ces disques dans le raid grâce à leur uuid ("Device UUID" dans le résultat de mdadm -E)

Dernière modification par jamesbad000 (Le 22/09/2017, à 00:12)


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#5 Le 22/09/2017, à 15:50

rbn8

Re : RAID6 - Tous les disques en spare

L'Ubuntu a été installé spécialement pour le recovery du RAID, donc non je ne vais pas voir ça sorry..

La seule chance aurait été d'avoir un log de mdadm, ce qui n’existe pas; ou un historique des outputs du terminal, or ce n'est pas une fonctionnalité de base.


C'est étonnant que le mappage des disques ait changé, ça viendrait du "mdadm --assemble --scan" ?


Merci pour ton aide.

Dernière modification par rbn8 (Le 22/09/2017, à 15:56)

Hors ligne

#6 Le 24/09/2017, à 13:40

jamesbad000

Re : RAID6 - Tous les disques en spare

rbn8 a écrit :

C'est étonnant que le mappage des disques ait changé, ça viendrait du "mdadm --assemble --scan" ?

Ca vient plutôt de disques en plus ou en moins ou connecté ou détectés dans un  ordre différent.
Ici on voit qu'il y avait un disque sdc de 10Go https://forum.ubuntu-fr.org/viewtopic.p … #p21748454
Et probablement un sdb et un sda que tu as éliminé de la sortie...

Le plus étrange de cette histoire c'est d'avoir 4 disques en spare. Les 2 premiers qui ont été sortis et ajoutés explicitement, OK.
Mais les 2 autres, même si le raid les a considéré en failed, auraient du garder leur position dans le raid.
D'ailleurs

rbn8 a écrit :
root@WS2012-Ubuntu:~# mdadm --assemble --scan
mdadm: /dev/md/2 assembled from 6 drives and 2 spares - not enough to start the array.

Ici il n'est question que de 2 spares. Donc ce n'est pas clair. Et j'aimerais bien revoir en détail

lsb_release -a
uname -a
mdadm -V
mdadm --stop /dev/md2
mdadm -A /dev/md2 -v /dev/sd[b-k]3
mdadm -D /dev/md2

Pour la suite, et pour la forme, avant de commencer à triturer cette config, je recommande évidemment une recopie préalable de tous les disques, car on ne va être à l'abri d'un bug ou d'un fausse manip...

Dernière modification par jamesbad000 (Le 24/09/2017, à 15:02)


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#7 Le 24/09/2017, à 15:39

rbn8

Re : RAID6 - Tous les disques en spare

jamesbad000 a écrit :

Ici on voit qu'il y avait un disque sdc de 10Go https://forum.ubuntu-fr.org/viewtopic.p … #p21748454

Les première commandes dans le post original ont été faite directement depuis le NAS en SSH.
Le disque de 10Go est en toute logique celui que j'ai créé sous Hyper-V et donc là où a été installé le système DSM.
Étant maintenant sous un Ubuntu, il est normal que ce disque ne figure plus.


Entièrement d’accord avec toi concernant les 2 disques qui se sont perdus en cours de route. C'est je pense que ce sont les deux disques à réparer.
Les deux autres ayant fail durant leur ajout, il n'est pas possible de les ajouter tant que le RAID n'est pas actif.


Voici l'output des commandes que tu m'as demandé :

robin@WS2012-Ubuntu:~$ lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 16.04.3 LTS
Release:	16.04
Codename:	xenial
robin@WS2012-Ubuntu:~$ uname -a
Linux WS2012-Ubuntu 4.10.0-33-generic #37~16.04.1-Ubuntu SMP Fri Aug 11 14:07:24 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
robin@WS2012-Ubuntu:~$ mdadm -V
mdadm - v3.3 - 3rd September 2013
robin@WS2012-Ubuntu:~$ sudo mdadm --stop /dev/md2
mdadm: error opening /dev/md2: No such file or directory
robin@WS2012-Ubuntu:~$ sudo mdadm -A /dev/md2 -v /dev/sd[b-k]3
mdadm: looking for devices for /dev/md2
mdadm: /dev/sdb3 is identified as a member of /dev/md2, slot -1.
mdadm: /dev/sdc3 is identified as a member of /dev/md2, slot 2.
mdadm: /dev/sdd3 is identified as a member of /dev/md2, slot 7.
mdadm: /dev/sde3 is identified as a member of /dev/md2, slot 3.
mdadm: /dev/sdf3 is identified as a member of /dev/md2, slot 6.
mdadm: /dev/sdg3 is identified as a member of /dev/md2, slot 5.
mdadm: /dev/sdh3 is identified as a member of /dev/md2, slot -1.
mdadm: /dev/sdi3 is identified as a member of /dev/md2, slot -1.
mdadm: /dev/sdj3 is identified as a member of /dev/md2, slot 8.
mdadm: /dev/sdk3 is identified as a member of /dev/md2, slot -1.
mdadm: no uptodate device for slot 0 of /dev/md2
mdadm: no uptodate device for slot 2 of /dev/md2
mdadm: added /dev/sde3 to /dev/md2 as 3
mdadm: no uptodate device for slot 8 of /dev/md2
mdadm: added /dev/sdg3 to /dev/md2 as 5
mdadm: added /dev/sdf3 to /dev/md2 as 6
mdadm: added /dev/sdd3 to /dev/md2 as 7
mdadm: added /dev/sdj3 to /dev/md2 as 8
mdadm: no uptodate device for slot 18 of /dev/md2
mdadm: added /dev/sdb3 to /dev/md2 as -1 (possibly out of date)
mdadm: added /dev/sdh3 to /dev/md2 as -1
mdadm: added /dev/sdi3 to /dev/md2 as -1
mdadm: added /dev/sdk3 to /dev/md2 as -1 (possibly out of date)
mdadm: added /dev/sdc3 to /dev/md2 as 2
mdadm: /dev/md2 assembled from 6 drives and 2 spares - not enough to start the array.
robin@WS2012-Ubuntu:~$ sudo mdadm -D /dev/md2
mdadm: cannot open /dev/md2: No such file or directory

EDIT :
Concernant la sauvegarde des disques, je n'ai malheureusement pas ce qu'il faut pour la réaliser..
Est-ce qu'une sauvegarde de la configuration RAID est possible et suffirait?

Dernière modification par rbn8 (Le 24/09/2017, à 16:38)

Hors ligne

#8 Le 24/09/2017, à 16:28

jamesbad000

Re : RAID6 - Tous les disques en spare

Mouais. Il y a donc de vrais spare et de faux spare. Ca tourne pas rond la dedans.

Bon il n'y a plus qu'à se jeter à l'eau.
En triant la liste des disques par emplacement on arrive à une liste de disque dans cet ordre --ce-gfdj-
(les tirets représentant les emplacements ou il manque des disques)
Donc on tente une recréation avec une première combinaison possible parmi
hi--, h-i-, h--i, -hi-, -h-i, --hi Puis ensuite la même liste avec ih-- etc

sudo mdadm -S /dev/md2
sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --chunk=64 -n 10 /dev/sdh3 /dev/sdi3  /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing
sudo mount /dev/md2 /mnt
sudo mdadm -D /dev/md2

N'enchaîne pas directement sur les autres combinaisons, je veux d'abord vérifier la réaction, et que les paramètres par défaut collent avec ce que tu avais...

edit: revérifie que tu es ok sur l'ordre des disques. On est pas trop de 2 paires d'yeux. Sachant que si on se goure sur la partie connue; tous les essais de combinaisons avec h et i sont en purs pertes (Il y a factoriel 10 ordres possible au total !)

Edit2 : je viens déjà de corriger 2 coquilles dans la commande

Dernière modification par jamesbad000 (Le 24/09/2017, à 16:34)


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#9 Le 24/09/2017, à 18:00

rbn8

Re : RAID6 - Tous les disques en spare

Array State : ..AA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)

En ce basant sur ça, l'agencement semble bon


Ensuite :

Rang 0 : inconnu
Rang 1 : inconnu
mdadm: added /dev/sdc3 to /dev/md2 as 2
mdadm: added /dev/sde3 to /dev/md2 as 3
Rang 4 : inconnu
mdadm: added /dev/sdg3 to /dev/md2 as 5
mdadm: added /dev/sdf3 to /dev/md2 as 6
mdadm: added /dev/sdd3 to /dev/md2 as 7
mdadm: added /dev/sdj3 to /dev/md2 as 8
Rang 9 : inconnu

Je suis OK avec ta liste : --ce-gfdj-


Pour ce qui est des commandes, j'ai remplacé --stop, --raid-devices et --detail (en me basant sur le man de mdadm) car je trouve cette manière d'écrire plus claire et plus explicite.
Je suis également OK avec l'ordre des disques, j'ai simplement enlever un espace après /dev/sdi3, j'ignore si cela a un quelconque impact.
Voici les commandes modifiées, si jamais j'ai fais une erreur en cours de route :

sudo mdadm --stop /dev/md2
sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --chunk=64 --raid-devices=10 /dev/sdh3 /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing
sudo mount /dev/md2 /mnt
sudo mdadm --detail /dev/md2

Ne faut-il pas un "égale" entre --level et raid6 : --level=raid6 ?


jamesbad000 a écrit :

Pour la suite, et pour la forme, avant de commencer à triturer cette config, je recommande évidemment une recopie préalable de tous les disques, car on ne va être à l'abri d'un bug ou d'un fausse manip...

Concernant la sauvegarde des disques, je n'ai malheureusement pas ce qu'il faut pour la réaliser..
Donc, avant de me lancer, est-ce qu'une sauvegarde de la configuration RAID est possible et suffirait?

Hors ligne

#10 Le 24/09/2017, à 18:22

jamesbad000

Re : RAID6 - Tous les disques en spare

- Les espaces entre les paramètres sont sans importance.
- La syntaxe avec les options longues fonctionne avec ou sans signe =
- En principe on ne touche que la config raid (on la reconstruit totalement), pas les données. Donc une sauvegarde de la config raid pourrait être utile, mais ne couvrira pas forcément toutes les possibilité de problème possible...
Il n'y a pas de commande de sauvegarde à ma connaissance, donc il faut utiliser dd pour copier les 2048 premiers secteur (cf le résultat de mdadm -E, qui indique des superbloc version 1.2 et que les données sont après les 2048 1er sect  ==>     Data Offset : 2048 sectors)

Pour chaque disque faire la commande ci dessous en renplaçant X dans les 2 paramètres par la lettre du disque

dd if=/dev/sdX3 of=~/raidX.cfg count=2048

Et attention de ne pas intervertir if (input file) et of (output file) !


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#11 Le 24/09/2017, à 18:54

rbn8

Re : RAID6 - Tous les disques en spare

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdb3 of=~/raidB.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,00508471 s, 206 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdc3 of=~/raidC.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,00505211 s, 208 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdd3 of=~/raidD.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,415622 s, 2,5 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sde3 of=~/raidE.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,00665751 s, 158 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdf3 of=~/raidF.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,00629481 s, 167 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdg3 of=~/raidG.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,00652581 s, 161 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdh3 of=~/raidH.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,0104874 s, 100 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdi3 of=~/raidI.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,730632 s, 1,4 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdj3 of=~/raidJ.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,00895161 s, 117 MB/s

robin@WS2012-Ubuntu:~$ sudo dd if=/dev/sdk3 of=~/raidK.cfg count=2048
2048+0 enregistrements lus
2048+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,00670121 s, 156 MB/s

Bien que sdb et sdk soient théoriquement à l'ouest, je les ai tout de même save.
J'ai remarqué que sdd et sdi se sont montrés très lent, j'ignore si cela à la moindre importance.


J'attaquerai dans une trentaine de minutes, pour te laisser le temps de répondre si tu as la moindre remarque.
Je commencerai comme tu l'as écris par hi--, puis te donnerai l'output.

Hors ligne

#12 Le 24/09/2017, à 19:17

jamesbad000

Re : RAID6 - Tous les disques en spare

Oui de toute façon il n'y a pas à faire d'exception sur les sauvegarde.
Mais sdb et k pour l'instant on ne les réintègre pas. Donc ils resterons en l'état

Pour les disques lents, ce n'est pas un problème rédhibitoire en soit. En revanche c'est peut-être un symptôme de dysfonctionnement du matériel. Ce qui serait assez malvenu.

y-a plus qu'à...


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#13 Le 24/09/2017, à 19:26

rbn8

Re : RAID6 - Tous les disques en spare

robin@WS2012-Ubuntu:~/Documents$ sudo mdadm -S /dev/md2
mdadm: error opening /dev/md2: No such file or directory
robin@WS2012-Ubuntu:~/Documents$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --chunk=64 -n 10 /dev/sdh3 /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Aug  7 15:04:44 2016
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~/Documents$ sudo mount /dev/md2 /mnt
mount: /dev/md2 is write-protected, mounting read-only
NTFS signature is missing.
Failed to mount '/dev/md2': Argument invalide
The device '/dev/md2' doesn't seem to have a valid NTFS.
Maybe the wrong device is used? Or the whole disk instead of a
partition (e.g. /dev/sda, not /dev/sda1)? Or the other way around?
robin@WS2012-Ubuntu:~/Documents$ sudo mdadm -D /dev/md2
/dev/md2:
        Version : 1.2
  Creation Time : Sun Sep 24 19:22:47 2017
     Raid Level : raid6
     Array Size : 23402515968 (22318.38 GiB 23964.18 GB)
  Used Dev Size : 2925314496 (2789.80 GiB 2995.52 GB)
   Raid Devices : 10
  Total Devices : 8
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Sun Sep 24 19:22:47 2017
          State : clean, degraded 
 Active Devices : 8
Working Devices : 8
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
           UUID : 62b0820d:c6493455:78170061:dba605f8
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       8      115        0      active sync   /dev/sdh3
       1       8      131        1      active sync   /dev/sdi3
       2       8       35        2      active sync   /dev/sdc3
       3       8       67        3      active sync   /dev/sde3
       8       0        0        8      removed
       5       8       99        5      active sync   /dev/sdg3
       6       8       83        6      active sync   /dev/sdf3
       7       8       51        7      active sync   /dev/sdd3
       8       8      147        8      active sync   /dev/sdj3
      18       0        0       18      removed

Hors ligne

#14 Le 24/09/2017, à 19:36

jamesbad000

Re : RAID6 - Tous les disques en spare

Erreur de ma part. C'est le volume LVM qu'il faut essayer de monter...

sudo mount /dev/vg1/volume_1 /mnt

par ailleurs, je ne vois pas tous les paramètres avec mdadm -D

sudo mdadm -E /dev/sdh3

L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#15 Le 24/09/2017, à 19:56

rbn8

Re : RAID6 - Tous les disques en spare

robin@WS2012-Ubuntu:/dev$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 62b0820d:c6493455:78170061:dba605f8
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Sun Sep 24 19:22:47 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850629024 (2789.80 GiB 2995.52 GB)
     Array Size : 23402515968 (22318.38 GiB 23964.18 GB)
  Used Dev Size : 5850628992 (2789.80 GiB 2995.52 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262056 sectors, after=32 sectors
          State : clean
    Device UUID : f5cad2de:dbcf6ba4:79d7c5d0:72a9b2fb

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Sep 24 19:22:47 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 1bbe3505 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 0
   Array State : AAAA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)

Il me semblait bien, mais je n'ai trouvé aucun volume dans /dev/, et :

robin@WS2012-Ubuntu:/dev$ sudo lsblk -o SIZE,NAME,FSTYPE,LABEL,MOUNTPOINT
 SIZE NAME    FSTYPE            LABEL           MOUNTPOINT
 2,7T sdf                                       
 2,7T ├─sdf3  linux_raid_member WS2012-Ubuntu:2 
21,8T │ └─md2                                   
 2,4G ├─sdf1  linux_raid_member                 
   2G └─sdf2  linux_raid_member                 
 2,7T sdd                                       
   2G ├─sdd2  linux_raid_member                 
 2,7T ├─sdd3  linux_raid_member WS2012-Ubuntu:2 
21,8T │ └─md2                                   
 2,4G └─sdd1  linux_raid_member                 
 2,7T sdb                                       
   2G ├─sdb2  linux_raid_member                 
 2,7T ├─sdb3  linux_raid_member DATASTATION:2   
 2,4G └─sdb1  linux_raid_member                 
 2,7T sdk                                       
 2,7T ├─sdk3  linux_raid_member DATASTATION:2   
 2,4G ├─sdk1  linux_raid_member                 
   2G └─sdk2  linux_raid_member                 
 2,7T sdi                                       
 2,7T ├─sdi3  linux_raid_member WS2012-Ubuntu:2 
21,8T │ └─md2                                   
 2,4G ├─sdi1  linux_raid_member                 
   2G └─sdi2  linux_raid_member                 
1024M sr0                                       
 2,7T sdg                                       
 2,7T ├─sdg3  linux_raid_member DATASTATION:2   
21,8T │ └─md2                                   
 2,4G ├─sdg1  linux_raid_member                 
   2G └─sdg2  linux_raid_member                 
   4K fd0                                       
 2,7T sde                                       
   2G ├─sde2  linux_raid_member                 
 2,7T ├─sde3  linux_raid_member WS2012-Ubuntu:2 
21,8T │ └─md2                                   
 2,4G └─sde1  linux_raid_member                 
 2,7T sdc                                       
   2G ├─sdc2  linux_raid_member                 
 2,7T ├─sdc3  linux_raid_member WS2012-Ubuntu:2 
21,8T │ └─md2                                   
 2,4G └─sdc1  linux_raid_member                 
  50G sda                                       
   1K ├─sda2                                    
  16G ├─sda5  swap                              [SWAP]
  34G └─sda1  ext4                              /
 2,7T sdj                                       
 2,7T ├─sdj3  linux_raid_member WS2012-Ubuntu:2 
21,8T │ └─md2                                   
 2,4G ├─sdj1  linux_raid_member                 
   2G └─sdj2  linux_raid_member                 
 2,7T sdh                                       
 2,7T ├─sdh3  linux_raid_member WS2012-Ubuntu:2 
21,8T │ └─md2                                   
 2,4G ├─sdh1  linux_raid_member                 
   2G └─sdh2  linux_raid_member                 


robin@WS2012-Ubuntu:/dev$ sudo lvm vgscan
  Reading all physical volumes.  This may take a while...
robin@WS2012-Ubuntu:/dev$ sudo lvm vgdisplay
robin@WS2012-Ubuntu:/dev$

Hors ligne

#16 Le 24/09/2017, à 20:11

jamesbad000

Re : RAID6 - Tous les disques en spare

Si le lvm n'est pas là c'est; soit en raison d'un mauvais ordre (mais d'après mes test on arrive à voir le lvm mếme en étant dans le désordre); soit parce que autre chose ne va pas.
Et effectivement, le data offset est partit à l'ouest. Ce qui n'étais pas du tout prévu.
Data Offset : 262144 sectors

J'ajoute donc --data-offset=1024 (correspond au 2048 secteurs indiqués précédement)

sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing

puis retenter le mount et mdadm -E


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#17 Le 24/09/2017, à 20:19

rbn8

Re : RAID6 - Tous les disques en spare

robin@WS2012-Ubuntu:/dev$ sudo mdadm -S /dev/md2
mdadm: stopped /dev/md2
robin@WS2012-Ubuntu:/dev$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 19:22:47 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:/dev$ sudo mount /dev/vg1/volume_1 /mnt
mount: mount /dev/mapper/vg1-volume_1 on /mnt failed: La structure a besoin d'un nettoyage
robin@WS2012-Ubuntu:/dev$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 5ac85a52:35259666:d516d358:34e71ca2
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Sun Sep 24 20:16:00 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 37452ede:3be253a1:02a784b5:6e938217

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Sep 24 20:16:00 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 10b8bf3a - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 0
   Array State : AAAA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)
robin@WS2012-Ubuntu:/dev$ sudo lvm vgdisplay
  --- Volume group ---
  VG Name               vg1
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  11
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               21,80 TiB
  PE Size               4,00 MiB
  Total PE              5713758
  Alloc PE / Size       5713758 / 21,80 TiB
  Free  PE / Size       0 / 0   
  VG UUID               E2KZaC-jJPq-Juqs-bpko-F04z-MOV3-SaJKyX

Hors ligne

#18 Le 24/09/2017, à 20:36

jamesbad000

Re : RAID6 - Tous les disques en spare

On est déjà mieux, mais je viens de repérer encore un attribut divergeant
Feature Map : 0x1 au lieu 0x0.
Encore quelque chose que je n'ai pas eu dans mes tests. Alors qu'on utilise la même version de mdadm.
Je regarde ce que c'est...

par ailleurs, inutile de s'attarder sur l'état du lvm. Ce n'est pas significatif...
En revanche s'il est activé il faudra le désactiver avant chaque nouvelle tentative, autrement il ne sera pas possible de désactiver le raid

sudo vgchange -an vg1

L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#19 Le 24/09/2017, à 20:57

jamesbad000

Re : RAID6 - Tous les disques en spare

Ok cet attribut correspond à l'option bitmap, activée automatiquement à partir de 100Go. Je ne l'ai pas vu parce que j'ai fait mes test avec des volumes beaucoup plus petit. Donc on ajoute encore une option --bitmap=none.
Ca ne devrait rien changer sur nos test, en revanche ça pourrait avoir un impact sur ton serveur. donc mieux vaut rétablir comme c'était.

sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing

redonner le mdadm -E


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#20 Le 24/09/2017, à 21:40

rbn8

Re : RAID6 - Tous les disques en spare

robin@WS2012-Ubuntu:/dev$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 391c3067:78fad7ce:ab96b416:20b14262
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Sun Sep 24 21:38:02 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 61fbeb1d:abad6ac2:b89a332a:31fc3075

    Update Time : Sun Sep 24 21:38:02 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 3f09369b - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 0
   Array State : AAAA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)

Hors ligne

#21 Le 24/09/2017, à 22:07

jamesbad000

Re : RAID6 - Tous les disques en spare

Bon il reste encore 2 différences que je ne sais pas traiter. Mais ça ne devrait pas avoir d'impact sur le rétablissement du raid.
Je vais continuer à creuser ça autant que possible, mais tu peux te lancer dans le test des combinaisons suivante.
La séquence des opérations à répéter étant:
vgchange -an vg1
mdadm -S
mdadm create...
mount

Si le mount fonctionne, redémonter puis un petit coup de e2fsck -fn (dans tous les cas le raid est en lecture seule)

Quelque soit le résultat renvoie le retour complet.


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#22 Le 24/09/2017, à 23:41

rbn8

Re : RAID6 - Tous les disques en spare

Ça marche je m'occuperais de ça demain dans la journée si j'arrive à me libérer et je te tiendrai au courant des résultats.

Merci encore pour ton aide et ton temps aujourd'hui.

Hors ligne

#23 Le 25/09/2017, à 12:52

rbn8

Re : RAID6 - Tous les disques en spare

Hello,


Ordre : --ce-gfdj-
Combinaisons à tester : hi--, h-i-, h--i, -hi-, -h-i, --hi, ih--, i-h-, i--h, -ih-, -i-h, --ih

J'ai donc tester les différentes combinaisons, en utilisant la procédure suivante :

sudo vgchange -an vg1
sudo mdadm -S /dev/md2
sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing missing /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing
sudo mount /dev/vg1/volume_1 /mnt
sudo mdadm -E /dev/sdh3

=> Aucun mount n'a réussi.. LVM inexistant dans la plupart des cas.

MAIS : Mount failed à cause d'un besoin de nettoyage : hi--, -ih-, -i-h
Donc potentiellement, on a identifié la place de sdi.

Je sais que sdb et sdk sont désynchronisés, mais serait-il pertinent de les tester avec sdi à la place de sdh qui ne trouve pas sa place?
bi--, -ib-, -i-b & ki--, -ik-, -i-k


EDIT :

jamesbad000 a écrit :

Si le lvm n'est pas là c'est; soit en raison d'un mauvais ordre (mais d'après mes test on arrive à voir le lvm mếme en étant dans le désordre); soit parce que autre chose ne va pas.

sdh ne serait alors pas en cause et le problème pourrait venir d’ailleurs?
Les deux différences que tu as noté et qui sont toujours d'actualité par exemple?


Si cela peut t'être utile, voici les outputs de chaque combinaison :

hi-- : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:24:51 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: mount /dev/mapper/vg1-volume_1 on /mnt failed: La structure a besoin d'un nettoyage
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 39ae08ac:6251b7ec:1cf95ddc:02e7c044
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:27:30 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : b81f1498:a71172aa:12f7bcc2:879228d9

    Update Time : Mon Sep 25 11:27:30 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : a89ab7ad - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 0
   Array State : AAAA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)

h-i- : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 missing /dev/sd{c,e}3 /dev/sdi3 /dev/sd{g,f,d,j}3 missing

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 missing /dev/sd{c,e}3 /dev/sdi3 /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Sun Sep 24 21:38:02 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 749c4491:dd052eaf:48cfacec:d69921fc
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:20:33 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 590b10cd:e995071c:e8045449:26f70820

    Update Time : Mon Sep 25 11:20:33 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 8c02c27e - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 0
   Array State : A.AAAAAAA. ('A' == active, '.' == missing, 'R' == replacing)

   
   
h--i : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 missing /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdi3

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdh3 missing /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdi3
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:20:33 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 958ca9cd:f1527b82:53464890:54f28ab5
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:24:51 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 02e5b09b:1cfab5a1:22d73a7e:ceca7f4f

    Update Time : Mon Sep 25 11:24:51 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : b171b4f8 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 0
   Array State : A.AA.AAAAA ('A' == active, '.' == missing, 'R' == replacing)

   

-hi- : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdh3 /dev/sd{c,e}3 /dev/sdi3 /dev/sd{g,f,d,j}3 missing

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdh3 /dev/sd{c,e}3 /dev/sdi3 /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:27:30 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 83bb0cf0:8e62fd12:6fd3cc08:40c7be57
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:31:21 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 4fb59f70:3d9d10fa:374287e8:5a928c20

    Update Time : Mon Sep 25 11:31:21 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : e7a9feaa - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 1
   Array State : .AAAAAAAA. ('A' == active, '.' == missing, 'R' == replacing)

   
-h-i : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdh3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdi3

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdh3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdi3
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:31:21 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 2d08ca79:ac5c61da:83a419bc:316efedc
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:33:06 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 9eeaed20:399c5755:e15df8ef:cd6b2cb0

    Update Time : Mon Sep 25 11:33:06 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 1408e7ad - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 1
   Array State : .AAA.AAAAA ('A' == active, '.' == missing, 'R' == replacing)

   
   
--hi : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing missing /dev/sd{c,e}3 /dev/sdh3 /dev/sd{g,f,d,j}3 /dev/sdi3

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing missing /dev/sd{c,e}3 /dev/sdh3 /dev/sd{g,f,d,j}3 /dev/sdi3
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:33:06 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 31511a49:938d313f:d44e91b2:af5b4006
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:34:12 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 8e814cc6:bcf5d103:844aadbc:9cc421d2

    Update Time : Mon Sep 25 11:34:12 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : aa632fd7 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 4
   Array State : ..AAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)

   
   
ih-- : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdi3 /dev/sdh3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdi3 /dev/sdh3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:34:12 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 7a4b9cae:e9010147:f2800f41:76f2185b
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:35:39 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : b26dc8d8:092d951f:0b06f8a3:77ba4da1

    Update Time : Mon Sep 25 11:35:39 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dfb93cd5 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 1
   Array State : AAAA.AAAA. ('A' == active, '.' == missing, 'R' == replacing)

   
   
i-h- : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdi3 missing /dev/sd{c,e}3 /dev/sdh3 /dev/sd{g,f,d,j}3 missing

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdi3 missing /dev/sd{c,e}3 /dev/sdh3 /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:35:39 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 04eee490:5cca5a84:6bc182a4:3764c5ab
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:47:03 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : c3a10748:4d488aff:54e1fb1a:a50caa38

    Update Time : Mon Sep 25 11:47:03 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 110cdc3a - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 4
   Array State : A.AAAAAAA. ('A' == active, '.' == missing, 'R' == replacing)

   
   
i--h : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdi3 missing /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdh3

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 /dev/sdi3 missing /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdh3
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:47:03 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 7055b7e2:1dc9c71b:ccdebd31:cf67eb5e
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:48:04 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 29dde935:964d1929:f27b614f:4bc49647

    Update Time : Mon Sep 25 11:48:04 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 957bf6ca - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 9
   Array State : A.AA.AAAAA ('A' == active, '.' == missing, 'R' == replacing)

   
   
-ih- : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdi3 /dev/sd{c,e}3 /dev/sdh3 /dev/sd{g,f,d,j}3 missing

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdi3 /dev/sd{c,e}3 /dev/sdh3 /dev/sd{g,f,d,j}3 missing
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:48:04 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: mount /dev/mapper/vg1-volume_1 on /mnt failed: La structure a besoin d'un nettoyage
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 03871fa2:c9706b93:415eb153:5f3bbcb7
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:49:40 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : c0330570:a2e1f20e:054a439f:9cfa8ec3

    Update Time : Mon Sep 25 11:49:40 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 331312d6 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 4
   Array State : .AAAAAAAA. ('A' == active, '.' == missing, 'R' == replacing)

   
   
-i-h : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdh3

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing /dev/sdi3 /dev/sd{c,e}3 missing /dev/sd{g,f,d,j}3 /dev/sdh3
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:49:40 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: mount /dev/mapper/vg1-volume_1 on /mnt failed: La structure a besoin d'un nettoyage
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 4e20c902:63476ff8:d86d2d96:53a8c921
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:51:07 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : ac902203:5e37f958:08f06750:ec171b78

    Update Time : Mon Sep 25 11:51:07 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : e82975ec - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 9
   Array State : .AAA.AAAAA ('A' == active, '.' == missing, 'R' == replacing)

   
   
--ih : sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing missing /dev/sd{c,e}3 /dev/sdi3 /dev/sd{g,f,d,j}3 /dev/sdh3

robin@WS2012-Ubuntu:~$ sudo mdadm --create /dev/md2 --assume-clean --readonly --run --level raid6 --bitmap=none --data-offset=1024 --chunk=64 -n 10 missing missing /dev/sd{c,e}3 /dev/sdi3 /dev/sd{g,f,d,j}3 /dev/sdh3
mdadm: /dev/sdc3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: /dev/sde3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: /dev/sdi3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: /dev/sdg3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: /dev/sdf3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: /dev/sdd3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: /dev/sdj3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: /dev/sdh3 appears to be part of a raid array:
       level=raid6 devices=10 ctime=Mon Sep 25 11:51:07 2017
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
robin@WS2012-Ubuntu:~$ sudo mount /dev/vg1/volume_1 /mnt
mount: special device /dev/vg1/volume_1 does not exist
robin@WS2012-Ubuntu:~$ sudo mdadm -E /dev/sdh3
/dev/sdh3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : e02d7200:947fa13a:73a7b91d:9a9d0249
           Name : WS2012-Ubuntu:2  (local to host WS2012-Ubuntu)
  Creation Time : Mon Sep 25 11:52:07 2017
     Raid Level : raid6
   Raid Devices : 10

 Avail Dev Size : 5850889120 (2789.92 GiB 2995.66 GB)
     Array Size : 23403556352 (22319.37 GiB 23965.24 GB)
  Used Dev Size : 5850889088 (2789.92 GiB 2995.66 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1960 sectors, after=32 sectors
          State : clean
    Device UUID : 6796b47f:967aaee2:3e9b2cd3:2cb63d25

    Update Time : Mon Sep 25 11:52:07 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : cf57d79 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 9
   Array State : ..AAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)

Dernière modification par rbn8 (Le 25/09/2017, à 13:03)

Hors ligne

#24 Le 25/09/2017, à 20:57

jamesbad000

Re : RAID6 - Tous les disques en spare

Hello.
Il faut commencer par tenter le e2fsck -fn /dev/vg1/volume_1 sur les 3 combinaisons qui fournissent un lvm...

Edit : En fait commencer par tenter sur une des 3 combinaisons :

hd /dev/vg1/volume_1 -n 2048

Parce que je soupçonne que le message "La structure a besoin d'un nettoyage" correspond plutôt à un problème de lvm qu'a un fs endommagé...

Dernière modification par jamesbad000 (Le 25/09/2017, à 21:19)


L'espace et le temps sont les modes par lesquels nous pensons, et non les conditions dans lesquelles nous vivons. (Signé Albert)

Hors ligne

#25 Le 25/09/2017, à 21:45

rbn8

Re : RAID6 - Tous les disques en spare

robin@WS2012-Ubuntu:~$ sudo hd /dev/vg1/volume_1 -n 2048
00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000400  00 b0 97 2b 00 6c bd 5c  00 64 00 00 14 03 e5 2c  |...+.l.\.d.....,|
00000410  b5 15 91 2b 00 00 00 00  02 00 00 00 02 00 00 00  |...+............|
00000420  00 80 00 00 00 80 00 00  00 10 00 00 bb 70 a9 59  |.............p.Y|
00000430  bb 70 a9 59 28 00 ff ff  53 ef 01 00 01 00 00 00  |.p.Y(...S.......|
00000440  f1 53 67 59 00 00 00 00  00 00 00 00 01 00 00 00  |.SgY............|
00000450  00 00 00 00 0b 00 00 00  00 01 00 00 0c 00 00 00  |................|
00000460  d6 02 00 00 7b 00 00 00  ed 0f 0a 95 d2 a1 47 40  |....{.........G@|
00000470  ac 90 09 7a de 5c 72 62  31 2e 34 32 2e 36 2d 35  |...z.\rb1.42.6-5|
00000480  36 34 34 00 00 00 00 00  2f 76 6f 6c 75 6d 65 31  |644...../volume1|
00000490  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000004e0  08 00 00 00 00 00 00 00  00 00 00 00 a9 ca 97 40  |...............@|
000004f0  ed e4 40 3c b7 05 25 85  01 5d 5b 9e 01 01 40 00  |..@<..%..][...@.|
00000500  0c 00 00 00 ba 06 00 00  1d 32 a7 57 0a f3 02 00  |.........2.W....|
00000510  04 00 00 00 00 00 00 00  00 00 00 00 ff 7f 00 00  |................|
00000520  00 80 90 2b ff 7f 00 00  01 00 00 00 ff ff 90 2b  |...+...........+|
00000530  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000540  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 08  |................|
00000550  01 00 00 00 00 00 00 00  00 00 00 00 1c 00 1c 00  |................|
00000560  01 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000570  00 00 00 00 04 00 00 00  18 7e a1 e1 04 00 00 00  |.........~......|
00000580  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000007f0  00 00 00 00 00 00 00 00  00 00 00 00 96 6e 85 01  |.............n..|
00000800

Hors ligne