Ubuntu-fr

lapinzed

[RESOLU] Récupération RAID logiciel avec mdadm après plantage

Bonjour,
Le sujet a été maintes fois évoqué sur le forum mais aucune des solutions ne fonctionnent chez moi.

Résumé de la situation:
Je dispose d'un serveur tournant sous ubuntu 13.10 hébergent 10 disques durs répartis sur 2 raid (4x1,5To et 6x2To) avec une partition logique pour regrouper le tout et me faire une seule grosse partition répartie sur l'ensemble des disques. L'os est installé sur un SSD à coté.

Il arrive que le raid débloque sur l'un ou l'autre des ensembles, mais il me suffit de faire un "sudo mdadm --assemble --force /dev/md126 /dev/sd[bcdekl]" et ça repart. Tous les 6 mois environ, va savoir pourquoi..

Sauf qu'aujourd'hui, cette commande ne suffit pas, elle me répond qu'il manque 2 disques :
(exécuté depuis un live usb)

ubuntu@ubuntu:~$ sudo mdadm --assemble --force /dev/md/RAID20 /dev/sd[bcdekl]
mdadm: Marking array /dev/md/RAID20 as 'clean'
mdadm: /dev/md/RAID20 assembled from 4 drives and 1 spare - not enough to start the array.

J'ai essayé toutes les variables possible et rien n'y fait, il ne veut pas reconstruire mon raid.

Voici les résultats de différentes commandes de test :

sudo mdadm --examine /dev/sd[bcdekl] | egrep 'Event|/dev/sd'
/dev/sdb:
Events : 142387
/dev/sdc:
Events : 142387
/dev/sdd:
Events : 142387
/dev/sde:
Events : 142387
/dev/sdk:
Events : 142387
/dev/sdl:
Events : 142049

ubuntu@ubuntu:~$ sudo mdadm --assemble --scan -v
mdadm: looking for devices for /dev/md/RAID20
mdadm: no RAID superblock on /dev/sdj
mdadm: no RAID superblock on /dev/md/RAID15p1
mdadm: no RAID superblock on /dev/md/RAID15
mdadm: /dev/sdh has wrong uuid.
mdadm: /dev/sdi has wrong uuid.
mdadm: /dev/sdg has wrong uuid.
mdadm: /dev/sdf has wrong uuid.
mdadm: no RAID superblock on /dev/sda2
mdadm: no RAID superblock on /dev/sda1
mdadm: no RAID superblock on /dev/sda
mdadm: no RAID superblock on /dev/loop1
mdadm: no RAID superblock on /dev/loop0
mdadm: /dev/sdl is identified as a member of /dev/md/RAID20, slot 4.
mdadm: /dev/sdk is identified as a member of /dev/md/RAID20, slot 5.
mdadm: /dev/sde is identified as a member of /dev/md/RAID20, slot -1.
mdadm: /dev/sdd is identified as a member of /dev/md/RAID20, slot 2.
mdadm: /dev/sdc is identified as a member of /dev/md/RAID20, slot 1.
mdadm: /dev/sdb is identified as a member of /dev/md/RAID20, slot 0.
mdadm: added /dev/sdc to /dev/md/RAID20 as 1
mdadm: added /dev/sdd to /dev/md/RAID20 as 2
mdadm: no uptodate device for slot 6 of /dev/md/RAID20
mdadm: added /dev/sdl to /dev/md/RAID20 as 4 (possibly out of date)
mdadm: added /dev/sdk to /dev/md/RAID20 as 5
mdadm: added /dev/sde to /dev/md/RAID20 as -1
mdadm: added /dev/sdb to /dev/md/RAID20 as 0
mdadm: /dev/md/RAID20 assembled from 4 drives and 1 spare - not enough to start the array.
mdadm: looking for devices for /dev/md/RAID15
mdadm: /dev/sdl has wrong uuid.
mdadm: /dev/sdk has wrong uuid.
mdadm: no RAID superblock on /dev/sdj
mdadm: no RAID superblock on /dev/md/RAID15p1
mdadm: no RAID superblock on /dev/md/RAID15
mdadm: /dev/sdh is busy - skipping
mdadm: /dev/sdi is busy - skipping
mdadm: /dev/sdg is busy - skipping
mdadm: /dev/sdf is busy - skipping
mdadm: /dev/sde has wrong uuid.
mdadm: /dev/sdd has wrong uuid.
mdadm: /dev/sdc has wrong uuid.
mdadm: /dev/sdb has wrong uuid.
mdadm: no RAID superblock on /dev/sda2
mdadm: no RAID superblock on /dev/sda1
mdadm: no RAID superblock on /dev/sda
mdadm: no RAID superblock on /dev/loop1
mdadm: no RAID superblock on /dev/loop0

ubuntu@ubuntu:~$ sudo mdadm --examine /dev/sd[bcdekl]
/dev/sdb:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : f02a4980:48285855:fbbc4e77:11f6710c
Name : database:RAID20
Creation Time : Wed Oct 23 23:24:40 2013
Raid Level : raid5
Raid Devices : 6

Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 9766914560 (9314.46 GiB 10001.32 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=1200 sectors
State : clean
Device UUID : b91717fa:bcd4b0be:34e3e1e6:11ba5f3d

Update Time : Fri Aug 7 10:22:22 2015
Checksum : f5d528e9 - correct
Events : 142387

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 0
Array State : AAA..A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : f02a4980:48285855:fbbc4e77:11f6710c
Name : database:RAID20
Creation Time : Wed Oct 23 23:24:40 2013
Raid Level : raid5
Raid Devices : 6

Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 9766914560 (9314.46 GiB 10001.32 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=1200 sectors
State : clean
Device UUID : 9241f52f:7d3a472e:245fe62d:512269e0

Update Time : Fri Aug 7 10:22:22 2015
Checksum : 85579cb3 - correct
Events : 142387

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 1
Array State : AAA..A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : f02a4980:48285855:fbbc4e77:11f6710c
Name : database:RAID20
Creation Time : Wed Oct 23 23:24:40 2013
Raid Level : raid5
Raid Devices : 6

Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 9766914560 (9314.46 GiB 10001.32 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=1200 sectors
State : clean
Device UUID : 62ecd9e8:31321576:896b04cb:8d906096

Update Time : Fri Aug 7 10:22:22 2015
Checksum : d91fb9df - correct
Events : 142387

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 2
Array State : AAA..A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sde:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x8
Array UUID : f02a4980:48285855:fbbc4e77:11f6710c
Name : database:RAID20
Creation Time : Wed Oct 23 23:24:40 2013
Raid Level : raid5
Raid Devices : 6

Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 9766914560 (9314.46 GiB 10001.32 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=1200 sectors
State : clean
Device UUID : 4a311101:d465be68:13b21ff3:98cffd54

Update Time : Fri Aug 7 10:22:22 2015
Bad Block Log : 512 entries available at offset 72 sectors - bad blocks present.
Checksum : cac0b84f - correct
Events : 142387

Layout : left-symmetric
Chunk Size : 512K

Device Role : spare
Array State : AAA..A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdk:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : f02a4980:48285855:fbbc4e77:11f6710c
Name : database:RAID20
Creation Time : Wed Oct 23 23:24:40 2013
Raid Level : raid5
Raid Devices : 6

Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 9766914560 (9314.46 GiB 10001.32 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=1200 sectors
State : clean
Device UUID : 6385f73c:befa4c05:5a0c5cac:a56e3591

Update Time : Fri Aug 7 10:22:22 2015
Checksum : 98a19a54 - correct
Events : 142387

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 5
Array State : AAA..A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdl:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : f02a4980:48285855:fbbc4e77:11f6710c
Name : database:RAID20
Creation Time : Wed Oct 23 23:24:40 2013
Raid Level : raid5
Raid Devices : 6

Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 9766914560 (9314.46 GiB 10001.32 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=1200 sectors
State : active
Device UUID : 7367c8e7:3eb4db0b:f0ee5d52:ef99fd7f

Update Time : Thu Aug 6 23:57:15 2015
Checksum : decfaff1 - correct
Events : 142049

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 4
Array State : AAAAAA ('A' == active, '.' == missing, 'R' == replacing)

Si je fais un "cat /proc/mdstat", les systèmes raid n'ont pas le même nom et RAID20 devient md127

ubuntu@ubuntu:~$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md127 : inactive sdb[0](S) sde[8](S) sdk[6](S) sdl[5](S) sdd[7](S) sdc[1](S)
11720301072 blocks super 1.2

md126 : active raid5 sdf[5] sdg[6] sdi[4] sdh[2]
4395021312 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]

unused devices: <none>

Et une dernière:

root@ubuntu:/home/ubuntu# mdadm -D /dev/md127
/dev/md127:
Version : 1.2
Raid Level : raid0
Total Devices : 6
Persistence : Superblock is persistent

State : inactive

Name : database:RAID20
UUID : f02a4980:48285855:fbbc4e77:11f6710c
Events : 142387

Number Major Minor RaidDevice

- 8 16 - /dev/sdb
- 8 32 - /dev/sdc
- 8 48 - /dev/sdd
- 8 64 - /dev/sde
- 8 160 - /dev/sdk
- 8 176 - /dev/sdl

Le seule moyen qu'il me reste pour réparer mon raid et de le recréer, enfin je pense.. Mais le résultat de la commande me fait peur et j'ai peur de perdre mes données:(
En plus je ne suis pas sur de l'ordre des disques, et j'ai lu que c'était important. Voici le résultat (que je n'ai pas validé):

root@ubuntu:/home/ubuntu# mdadm --verbose --create --chunk=512 --level=5 --raid-devices=6 /dev/md/RAID20 /dev/sdb /dev/sdc /dev/sdd missing /dev/sdl /dev/sdk
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: /dev/sdb appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdb but will be lost or
       meaningless after creating array
mdadm: /dev/sdc appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: /dev/sdd appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdd but will be lost or
       meaningless after creating array
mdadm: /dev/sdl appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdl but will be lost or
       meaningless after creating array
mdadm: /dev/sdk appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdk but will be lost or
       meaningless after creating array
mdadm: size set to 1953383424K
mdadm: automatically enabling write-intent bitmap on large array
Continue creating array? n
mdadm: create aborted.

Une idée?
Croyez-vous que je peux perdre mes données avec la dernière commande?

Merci infiniment pour votre aide!!

Dernière modification par lapinzed (Le 13/08/2015, à 15:17)

Bougron

Re : [RESOLU] Récupération RAID logiciel avec mdadm après plantage

Bonsoir.
A ma connaissance, le raids standard permet la destruction d'un disque sans que personne le sache sauf l'administrateur dont le boulot est de faire  la réparation avant qu'un second se scratch.
IL ne te reste plus que la solution restoration à partir du site prévu en back-up en cas de destruction accidentelle ou intentionnelle du site principal.
Mais attends l'avis d'un spécialiste.

Dernière modification par Bougron (Le 07/08/2015, à 23:33)

lapinzed

Re : [RESOLU] Récupération RAID logiciel avec mdadm après plantage

Oui mais là l'administrateur c'est moi, et je cale;-)

lapinzed

Re : [RESOLU] Récupération RAID logiciel avec mdadm après plantage

Bon j'ai fini par me lancer et oh miracle ça a fonctionné!!

Il fallait en effet recréer le raid avec la commande "mdadm --create" :

root@ubuntu:/home/ubuntu# mdadm --verbose --create --chunk=512 --level=5 --raid-devices=6 /dev/md/RAID20 /dev/sdb /dev/sdc /dev/sdd missing /dev/sdl /dev/sdk
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: /dev/sdb appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdb but will be lost or
       meaningless after creating array
mdadm: /dev/sdc appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: /dev/sdd appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdd but will be lost or
       meaningless after creating array
mdadm: /dev/sdl appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdl but will be lost or
       meaningless after creating array
mdadm: /dev/sdk appears to be part of a raid array:
       level=raid5 devices=6 ctime=Wed Oct 23 23:24:40 2013
mdadm: partition table exists on /dev/sdk but will be lost or
       meaningless after creating array
mdadm: size set to 1953383424K
mdadm: automatically enabling write-intent bitmap on large array
Continue creating array?

Puis répondre par y
Et voila!!

ubuntu@ubuntu:~$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md127 : active raid5 sdk[6] sdl[4] sde[3] sdd[2] sdc[1] sdb[0]
      9766917120 blocks super 1.2 level 5, 512k chunk, algorithm 2 [6/5] [UUUUU_]
      [==========>..........]  recovery = 51.7% (1011850948/1953383424) finish=398.2min speed=39396K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md126 : active raid5 sdf[5] sdg[6] sdi[4] sdh[2]
      4395021312 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
      
unused devices: <none>

Merci quand même pour votre aide et j'espère que ça pourra servir a quelqu'un un jour:-)

lapinzed

Re : [RESOLU] Récupération RAID logiciel avec mdadm après plantage

Un admin peut-il mettre le fil en résolu svp? Merci!

Bougron

Re : [RESOLU] Récupération RAID logiciel avec mdadm après plantage

Bonjour
Heureux pour toi d'avoir pu recréer ton RAIDS sans perte de données.
C'est à toi de mettre la discussion en [Résolu] en retournant sur le premier post et en faisant l'option "modifier"
et ajouter ce mot dans le titre, de préférence à gauche.

Dernière modification par Bougron (Le 08/08/2015, à 09:17)