Ubuntu-fr

ethan7888

raid 1 + lvm

Bonjour à tous,

Je cherche actuellement à mettre en place un raid 1 sur deux disque durs de 100 Go

J'ai trois disques : sda, sdb et sdc

sur le sda j'ai l'appliance proxmox qui m'a découpé le sda en deux partitions supplementaires. J'ai donc au final sda, sda1 sda2, sdb et sdc

Ensuite j'ai créer mon volume raid 1 en spécifiant les deux DD sdb et sdc, jusque là tout va bien ^^

Ensuite j'ai voulu mettre en place un LVM sur les deux disques durs de mon raid 1.

En faisant le pvcreate /dev/md0 il m'a affiché un message d'erreur :  "Can't open /dev/md0 exclusively. Mounted filesystem "

J'ai monter le raid 1 dans le fichier fstab, donc je me suis dit peut être que ça le gêne, j'ai donc décommenté la ligne dans fstab relancer le systeme, mais il me met toujours le même message d'erreur au lancement du pvcreate

Je me demande donc si je m'y suis bien pris, doit-on d'abord faire un LVM et ensuite le raid ou est ce que le raid 1 et LVM doit normalement fonctionner ?

pourtant j'avais déjà fait un raid 6 de 28 Tera (mais bon via interface graphique sur une ubuntu server) et ensuite fait le LVM, donc je suppose que ça doit fonctionner, mais quelque chose m'échappe....

Merci d'avance pour votre aide

MicP

Re : raid 1 + lvm

... sur le sda j'ai l'appliance proxmox ...

Comment Proxmox as-t-il été installé ?
Dans quel but ?
Type de partition(s), méthode d'installation.

Est-ce à partir de ce système que tu lance les commandes qui suivent ?

Est-ce à partir d'un terminal,
d'une interface graphique,
d'une connexion à un serveur d'administration de proxmox par l'intermédiaire d'un navigateur ?

... proxmox qui m'a découpé le sda en deux partitions supplementaires ...

Supplémentaires à quoi, vu qu'il s'agit des deux premières partitions citées dans ce post ?
(Peut-être que la réponse à la question précédente suffira)

... Ensuite j'ai voulu mettre en place un LVM sur les deux disques durs de mon raid 1. ...

Tout-à coup, un RAID surgit hors de la nuit. "Étonnant non ?" aurait dit Mr. Pierre Desproges.

... En faisant le pvcreate /dev/md0 il m'a affiché un message d'erreur :  "Can't open /dev/md0 exclusively. Mounted filesystem "
J'ai monter le raid 1 dans le fichier fstab ...

Pourrait-on voir la ligne qui concerne ce RAID 1 et qui a été ajoutée au fichier "/etc/fstab" ?
Par la même occasion, pourrait-on savoir dans quelle partition se trouve ce fichier  "/etc/fstab" ?

... j'ai donc décommenté la ligne dans fstab  ...

Si la ligne qui concerne le RAID 1 a été "décommentée", c'est qu'elle était déjà "commentée, elle n'avait donc pas pu être prise en compte.

... doit-on d'abord faire un LVM et ensuite le raid ou est ce que le raid 1 et LVM doit normalement fonctionner  ...

J'ai pas compris. pourrais-tu reformuler cette phrase s'il te plait ?

... quelque chose m'échappe...

Moi pareil, mais pas seulement "une" chose, en fait c'est plutôt le "tout".

===================
Bon, reprends calmement point par point la description en t'aidant des questions que je viens de poser,
et surtout relis-toi après chaque réponse en essayant de te mettre à la place de ceux qui vont tenter de te comprendre pour pouvoir t'aider.

Merci pour eux.

Dernière modification par MicP (Le 26/08/2013, à 12:48)

ethan7888

Re : raid 1 + lvm

Bonjour,

Désolé de n'avoir pas été très clair, je vais donc reprendre le sujet en m'appuyant sur tes différentes questions.

Le projet est le suivant : Je dois installer proxmox ve 3.1 avec un cd d'installation ( mode graphique). À ma disposition un serveur avec 3 disques durs sda (500 Go) , sdb  et sdc (2 Tera chacun) . Un raid 1 doit être configuré sur sdb et sdc. L'objectif est donc d'avoir un serveur de virtual machine et les vm seront stocké sur le raid 1 (sdb+sdc)
Par défaut le proxmox s'installe sur le disque de 500 Go et donc partitionne automatiquement le disque dur sda

Voici le résultat d'un ls /dev/sd* après installation de proxmox ve 3.1:
/dev/sda  /dev/sda1  /dev/sda2    /dev/sdb  /dev/sdc

Voici le résultat d'un df -h après installation sur le serveur proxmox :

Filesystem            Size  Used Avail Use% Mounted on
udev                   10M     0   10M   0% /dev
tmpfs                 797M  380K  797M   1% /run
/dev/mapper/pve-root   95G  997M   89G   2% /
tmpfs                 5.0M     0  5.0M   0% /run/lock
tmpfs                 1.6G  3.1M  1.6G   1% /run/shm
/dev/mapper/pve-data  341G  195M  341G   1% /var/lib/vz
/dev/sda1             495M   36M  435M   8% /boot
/dev/fuse              30M   12K   30M   1% /etc/pve

Les commandes sont tapées avec un terminal via ssh sur le serveur proxmox

Ensuite j'ai mis en place le RAID1 sur les deux disques sdb et sdc

Voici les commandes tapées :

mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb /dev/sdc

Puis formatage du raid1
mkfs.ext3 /dev/md0

ensuite j'ai ajouté une ligne dans le fichier fstab afin de monter automatiquement le volume raid md0 au démarrage du système:
/dev/md0 /raid1 ext3 noatime,rw 0 0

Puis un mount -a pour forcer le volume à se monter sans que j'ai besoin de redémarrer la machine

Le df -h m'a permis de confirmer que le volume raid était bien monté

J'ai donc enchaîné sur le LVM sur les disques durs sdb et sdc. Seulement vu que les deux disques sont maintenant implémentés sur un raid je me suis dit qu'il fallait que j'adapte la commande (et en cherchant un peu sur le net apparemment la commande suivante devait marché enfin je pense ^^)

pvcreate /dev/md0 > le message suivant apparaît > Can't open /dev/md0 exclusively. Mounted filesystem "

Pour cette question :

Par la même occasion, pourrait-on savoir dans quelle partition se trouve ce fichier  "/etc/fstab" ? >
Comme tu auras pu le constater, mes connaissances en linux sont faible pour le moment, pourrais-tu me dire comment je peux avoir cet information ?

En espérant déjà avoir été un peu plus clair sur la demande initiale.

Merci d'avance pour l'aide.

MicP

Re : raid 1 + lvm

Bonjour

Effectivement, c'est beaucoup plus clair, et je t'en remercie.

Ce que tu as fait:
Créer un RAID 1  => "mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb /dev/sdc"
Créer un système de fichier (ext3) utilisant ce RAID 1 => "mkfs.ext3 /dev/md0"
Mounter ce système de fichier depuis proxmox (modif "fstab" + "mount -a")

Dès lors, étant donné que le système de fichier créé sur le RAD 1 est "mounté", il est intégré au système de fichier utilisé par proxmox,
et proxmox refuse (et c'est bien légitime) qu'on modifie le format d'un système de fichier qu'il utilise.

========================
"dé-mounte" le périphérique "/dev/md0"

sudo umount /dev/md0

et supprime la ligne que tu avais rajouté dans ton "/etc/fstab" concernant ce système de fichier créé sur le RAID 1.

========================
Maintenant tu peux reprendre à l'étape de la création de ton LVM en utilisant le périphérique "/dev/md0" comme s'il s'agissait d'un simple disque dur.

donc:
1°/ pvcreate sur "/dev/md0"
2°/ vgcreate
3°/ lvrcreate
4°/ création du système de fichier <=> formatage
5°/ mountage du système de fichier sur proxmox

Dernière modification par MicP (Le 26/08/2013, à 19:25)

ethan7888

Re : raid 1 + lvm

Merci beaucoup pour tes informations Mcip

Je finalise actuellement la partie LVM, je vais reprendre ta procédure afin d'être le plus clair possible par rapport à ce que j'ai appliqué:

1°/ pvcreate sur "/dev/md0" > Ce qui donne dans mon cas pvcreate /dev/md1 > Aucun problème
2°/ vgcreate                        > vgcreate vg_storage_vm  /dev/md1 > Pas de soucis non plus
3°/ lvrcreate                        > lvcreate -n lv_vm -L 1.80T /dev/md1 > Ok
4°/ création du système de fichier <=> formatage > c'est cette étape ou je m'interroge ? On applique le système de fichiers au niveau du raid ce qui donnerait un mkfs.ext4 /dev/md1 ou sur le LVM ? mkfs.ext4 /dev/vg_storage_vm ?

Pourrais-tu m'aiguiller à ce sujet ?

Autres questions : j'ai rajouté bêtement la ligne dans le fstab : "/dev/vg_storage_vm/lv_vm  /mnt/proxmox-vm ext4 noatime,rw 0 0" mais sans la comprendre dans les détails

Que veux dire noatime, rw (je suppose que c'es lié au droits read,write ?) et 0 0 ?

Merci d'avance ^^

Dernière modification par ethan7888 (Le 27/08/2013, à 16:51)

MicP

Re : raid 1 + lvm

Excuse moi, je suis un peut pris aujourd'hui, je reviendrais ce soir pour revoir ce post.
En attendant, voici quelques liens qui pourront t'aider:
http://doc.ubuntu-fr.org/lvm
http://doc.ubuntu-fr.org/lvm#volume_logique1
http://doc.ubuntu-fr.org/mount_fstab
https://wiki.archlinux.org/index.php/Fstab
http://www.centos.org/docs/5/html/Clust … M_CLI.html

Dernière modification par MicP (Le 27/08/2013, à 20:12)

MicP

Re : raid 1 + lvm

Pour les disques du RAID1 :

Plutôt que d'utiliser l'intégralité d'un disque pour créer un RAID, il serait plus prudent d'utiliser une partition de type "fd" créée sur ce disque.
Si plus tard, il te faut remplacer un disque, tu pourra spécifier une partition de la même taille sur un nouveau disque qui pourrait être un disque d'une plus grande taille.
comme par exemple utiliser un disque de 3TB contenant une partition de 1.8TB pour remplacer un disque de 2TB contenant une partition de 1.8TB.
Finalement, "/dev/sdb1" référencera une partition de remplacement de la même taille même si le disque est d'une taille supérieure.

Les partitions qui seront utilisées pour créer le RAID 1 devraient être du type "fd" => RAID Linux autodetect.
Ce n'est pas vraimenet inspensable, mais ça peut aider.
Donc, avec "fdisk", créer sur chacun des deux disques une partition primaire de la même taille => utilisant la totalité de l'espace du disque.
Ensuite changer le type des partitions de ces deux disques pour le type "fd" => RAID Linux autodetect.

=========
Pour la création du RAID 1 utilisant les partitions "/dev/sdb1" et "/dev/sdc1" (partitions de la même taille) la commande pourrait-être:

mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[bc]1

===================
===================
Pour le LVM :

- visualiser les "Logical Volume" présents sur le système (au cas où)

lvscan

- supprimer un "Logical Volume" (qui a d'abord été "démounté" => inactif)

lvremove </dev/nom_du_VG/nom_du_LV_a_supprimer>

- visualiser tous les "Volume Group" présents sur le système (au cas où).

vgscan

- supprimer un "Volume Group" (qui ne contient aucun "Logical Volume")

vgremove </dev/nom_du_VG_a_supprimer>

- visualiser tous les "Physical Volume" présents sur le système (au cas où).

pvscan

- supprimer un "Physical Volume" => pvremove </dev/nom_du_support> (le RAID 1 "/dev/md0")

pvremove /dev/md0

==================================================
==================================================

- Créer le "Physical Volume" du LVM => Initialiser la partition LVM en utilisant le RAID1 "/dev/md0"=> pvcreate <nom du support (ici c'est le RAID 1 => "/dev/md0")>.

pvcreate /dev/md0

- afficher les attributs du "Physical Volume" qui vient d'être créé.

pvdisplay

- créer le "Volume Group" => vgcreate <nom du VG que tu veux>  <nom du support (ici c'est le RAID 1 => "/dev/md0")>

vgcreate nom_du_VG  /dev/md0

- afficher les attributs du "Volume Group" qui vient d'être créé. => vgdisplay <nom du VG dont on veut visualiser les attributs> 

vgdisplay nom_du_VG

- créer le "Logic Volume" => lvcreate -n <nom du LV> -L <espace à allouer au LV> <Nom du VG>

lvcreate -n nom_du_LV -L 1.80T nom_du_VG

A ce stade, on doit pouvoir visualiser le "Logical Volume" qui vient d'être créé, et récupérer son "VG Name" pour le formater.

lvsdisplay

- créer un système de fichiers (formater) le "Logical Volume" => mke2fs -t <type de système de fichier> <chemin du périphérique>

mke2fs -t ext4 /dev/nom_du_VG/nom_du_LV

Dernière modification par MicP (Le 28/08/2013, à 01:08)

ethan7888

Re : raid 1 + lvm

Merci pour tes explications détaillés

Finalement ta procédure a été appliquée cet après-midi et tout semble fonctionner à part une petite surprise pour le RAID1.

En effet, après un redémarrage de l'OS, la configuration du raid avait disparu (la commande mdadm --query /dev/md1 n'a retourné aucune configuration RAID1). De plus le LVM avait aussi disparu (vérification avec un pvdisplay et vgdisplay)

La seule explication plausible c'est que la synchronisation des deux disques durs du RAID1 n'avaient pas finit, et je pense que le raid n'a pas aimé le redémarrage du système, tu confirmes cette hypothèse ?

Merci encore pour ta patience et tes solutions techniques ^^

MicP

Re : raid 1 + lvm

En fait, je n'avais pas compris pourquoi, après avoir créé un RAID1 nommé "/dev/md0" tu utilisais un RAID1 nomme "/dev/md1".
Du coup, je pense que tu avais omis de me donner des explications au sujet de ce "/dev/md1"
Pour le coup, il ne m'est pas possible de faire une quelconque hypothèse sur ce qu'il a bien pu se produire.

D'autre part, si le nom était "/dev/md1", il est fort possible qu'un "/dev/md0" devait déjà exister au moment de sa création.

Dernière modification par MicP (Le 28/08/2013, à 01:12)

ethan7888

Re : raid 1 + lvm

Bonjour,

Pour revenir sur le projet de base  : aujourd'hui nous avons 1 disque de 500 Go (sda) pour la partie système. Deux disques de 2 Teras (sdb et sdc) pour le raid1. Actuellement, pour le raid1 effectivement nous avons un  /dev/md1 !
L'idée est qu'ensuite on rajoute un disque supplémentaires de 500 Go (qu'on associera au disque de 500 Go existant) pour faire un raid juste pour le système proxmox donc un /dev/m0

Et pour le coup le md1 je l'ai juste spécifié en créant mon raid avec le mdadm ^^

Et au final, après la synchronisation totale du raid 1 sur /dev/md1, on a redémarré et la configuration RAID1 avait disparu..

Mais on a peut être trouvé une piste, vu que j'ai fait plusieurs configuration RAID1 du à mon tâtonnement et donc je pense fortement que dans mes multiples tentatives de la mise en place du RAID1 je n’effaçais jamais mes précédents RAID ^^ . Et mon manager à trouvé des résidus de conf dans mdadm.conf et c'est peut-être pour cela que le RAID1 était instable

Merci pour ton aide

Dernière modification par ethan7888 (Le 28/08/2013, à 09:41)

MicP

Re : raid 1 + lvm

Pour le raid qui va être utilisé pour les données (/dev/md1), il n'y a pas de problèmes particuliers.
Par contre, pour un système qui doit booter sur un RAID, c'est pas tout-à fait la même chose : l'idéal sera de créer ce RAID au cours d'une réinstallation du système proxmox.
Sinon, il faudra peut-être prévoir une (petite) partition (ext4 ou ext3, j'ai pas encore essayé) dans laquelle il faudra déplacer le dossier "/boot" qui contiens le fichier "initrd.img",
et tous les fichiers qui vont permettre de "mounter" le RAID du système au démarrage. (et bien sûr le LVM sur RAID pour machines virtuelles)

EDIT: Pour une install de debian 7.1 avec GPT, pas besoin de partition de boot séparée
http://kudzia.eu/b/2013/04/installation … raid1-gpt/

Dernière modification par MicP (Le 28/08/2013, à 11:57)