Ubuntu-fr

canard-gras

raid5 mdadm lvm2 serveur de fichiers

Bonjour

juste un post pour garder en "mémoire" une expérience de la mise en place d'un serveur de fichiers, avec un raid logiciel, un lvm.

projet : avoir un serveur de fichiers fiable, sans aucune perte de données, garantissant sa fonction même si le dd tombe en panne, mais dont l'accès est assez rapide.

moyen dispo. :
- une machine acer aspire intel celeron d.
- 2 dd sata de 160G
- 1 dd sata 320 G
- 1 dd ide 80G
- 1 carte reseau 1 gbts.
- sdram 2 x 512.

l'idée :
- trouver un compromis entre rapidité d'accès, redondance, tranquillité quand cela tombe en panne, bien séparer les données dans des espaces plus sûr que les répertoires, mais pouvoir facilement allouer des ressources à des espaces selon les besoins.

des outils :
le raid logiciel , plusieurs niveaux existent
- le 0 ecrit sur deux disques donc augmente les performances
- le 1 , "miroir", copie le dd ou partitions sur un autre dd ou partition,
- je passe les autres
- le 5, minimum 3 disques ou partitions, (stripping et parité) en cas de panne le disque raid recalcule les données manquantes  et reste en marche.
- le raid 0-1 et 1-0, je laisse deviner :>))
- le lvm (logical volume manager) car beaucoup plus souple que les partitions. on choisit ses disques ou partitions (PV), on décide de leur affectation à un ou plusieurs grand volume (VG) et dans le VG on crée des espaces que l'on appelle lv, que l'on peut modifier, agrandir, changer le fs (ext2, ext3, XFS, Reiserf...)...

Ce qui a été choisi pour le projet :

- pour la sécurité des données et l'amélioration de l'accès disque => le raid 5
- pour la maniabilité et la possibilité de choisir ses FS => le lvm2
- pour la solidité du support des données en tant que FS => XFS.
- pour éviter qu'un dd flambe => ne pas mélanger des tehnologies trop différentes dans le RAID => ddonc pas de mélange de l'ide avec le sata, le système a été installé sur l'ide
- pour accélérer l'accés, une version 64 au lieu de x86 d'ubuntu.
- pour éviter les pbs avec un matériel top exotique de l'ACER => version 7 (eddgy eft) unbuntu au lieu de dapper.
- pour que quand cela tombe en panne, je ne stresse pas => prévoir des partitions en réserve disponible pour le raid 5, donc :
=> sda (c'est l'ide, et oui bizarre, c'est pas hda) donc l'install normale d'ubuntu (/boot, /, /home...). J'ai laissé l'instal automatique se réaliser.
=> sdb (160 G) 4 partitions de 40G
= >sdc (160 G) 4 partitions de 40 G
=> sdd (320 G) 8 partitions de 40 G

4 raid 5
- md0 sda1 sdb1 sdd1  et en reserve (spare) sdd5
- md0 sda2 sdb2 sdd2  et en reserve (spare) sdd6
- md0 sda3 sdb3 sdd3  et en reserve (spare) sdd7
- md0 sda4 sdb4 sdd4  et en reserve (spare) sdd8

j'ai utilisé un lvm, déclaré tous les md avec pvcreate, créé vg0, affecté les pv, et créé selon mes besoins les LV

Voilà la suite au prochain moment de temps libre. on parlera des pbs rencontrés !

Et il y en a eu :>((

il est vrai que quand on sait pas ...     on apprend.  :>)))  fstab, mdadm...

---

Bravo à Linux, les logiciels libres et Ubuntu !
PS : Ne pas oublier de poster ses expériences pour aider les autres.

canard-gras

Re : raid5 mdadm lvm2 serveur de fichiers

installation avec ubuntu server 7  noyau 2.6.20-15 generic

Choix de l'install sur le dd ide de 80 Go,je n'ai surtout pas configuré les autres partitions en raid, parce que, à chaque fois, cela a planté. j'ai choisit l'instal en autmatique sur tout le dd dur

Pas de dns ni de lamp, inutile pour moi.

l'install du cd terminé, au redémarrage, le grub met une "plombe à se charger" puis pas de verbose de l'instal.

pas de possibilité de changer de tty (ctrl alt F1 , F2 etc...)

puis tout est ok.  je change le mot de passe de root "sudo passwd root". ceci me permet de suite de me connecter en root. => su root

je change de suite le source list dans apt vi /etc/apt/sources.list afin de commenter la ligne où il y a reference au cd (un # devant). Par prudence je commente aussi les dépot multiverse, mais je laisse universe (je sais pas pourquoi).

là il me dit (apt-get update et apt-get upgrade) qu'il y a 13 paquets à mettre à jour. Je ne le fais pas. je commente le dépots universe (juste pour voir la différence). il me dit la même chose.

je partitionne sdb sdb sdc avec fdisk /dev/sda etc... là déjà cela m'agace. je choisis de mettre +40000M, et il ne mets pas le même nbre de blocks entre sdb1 et sdb2 (39070048+ et 39070080). Je crois 3 partitions primaires, puis la dernière en étendue (pour toute la surface restante), elle devient ainsi sdb5, au lieu de sdb4. Ne pas oublier de commander "w" comme write :>)). Sur sdd, j'en créé 8. Jusqu'à là tout va bien.

Il s'agit maintenant d'indiquer le tag pour le raid. c'est à dire une marque avec l'option "t" et choisir "fd" > raid.

apt-get install mdadm pour installer le logiciel qui gère le raid. A l'install , il me demande des trucs : en tout ca je dis non à tout concernant le démarrage automatique. Le daemon mdadm s'est bien lancé.

je tente de créer un raid avec les partitions sachant que je n'ai pas encore volontairement mis le "fd" sur les partitions.

mdadm --create /dev/md0 --chunk=4 --level=5 --raid-devices=3 /dev/sd[bcd]1

là il me demande si je veux continuer ! je fais yes et c'est ok.  je vérifie avec
cat /proc/mdstat et là c'est ok. J'en suis surpris car je n'ai pas mis le tag "fd" sur la partition. peut être que mdadm est comme lvm2 à lvm, qui ne nécessite plus le tag 8e sur la partition comme dans le temps.

Là, faire trés attention, avec la commande cat /proc/mdstat on se rend compte qu'il est en train de construire le raid. surtout ne rien arrêter. Il affiche qu'il va mettre 16 minutes. A tout à l'heure.

---

Bravo à Linux, les logiciels libres et Ubuntu !
PS : Ne pas oublier de poster ses expériences pour aider les autres.

canard-gras

Re : raid5 mdadm lvm2 serveur de fichiers

suite .../...

Le temps indiqué par mdadm n'est pas le bon. il met moitié moins, pour ce cas, 10 minutes pour 3 partitions de 40 GO.je contrôle :
cat /proc/mdstat   ok
mdadm --query /dev/md0  => 74GB raid 5
mdadm --detail /dev/md0 |more    ("|more" pour l'avoir page par page) > ok

Là, on va compliquer. Ce que je souhaite c'est un lvm et un fs en xfs. Mais avant cela,  je vais redémarrer l'ordinateur, car avec les précédents essais (c'est à ddire en disant oui à l'instal auto pendant mdadm, et en tag "fd" les partitions, y avait des pbs.

Avant, j'enlève le dhcp, puisque je souhaite naturellement que cet ordinateur est une ip fixe pour que l'on puisse y accéder facilement.
vi  /etc/network/interfaces
je commente #iface eth0 inet dhcp
et je rajoute
iface eth0 inet static
address 192.168.0.12   #pourquoi pas
netmask 255.255.255.0
gateway 192.168.0.200  #pourquoi pas
puis on sauvegarde (:wq) 
reboot et c'est parti !

surprise ! je me retrouve avec tout plein de raid du dernier essai.

root@ubuntu:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md3 : active raid5 sdb5[0] sdc5[1]
      78139904 blocks level 5, 4k chunk, algorithm 2 [3/2] [UU_]
     
md2 : active raid5 sdb3[0] sdc3[1]
      78140032 blocks level 5, 4k chunk, algorithm 2 [3/2] [UU_]
     
md1 : active raid5 sdb2[0] sdc2[1]
      78140032 blocks level 5, 4k chunk, algorithm 2 [3/2] [UU_]
     
md0 : active raid5 sdc1[3] sdd1[2]
      78139904 blocks level 5, 4k chunk, algorithm 2 [3/2] [U_U]
   
A croire qu'il n'efface rien quand on installe et que l'on partitionne.

je tente de partir de là, et d'ajouter les disques :

mdadm /dev/md0 --add /dev/sdb1

et là il démarre une construction, donc il faut attendre.

md0 : active raid5 sdc1[3] sdb1[0] sdd1[2]
      78139904 blocks level 5, 4k chunk, algorithm 2 [3/2] [U_U]
      [=====>...............]  recovery = 29.3% (11460292/39069952) finish=9.8min speed=46844K/sec

---

Bravo à Linux, les logiciels libres et Ubuntu !
PS : Ne pas oublier de poster ses expériences pour aider les autres.

canard-gras

Re : raid5 mdadm lvm2 serveur de fichiers

bonjour,

toujours impossible de faire fonctionner raid et lvm.

la chose la plus bizarre qui m'arrive est la suivante :

avec la config de ce jour, j'ai :
- sda ou j'ai l'install de linux / /home /etc...
- sdb en sdb1 en raid
- sdc en sdc1 en raid
- sdd en sdd1 en raid, sdd2 en raid aussi.

j'ai créé le raid sda1, sdb1, sdd1 et en spare il y a sdd2.

pas de pb jusque là. Je fais des essais en reboot etc... ok

J'installe lvm2, et là :

le pb (problème) est le suivant : lorsque je démarre, il me change les partitions !!!
par exemple, le sda d'avant devient le sdb, et le sdc (sdc1 et sdc2) devient sda1 et sda2 :>((

La machine tourne pour l'instant, mais je suis inquiet à aller plus loin.

Quelqu'un a des explications, hypothèses voire solutions ?

---

Bravo à Linux, les logiciels libres et Ubuntu !
PS : Ne pas oublier de poster ses expériences pour aider les autres.

canard-gras

Re : raid5 mdadm lvm2 serveur de fichiers

bon, aprés quelques redémarrage cela ne le fait plus.

Il est vrai que j'ai utilisé la commande partprobe. Je croyais qu'un re-démarrage faisait plus qu'un partprobe. Est-ce que quelqu'un sait ?

En tout cas nickel. Donc voilà le résumé, et cela marche.

le raid :
j'ai créé les partitions en dehors du système avec un cdrescue. j'ai de suite identifié les partitions en raid (tag "fd"). Il le fait tout seul comme un grand, bien plus pratique que fdisk, dont j'ai maintenant un doute sur son efficacité.

cela fait, j'ai installé le système sur mon disque de 80G

Pour le raid aprés l'instal :
apt-get install mdadm.
mdadm --create /dev/md0 --level=5 --raid-devices=3 --spare-devices=1 /dev/sd[bcd]1 /dev/sdd2

là il démarre la construction. Attention, surtout surtout patienter ! il met trés longtemps. on peut suivre l'évolution avec :
cat /proc/mdstat
ou
mdadm --detail /dev/md0

Quand c'est terminé :
- ne pas bidouller sur la partition md0 avec fdisk. c'est à dire ne pas s'amuser à créer des partitions dedans, les taguer en lvm ou autre. Pour moi cela a été la panique aprés...

- LVM.
installer les utilitaires
apt-get instal lvm2
vgscan  #doit rien donner
pvcreate /dev/md0
vgcreate vg0 /dev/md0 #pour la suite, ne pas s'amuser de changer le nom vg0, car j'ai eu des pb aprés pour installer le fs avec xfs, pas avec ext3
lvcreate -L10G -n lv0 vg0

installation du fs xfs. Il faut installer les utilitaires.
apt-get install xfsprog

puis
mkfs -t xfs -f /dev/vg0/lv0
pour un ext3, faire
mkfs -t ext3 -q /dev/vg0/lv0

puis monter les données
mount -t xfs /dev/vg0/lv0 /mnt/   #par exemple - attention le repertoire doit être vide

puis vérifer :
df /mnt  #ou autre, df ...

cela fait, ne pas oublier de modifier le fstab avec vi par exemple.

/dev/vg0/lv0            /mnt           xfs             defaults           0          0  #ou 2

redemarrer pour voir si cela marche.

---

Bravo à Linux, les logiciels libres et Ubuntu !
PS : Ne pas oublier de poster ses expériences pour aider les autres.