Ubuntu-fr

pierrot10

Re : Question sur les snapshot et les LVM

Salut tirmiseb,
Serais-tu toujours par là pour m'aider?
Je me replonge dans les snapshot et je me suis amusé a faire ce sénarion d'ou naissent deux trois question
Sénario:

Il est 11h, mon dossier est vide. Je n'ai encore jamais créé de snap

dal@cry1:~$ sudo lvdisplay
  --- Logical volume ---
  LV Path                /dev/vg00/home
  LV Name                home
  VG Name                vg00
  LV UUID                rsWK0x-dd3Z-bsTy-TShB-Bhxh-MVdM-LPOnU2
  LV Write Access        read/write
  LV Creation host, time cry1, 2015-06-09 10:20:20 +0200
  LV Status              available
  # open                 1
  LV Size                13.00 TiB
  Current LE             3407872
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:1
   
dal@cry1:~$ 

Mon dossier /home/efl fait 28k

Je lance mon premier snap de 10G

dal@cry:/home$ crsnap 10G
  Logical volume "snap_20150624_111208" created
dal@cry:/home$ 

Note: j'ai créé une fonction dans .bashrc. crsnap 10G équivau à
sudo lvcreate -n snap_`date +%Y%m%d_%H%M%S` -L 10G -s /dev/vg00/home;

Je controlle mon lvdisplay et je vois qu'un nouveau lv a été créé

dal@cry1:~$ shsnap
  --- Logical volume ---
  LV Path                /dev/vg00/home
  LV Name                home
  VG Name                vg00
  LV UUID                rsWK0x-dd3Z-bsTy-TShB-Bhxh-MVdM-LPOnU2
  LV Write Access        read/write
  LV Creation host, time cry1, 2015-06-09 10:20:20 +0200
  LV snapshot status     source of
                         snap_20150624_111208 [active]
  LV Status              available
  # open                 1
  LV Size                13.00 TiB
  Current LE             3407872
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:1
   
  --- Logical volume ---
  LV Path                /dev/vg00/snap_20150624_111208
  LV Name                snap_20150624_111208
  VG Name                vg00
  LV UUID                GvlQre-VoT3-gfu1-4Jb0-dLKe-oQKM-cdDRYf
  LV Write Access        read/write
  LV Creation host, time cry1, 2015-06-24 11:12:08 +0200
  LV snapshot status     active destination for home
  LV Status              available
  # open                 0
  LV Size                13.00 TiB
  Current LE             3407872
  COW-table size         10.00 GiB
  COW-table LE           2560
  Allocated to snapshot  0.00%
  Snapshot chunk size    4.00 KiB
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:0
   
dal@cry1:~$ 

Si je le monte sur /mnt/snap, je vois que le contenu de /mnt/snap/efl/ est identique à /home/efl/.
Donc tout bon.

Maintenant, je copie 6.7G de data dans /home/efl/rob
et je crée un nouveau snap de 10G et je l'affiche

dal@cry1:/home/eflum$ shsnap
  --- Logical volume ---
  LV Path                /dev/vg00/home
  LV Name                home
  VG Name                vg00
  LV UUID                rsWK0x-dd3Z-bsTy-TShB-Bhxh-MVdM-LPOnU2
  LV Write Access        read/write
  LV Creation host, time cry1, 2015-06-09 10:20:20 +0200
  LV snapshot status     source of
                         snap_20150624_111208 [active]
                         snap_20150624_113518 [active]
  LV Status              available
  # open                 1
  LV Size                13.00 TiB
  Current LE             3407872
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:1
   
  --- Logical volume ---
  LV Path                /dev/vg00/snap_20150624_111208
  LV Name                snap_20150624_111208
  VG Name                vg00
  LV UUID                GvlQre-VoT3-gfu1-4Jb0-dLKe-oQKM-cdDRYf
  LV Write Access        read/write
  LV Creation host, time cry1, 2015-06-24 11:12:08 +0200
  LV snapshot status     active destination for home
  LV Status              available
  # open                 1
  LV Size                13.00 TiB
  Current LE             3407872
  COW-table size         10.00 GiB
  COW-table LE           2560
  Allocated to snapshot  66.53%
  Snapshot chunk size    4.00 KiB
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:0
   
  --- Logical volume ---
  LV Path                /dev/vg00/snap_20150624_113518
  LV Name                snap_20150624_113518
  VG Name                vg00
  LV UUID                9t5wuz-Y8yi-fULQ-rxYj-KfFN-kO3m-bvVfLz
  LV Write Access        read/write
  LV Creation host, time cry1, 2015-06-24 11:35:18 +0200
  LV snapshot status     active destination for home
  LV Status              available
  # open                 0
  LV Size                13.00 TiB
  Current LE             3407872
  COW-table size         10.00 GiB
  COW-table LE           2560
  Allocated to snapshot  0.00%
  Snapshot chunk size    4.00 KiB
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:4
   
dal@cry1:/home/eflum$ 

je monte mon snap de 11:35:18 et je vois bien le dossier /home/efl/rob.
Je le démonte et je monte le snap précédent de 11:12:08
et je ne vois pas le dossier /home/efl/rob, ce qui est normal puisque ce snap a été créé avant que le dossier rob soit copié.

Pourquoi la ligne Allocated to snap change de valeur et particuliere dans le snap de 11:12:08
Si vous observer bien, il avait une valeur de 0% avant d'avoir copier le dossier rob. Après avoir copier le dossier et créé le deuxieme snap,
"Allocated to snap" du premier snap prends la valeur de 66% alors que cette meme valeur pour le deuxieme snap est à 0%. Ca ne devrait pas
être l'inverse?

Miantenat les erreurs et problèmes commence maintenant.
J'ai copié un dossier avec 88G de data, et ensuite j'ai créé un nouveau snap de 10G.

Voici les erreurs, qui concernent les deux premiers snap

dal@cry1:/home/efl$ crsnap 10G
  /dev/vg00/snap_20150624_111208: read failed after 0 of 4096 at 14293651095552: Input/output error
  /dev/vg00/snap_20150624_111208: read failed after 0 of 4096 at 14293651152896: Input/output error
  /dev/vg00/snap_20150624_111208: read failed after 0 of 4096 at 0: Input/output error
  /dev/vg00/snap_20150624_111208: read failed after 0 of 4096 at 4096: Input/output error
  /dev/vg00/snap_20150624_113518: read failed after 0 of 4096 at 14293651095552: Input/output error
  /dev/vg00/snap_20150624_113518: read failed after 0 of 4096 at 14293651152896: Input/output error
  /dev/vg00/snap_20150624_113518: read failed after 0 of 4096 at 0: Input/output error
  /dev/vg00/snap_20150624_113518: read failed after 0 of 4096 at 4096: Input/output error
  Logical volume "snap_20150624_124418" created
dal@cry1:/home/efl$ 

Es-ce que c'est parce que mob 3eme snap fait 10G alors que j'ai 88G de data?
Les deux premiers snap sont devenu inactif....
Ca ne devrait pas etre le troiseme snap qui devrait être inactif puisque que j'ai 88G de data pour un snap de 10G?

Un grand merci pour tes lumières

Dernière modification par pierrot10 (Le 25/06/2015, à 10:41)

tiramiseb

Re : Question sur les snapshot et les LVM

Arrête de vouloir faire des snapshots les uns derrière les autres !!!
Essaie de comprendre ce qu'il se passe quand tu fais un seul snapshot plutôt que d'en faire un deuxième et de tout mélanger.

Je te propose alors de refaire le même test jusqu'à la copie des 6,7 Go de données et d'arrêter là. Ne pas créer un second snapshot.
Alors tu regardes le retour de lvdisplay et tu réfléchis.

---

Sébastien Maccagnoni - https://www.maccagnoni.eu - https://www.domotego.com

pierrot10

Re : Question sur les snapshot et les LVM

Merci tiramiseb,
Je ne suis pas devant mon serveur aujourd'hui mais demain.
mais je vais refaire l'opération en ne faisant qu'un premier snap sans donnée.
Puis je metterai 6.7G de donnée sans créé un deuxième snap.
je t'apperai aussi cette commande

watch sudo lvs

De mémoire, le snap créé va augmenter.

Je suis désolé, mais j'arrive toujours pas à compendre pourquoi il augmente au fur et à mesure que les données se copient.
Un snap est bien un instantané.

Je regarderai demain, car je ne suis pas en face du serveur, aujourd'hui et je ne peux rien faire ni retranscrire exactement ce que je fais et ce qu'il passe.

Mais encore merci de me supporter (dans les deux sens du terme )

tiramiseb

Re : Question sur les snapshot et les LVM

Un snap est bien un instantané.

Du point de vue LOGIQUE, utilisateur, le snapshot est un instantané.

Du point de vue TECHNIQUE, ordinateur, sont stockées dans l'espace dédié au snapshot les données nécessaires à calculer le snapshot à partir du volume d'origine.

Au moment où tu crées le snapshot, l'espace qui lui est dédié ne contient rien (ou pas grand chose) car il n'y a pas de différence entre lui et le volume d'origine.
Après avoir transféré 6 Go sur le volume d'origine, l'espace qui lui est dédié contient 6 Go car il y a 6 Go de différence entre lui et le volume d'origine.

---

Sébastien Maccagnoni - https://www.maccagnoni.eu - https://www.domotego.com

pierrot10

Re : Question sur les snapshot et les LVM

Merci tiramiseb,
J'apprécie vraiment tes explications.
Je regarde tout ca demain, à fond. Je reproduis et je relis les commentaires.
Milles mercis

pierrot10

Re : Question sur les snapshot et les LVM

Hello
Je viens de refaire l'opération en partant de zéro et en ne créant qu'un snap.

Voici le sénario avec un résumé, à toute fin utile:

Mon dossier /home/efl/ est vide. Je n'ai pas de snap.

J'ai crée un un snap

sudo lvcreate -n snap_`date +%Y%m%d_%H%M%S` -L 10G -s /dev/vg00/home;

Ensuite j'ouvre un autre terminal et je tape la commande

watch sudo lvs

Pour voir "la progession" du premier snap

Every 2.0s: sudo lvs                                    Tue Jun 30 13:37:54 2015

  LV                   VG   Attr      LSize  Pool Origin Data%  Move Log Copy%
Convert
  home                 vg00 owi-aos-- 13.00t

  snap_20150630_132643 vg00 swi-aos-- 10.00g      home    0.0

A savoir, avant ceci,, si je ne l'ai pas écris, j'ai activé l'autoredimenssionement du LV si elle ateint 60% de data
/etc/lvg/lvg.cong

 snapshot_autoextend_threshold = 60
    snapshot_autoextend_percent = 40 

J'ai aussi installé 'dmeventd' pour que ca fonctionne. J'ai redémarré le serveur.

sudo apt-get install dmeventd

J'avais aussi rpéalablement lancé cette commande pour activé le monitoring des LV

 sudo vgchange --monitor=y --poll=y

Je continue
Le snap étant créé, je copie maintenant 6.7 de données dans /home/efl/robra/
et j'observe mon deuxième terminal ou j'ai tapé la commande

watch sudo lvs

Je constate que
1) le porcentage augment jusqu'à 66.53%
2) que la taille du LV n'a pas augmenté pas alors que le seuil est défini à 60

Every 2.0s: sudo lvs                                    Tue Jun 30 13:47:13 2015

  LV                   VG   Attr      LSize  Pool Origin Data%  Move Log Copy%
Convert
  home                 vg00 owi-aos-- 13.00t

  snap_20150630_132643 vg00 swi-aos-- 10.00g      home    66.53

Je monte mon snap sur /mnt/snap/ et je vois qu'il n'y a rien.

Ensuite, je copie encore un peu de donné dans dans
/home/efl/roba2
et je constate que mon snap continue à augmenter

Every 2.0s: sudo lvs                                    Tue Jun 30 13:47:13 2015

  LV                   VG   Attr      LSize  Pool Origin Data%  Move Log Copy%
Convert
  home                 vg00 owi-aos-- 13.00t

  snap_20150630_132643 vg00 swi-aos-- 10.00g      home    78.30

mais mon snap reste à 10g alors qu'il devrait passer à 14g, automatiquement.

Je tape la commande

 sudo vgchange --monitor=y --poll=y

et là, mon snap passe à 14g

Je monte mon snap et il y a toujours rien dedans. Ce qui me semble normal, car au moment de la création du snap, il y avait rien.

Mes questions
Là, je peine toujours à comprendre, pourquoi, lvs m'afiche 78.3% de data? (alors que /mnt/snap/ est vide!!!!!)
Pourquoi la taille de mon snap ne passe pas automatique à 14g mais que lorsuqe je tape la commande pour le monitoré?

Je pense que si je crée maintenant un deuxime snap, et que je le mont sur /mnt/snap/ je verrai les datas qui sont sur le serveur au moment du snap.
Si je continue à copier des données avant de créé mon deuxième snap, ma commande watch sudo lvs va continuer à m'afficher la progression du snap en % jusqu'à devenir inactif lorsqu'il aura atteint 100%.

Je pense que je dois vraiment comprendre ceci et j'ai encore du mal à le cerner, je suis désolé

Dernière modification par pierrot10 (Le 30/06/2015, à 14:08)

tiramiseb

Re : Question sur les snapshot et les LVM

Là, je peine toujours à comprendre, pourquoi, lvs m'afiche 78.3% de data? (alors que /mnt/snap/ est vide!!!!!)

Relis mon message #29. Je ne sais pas comment formuler autrement ; toute l'explication est dans ce message.

Pourquoi la taille de mon snap ne passe pas automatique à 14g mais que lorsuqe je tape la commande pour le monitoré?

Là par contre, je ne sais pas.
dmeventd est bien en fonctionnement ?

---

Sébastien Maccagnoni - https://www.maccagnoni.eu - https://www.domotego.com