Première sauvegarde hyper-lente et compliquée

Pleney · Le 03/09/2016, à 17:32

Bonjour.

Mon ordi est un HP pourvu de 2 DD de 1,5 To chacun. Sur le premier DD se trouvent les partitions suivantes :
swap (12 Go)
/ (200 Go)
/home (1260 Go)
/temp (20 Go)

Le second DD, scindé en 3 partitions égales, me sert entre autres à recopier des données (ce qui est une forme de sauvegarde).

J'ai voulu sauvegarder le contenu du Dossier personnel (donc /home) sur un DD externe de 2 To.

Après avoir paramétré et lancé l'appli Sauvegardes, je m'aperçois qu'elle s'arrête (se fige) après avoir enregistré environ 700 fichiers de 52,4 Mo chacun (de type duplicity-full.20160901T012345Z.vol1.difftar.gpg), soit au total environ 36 Go. L'ordi est alors presque bloqué : je suis obligé de l'éteindre avec le bouton d'allumage, puis de le redémarrer.

Ensuite, chaque fois que je relance la sauvegarde, ça ajoute environ 700 fichiers GPG, donc 36 Go. Et ça rebloque ! A ce rythme, comme il y a 1200 Go de données dans le Dossier personnel, il faudra plus d'une trentaine de redémarrages pour sauvegarder l'ensemble (à supposer que tout fonctionne correctement par ailleurs).

Normalement la sauvegarde devrait se faire en une seule fois, non ? Quitte à ce que ça dure 2 ou 3 jours pour la première.

Quelqu'un connaît-il la cause de ce dysfonctionnement ? Et comment y remédier ?

Merci.

Pleney · Le 03/09/2016, à 17:40

J'ai oublié quelques précisions :

-- C'est la version 16.04 d'Ubuntu qui est installée.

-- Le Dossier personnel est crypté.

-- Il y a un autre utilisateur, mais presque inutilisé, et au dossier personnel quasiment vide.

-- Le DD externe de sauvegarde est connecté par USB.

Pleney · Le 08/09/2016, à 18:52

Apparemment personne ne comprend ce qui m'arrive, puisqu'il n'y a aucune réponse...

Résumé : la sauvegarde complète (?) des quelque 800 Go de données m'a finalement pris 8 jours, avec 18 redémarrages nécessaires (à chaque fois, suite au blocage de l'ordi après avoir sauvegardé environ 36 Go).

Chaque session de sauvegarde s'est avérée plus longue que la précédente, car il fallait recommencer tout le processus : analyse (des fichiers à sauvegarder) + vérification (des éventuelles modifications) + sauvegarde partielle. A la fin, les deux premières étapes (analyse + vérification) duraient plus de 5 heures, suivies par 1 heure environ de sauvegarde.

Au total, 13226 fichiers .gpg ont été créés.

La dernière sauvegarde n'a enregistré que 164 fichiers .gpg (contre environ 720 à 780 pour les précédentes). Elle s'est terminée par un message d'erreur, que voici :

Traceback (most recent call last):
File "/usr/bin/duplicity", line 1532, in <module>
with_tempdir(main)
File "/usr/bin/duplicity", line 1526, in with_tempdir
fn()
File "/usr/bin/duplicity", line 1380, in main
do_backup(action)
File "/usr/bin/duplicity", line 1461, in do_backup
list_current(col_stats)
File "/usr/bin/duplicity", line 698, in list_current
for path in path_iter:
File "/usr/lib/python2.7/dist-packages/duplicity/diffdir.py", line 354, in combine_path_iters
refresh_triple_list(triple_list)
File "/usr/lib/python2.7/dist-packages/duplicity/diffdir.py", line 341, in refresh_triple_list
new_triple = get_triple(old_triple[1])
File "/usr/lib/python2.7/dist-packages/duplicity/diffdir.py", line 327, in get_triple
path = path_iter_list[iter_index].next()
File "/usr/lib/python2.7/dist-packages/duplicity/diffdir.py", line 239, in sigtar2path_iter
for tarinfo in tf:
File "/usr/lib/python2.7/tarfile.py", line 2508, in next
tarinfo = self.tarfile.next()
File "/usr/lib/python2.7/tarfile.py", line 2350, in next
raise ReadError("unexpected end of data")
ReadError: unexpected end of data

Inutile de dire que je n'en comprends pas un mot ! Mais si quelqu'un peut traduire et expliquer...

Du coup, j'ai installé le logiciel luckyBackup, qui apparemment fonctionne à merveille pour synchroniser un dossier et sa copie lisible (on peut donc toujours vérifier). N'est-ce pas une solution bien préférable à l'appli Sauvegardes suggérée par Ubuntu ?...

Dernière modification par Pleney (Le 08/09/2016, à 18:54)

littlejohn75 · Le 08/09/2016, à 20:17

Pleney a écrit :

Mon ordi est un HP pourvu de 2 DD de 1,5 To chacun. Sur le premier DD se trouvent les partitions suivantes :
swap (12 Go)
/ (200 Go)
/home (1260 Go)
/temp (20 Go)

Petit veinard (mon Amstard 1512 a un disque de 20 Mo )

Avec

df -hT --local | fgrep -v tmpfs
lsblk

nous aurons des chiffres sûrs directement sortis de la machine

Pleney a écrit :

La dernière sauvegarde n'a enregistré que 164 fichiers .gpg (contre environ 720 à 780 pour les précédentes). Elle s'est terminée par un message d'erreur, que voici :
Traceback (most recent call last):
File "/usr/bin/duplicity", line 1532, in <module>
with_tempdir(main)
....
File "/usr/lib/python2.7/tarfile.py", line 2350, in next
raise ReadError("unexpected end of data")
ReadError: unexpected end of data

Ah enfin ! Comme je n'ai pas ubuntu et que j'ai horreur de ces dénominations commerciales (et interfaces pseudo-ergonomiques) je constate que derrière ce nom Sauvegardes Canobical nous a installé une application nommée duplicity codée en python.

Ce langage de haut niveau a l'avantage d'être conçu de telle sorte que que si il se produit une erreur inattendue (une exception ) le programme s'arrête avec une trace du cheminement qui a conduit à cette erreur non prévue par le programmeur.

Pleney a écrit :

Le Dossier personnel est crypté.

Il semblerait que vous avez succombé aux sirènes de Canonical qui vous promet un monde plus sûr en chiffrant votre système de fichiers monté en /home

Vous comprendrez aisément que chiffrer (et déchiffrer à la volée ) un système de fichiers de 1260 Go c'est à dire de 1260 milliards d'octets ) ce n'est pas gratuit en terme de ressources.

Pleney a écrit :

A la fin, les deux premières étapes (analyse + vérification) duraient plus de 5 heures, suivies par 1 heure environ de sauvegarde.

Pendant la phase analyse + vérification, le programme fait une comparaison entre source et destination (DD externe) de ce qu'on appelle les méta-données. Ceci comprend entre autre les noms des répertoires et fichiers, les dates de modification, les ppropriétaires/groupes et permissions. Comme vous avez un très grand nombre d'objets à traiter c'est long. C'est d'autant plus long que le logiciel cherche à dédupliquer les blocs de données, c'est-à-dire à chercher si le contenu d'un fichier à sauvegarder ne comprendrait pas des blocs déjà présents dans le répertoire de destination.

Donnez nous le retour de

df -iT | fgrep -v tmpfs

avec le disque de sauvegarde connecté.

Pleney a écrit :

Ensuite, chaque fois que je relance la sauvegarde, ça ajoute environ 700 fichiers GPG, donc 36 Go

Peut-on avoir le retour de

file NomUnFichier.gpg

pour vérifier si c'est bien une archive tar. Auquel cas la commande

tar tvf Fichier.gpg

sur les derniers fichiers générés serait à tenter.

Pleney a écrit :

Du coup, j'ai installé le logiciel luckyBackup, qui apparemment fonctionne à merveille pour synchroniser un dossier et sa copie lisible (on peut donc toujours vérifier). N'est-ce pas une solution bien préférable à l'appli Sauvegardes suggérée par Ubuntu ?...

Ce ne sont pas les solutions de sauvegardes qui manquent, toutes plus allévhantes les unes que les autres et avec des noms "buzzword compliant"

En pratique les professionnels analysent les besoins en sauvegarde, déterminent une liste de ce qui doit être sauvegardé et surtout de ce qu'il n'y a pas lieu de sauvegarder (les caches de toutes sortes, ce qui est facile à regénérer, ..) et s'orientent vers des solutions où la robustesse est privilégiée à la sophistication. (solutions souvent bâties autour de rsync )

Cordialement,
Regards,
Mit freundlichen Grüßen,
مع تحياتي الخالصة
---
F. Petitjean

« On ne perd pas son temps en aiguisant ses outils. »
Proverbe français

« Moi, lorsque je n’ai rien à dire, je veux qu’on le sache. » (R. Devos)

Pleney · Le 10/09/2016, à 01:11

Merci de vous pencher sur mon cas - désespéré ou pas...

Voici les « chiffres sûrs directement sortis de la machine » :

Sys. de fichiers      Type     Taille Utilisé Dispo Uti% Monté sur
/dev/sda6             ext4       188G     12G  167G   7% /
/dev/sda7             ext4        19G     46M   18G   1% /tmp
/dev/sda8             ext4       1,2T    722G  378G  66% /home
/home/toto/.Private ecryptfs   1,2T    722G  378G  66% /home/toto

littlejohn75 a écrit :

Il semblerait que vous avez succombé aux sirènes de Canonical qui vous promet un monde plus sûr en chiffrant votre système de fichiers monté en /home

Certes, si les services secrets ou la police s'en mêlent, ils sauront sûrement comment faire pour décrypter (et en plus je résiste très mal à la torture :-) Mais je veux juste mettre mes données personnelles à l'abri d'éventuels indiscrets qui auraient accès à l'ordi, ou d'éventuels voleurs.

littlejohn75 a écrit :

Donnez nous le retour de
df -iT | fgrep -v tmpfs
avec le disque de sauvegarde connecté

Sys. de fichiers      Type         Inœuds IUtil.     ILibre IUti% Monté sur
/dev/sda6             ext4       12500992 363973   12137019    3% /
/dev/sda7             ext4        1250928     35    1250893    1% /tmp
/dev/sda8             ext4       77078528 995604   76082924    2% /home
/home/toto/.Private ecryptfs   77078528 995604   76082924    2% /home/toto
/dev/sdg1             fuseblk  1273604460  13266 1273591194    1% /media/toto/My Book

littlejohn75 a écrit :

Peut-on avoir le retour de
file NomUnFichier.gpg
pour vérifier si c'est bien une archive tar.

duplicity-full.20160901T013227Z.vol1.difftar.gpg: cannot open `duplicity-full.20160901T013227Z.vol1.difftar.gpg' (No such file or directory)

Et pourtant le fichier existe, j'ai juste copié-collé son nom.

littlejohn75 a écrit :

Auquel cas la commande
tar tvf Fichier.gpg
sur les derniers fichiers générés serait à tenter.

Vu le résultat précédent, on pouvait être presque sûr que ça ne donnerait rien. Essayons quand même :

tar: duplicity-full.20160901T013227Z.vol13224.difftar.gpg : open impossible: Aucun fichier ou dossier de ce type
tar: Error is not recoverable: exiting now

littlejohn75 a écrit :

Ce ne sont pas les solutions de sauvegardes qui manquent, toutes plus allévhantes les unes que les autres et avec des noms "buzzword compliant"

Oui, quand j'ai vu le nom du logiciel luckyBackup, j'ai failli fuir sans même l'essayer ! Mais les commentaires étaient très positifs, et finalement je ne regrette pas.

Mais bon, si on peut faire fonctionner correctement Duplicity/Sauvegardes, ça fera deux sauvegardes au lieu d'une.

Modération : merci à l'avenir d'utiliser les balises code (explications ici).

Dernière modification par cqfd93 (Le 10/09/2016, à 09:16)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 03/09/2016, à 17:32

Première sauvegarde hyper-lente et compliquée

#2 Le 03/09/2016, à 17:40

Re : Première sauvegarde hyper-lente et compliquée

#3 Le 08/09/2016, à 18:52

Re : Première sauvegarde hyper-lente et compliquée

#4 Le 08/09/2016, à 20:17

Re : Première sauvegarde hyper-lente et compliquée

#5 Le 10/09/2016, à 01:11

Re : Première sauvegarde hyper-lente et compliquée

Pied de page des forums