[Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

ceituna · Le 24/08/2014, à 20:25

Helli Hello...

Plutôt parano par nature, et sachant que le point critique c'est le boulet assis en face de l'ordi, je fais un double backup différentiel de mes données...

En local, le système complet est rdiff-backup-isé de façon quotidienne sur un disque USB chiffré.
De plus, le /home est synchronisé avec une machine (très) distante par rsync. Cette machine lance ensuite un rdiff-backup sur un autre disque.

Depuis un certain temps, j'ai rsync qui reste bloqué sur quelques (gros) fichiers. Le palliatif était de supprimer l'image, et de relancer rsync. Tant pis, je perdais du temps mais au moins cela marchait...

Le hic, c'est que cela arrive de plus en plus souvent, et que maintenant que cela affecte des fichiers de plusieurs Go, ça commence à ne plus être très drôle de passer des heuresjours à refaire inutilement des transferts... (note : j'ai bien "écrêté" certains fichiers avec split, puis renommé et forcé la date avec touch pour éviter de _tout_ re-transférer, mais c'est lourd, donc réservé que pour les gros fichiers).

La commande que j'utilise :

rsync -avzur --progress --delete --stats --exclude="/temp" --exclude="/disk/temp/" /home/login/ login@backup.server.com:/home/login/rsync/

Quand je dis bloqué, cela signifie que la progression est en pause, plus rien n'avance, la charge CPU est à 0, mais je n'ai pas de message d'erreur, et le programme ne quitte pas, même après plusieurs heures...

Bien évidemment j'ai rajouté des -v pour avoir un peu plus d'infos, mais je n'ai rien vu de plus.

Ma version de rsync est identique sur le client et le serveur (tous les deux en 14.04.1 en AMD64) :

login@server:~$ rsync --version
rsync  version 3.1.0  protocol version 31

L'idée étant d'avoir quelque chose de simple et fonctionnel pour que tout cela soit automatisé comme pendant les années passées, si quelqu'un avait un conseil/suggestion, je serais preneur avec joie... tournée de Bounty pour tous ! \o/

Dernière modification par ceituna (Le 31/08/2014, à 03:45)

Zakhar · Le 24/08/2014, à 20:41

Dans le cadre du backup, je ne comprends pas bien l'option "-u", celle-ci ne sert que si tu as aussi fait des MàJ sur la cible. Mais bon si tu ne fais jamais de modifs sur la cible, l'option est juste superflue.

Pour debugger ce qu'il se passe, tu peux monter la verbosité,

Tu peux faire :

--info=FLAGS

(lancer avec --info=help pour voir les FLAGS et ce qu'ils font)

voire même

--debug=FLAGS

Si ça ne suffit toujours pas, il reste l'arme ultime : WireShark. Si ça se trouve, ce qui bloque c'est un machin réseau et pas du tout rsync. Au moins avec WireShark tu pourras constater s'il y a des paquets échangés entre ton PC et le serveur.

Dernière modification par Zakhar (Le 24/08/2014, à 20:42)

ceituna · Le 24/08/2014, à 20:55

Il y a bien des échanges...

En fait la synchro se passe bien, jusqu'à ce qu'il butte sur certains fichiers... Je viens de refaire un test :
sur le client :

login@login-desktop:~$ ls -al disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/
total 11718652
drwxr-x--- 2 login login       4096 août  23 03:24 .
drwxr-x--- 5 login login       4096 août  23 03:27 ..
-rw------- 1 login login   12112812 août  23 03:24 Brouillons
-rw-rw---- 1 login login      24872 août  23 03:26 Brouillons.msf
-rw------- 1 login login          0 août  23 03:24 Corbeille
-rw-rw-r-- 1 login login       3026 août  23 03:26 Corbeille.msf
-rw------- 1 login login   27497033 août  23 03:24 Important
-rw-rw---- 1 login login      17223 août  23 03:26 Important.msf
-rw------- 1 login login 2745344479 août  23 03:22 Messages envoy&AOk-s
-rw-rw---- 1 login login    5368610 août  23 03:26 Messages envoy&AOk-s.msf
-rw------- 1 login login          0 août  23 03:24 Spam
-rw-rw---- 1 login login      30754 août  23 03:26 Spam.msf
-rw------- 1 login login    4288621 août  23 03:24 Suivis
-rw-rw---- 1 login login       2637 août  23 03:26 Suivis.msf
-rw------- 1 login login 9172718554 août  23 03:24 Tous les messages
-rw-rw---- 1 login login   32441689 août  23 03:26 Tous les messages.msf

Sur le serveur (alors que la situation est déjà bloquée) :

login@server:~$ ls -al rsync/disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/
total 11603300
drwxr-x--- 2 login login       4096 août  23 03:24 .
drwxr-x--- 5 login login       4096 août  24 20:04 ..
-rw------- 1 login login   12093695 août  21 04:15 Brouillons
-rw-rw---- 1 login login      24248 août  21 04:18 Brouillons.msf
-rw------- 1 login login      26608 août  21 04:15 Corbeille
-rw-rw-r-- 1 login login      17125 août  21 04:18 Corbeille.msf
-rw------- 1 login login   27505923 août  21 04:15 Important
-rw-rw---- 1 login login      18688 août  21 04:18 Important.msf
-rw-rw-r-- 1 login login 2700000000 août  10 00:00 Messages envoy&AOk-s
-rw-rw---- 1 login login    5349271 août  21 04:18 Messages envoy&AOk-s.msf
-rw------- 1 login login          0 août  21 04:15 Spam
-rw-rw---- 1 login login      28086 août  21 04:18 Spam.msf
-rw------- 1 login login    4288621 août  21 04:15 Suivis
-rw-rw---- 1 login login       2637 août  21 04:18 Suivis.msf
-rw-rw-r-- 1 login login 9100000000 août  23 02:55 Tous les messages
-rw-rw---- 1 login login   32383233 août  21 04:18 Tous les messages.msf

et sur le terminal qui a le rsync en cours :

disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/Brouillons
     12,112,812 100%   12.53MB/s    0:00:00 (xfr#145, ir-chk=1014/51095)
disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/Brouillons.msf
         24,872 100%   25.78kB/s    0:00:00 (xfr#146, ir-chk=1013/51095)
disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/Corbeille
              0 100%    0.00kB/s    0:00:00 (xfr#147, ir-chk=1012/51095)
disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/Corbeille.msf
          3,026 100%    3.11kB/s    0:00:00 (xfr#148, ir-chk=1011/51095)
disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/Important
     27,497,033 100%   12.69MB/s    0:00:02 (xfr#149, ir-chk=1010/51095)
disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/Important.msf
         17,223 100%  169.89kB/s    0:00:00 (xfr#150, ir-chk=1009/51095)
disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/Messages envoy&AOk-s
  2,692,306,368  98%   24.50MB/s    0:00:02

Cela pourra rester en l'état pendant des jours...
Dernier détail : cela n'arrive pas que sur les noms de fichiers avec accents comme cet exemple.

Pour répondre à la question du "-u" : justement j'ai fait des corrections sur la cible pour éviter de tout re-transférer si je tronque manuellement le fichier...

Je vais de ce pas essayer avec le "--info=FLAGS"...

ceituna · Le 24/08/2014, à 21:52

Bon... le "--info=ALL" ne donne pas plus de pistes...

En revanche, un --dry-run liste bien la bonne liste des fichiers à actualiser et ne reste pas bloqué...
Mmm...

Dernière modification par ceituna (Le 24/08/2014, à 21:55)

PPdM · Le 24/08/2014, à 21:57

salut teste FreeFileSync

ceituna · Le 24/08/2014, à 22:07

La version Linux (V 0.6 présente dans le dépôt) ne supporte pas la synchronisation via le réseau

Donc pas conforme à mon besoin (synchroniser deux dossiers par le réseau)...
De plus, je cherche à le faire en ligne de commande pour simplifier/sécuriser le backup...

Merci qd même.

PPdM · Le 24/08/2014, à 22:12

Je vais vérifier mais je crois que la doc n'est pas a jour

ceituna · Le 26/08/2014, à 11:40

Je relance la discussion, car je vais vraiment devenir chèvre à force de tester...
J'ai isolé un fichier particulièrement problématique, car il fait plus de 8Go :

login@login-desktop:~$ rsync -avz --progress --stats -T /home/login/tmp/ disk/data/mail_thunderbird/ImapMail/imap.gmail.com/\[Gmail\]-1.sbd/Tous* "login@server.com:/home/login/rsync/disk/data/mail_thunderbird/ImapMail/imap.gmail.com/[Gmail]-1.sbd/"
login@server.com's password: 
sending incremental file list
Tous les messages
  3,470,591,798  37%   20.38MB/s    0:04:33  
rsync: [sender] write error: Broken pipe (32)
rsync error: error in rsync protocol data stream (code 12) at io.c(837) [sender=3.1.0]

Le -T a été mis en place, car je suspectais un pb de place disponible insuffisante (le / est sur un disque flash de 3Go, le /home sur un disque de 2To et le /home/login/backup sur un disque de 3To

L'option "--inplace" ou "--partial" ne donnent pas de meilleurs résultats...
L'option "-c" ralentit juste pour le calcul des checksums, mais bloque aussi au même endroit...

Si vous avez des pistes de recherche, je suis preneur...

Merci !

Brunod · Le 26/08/2014, à 11:45

Le disque destination ne serait pas en fat32 par hasard ?

ceituna · Le 26/08/2014, à 11:48

ext4 en source et destination...

ceituna · Le 26/08/2014, à 11:50

Petite note : le backup fonctionne depuis des années selon la commande initiale, et ces fichiers ont progressivement grandi...
Ma principale suspicion concerne un changement apporté par la mise à jour vers 14.04, qui a été réalisée il y a peu... Mais je n'arrive pas à cerner quelle option/programme pourrait être responsable de cela...

Merci,

Olivier

Brunod · Le 26/08/2014, à 11:55

As-tu testé avec un cp tout simple pour voir - si ça passe - et le retour d'erreurs éventuelles ?

ceituna · Le 26/08/2014, à 12:00

J'ai essayé de faire une copie par scp depuis une semaine... Mais malheureusement, à cause des faibles débits, il me faut presque 24h pour le transfert... Et la connexion ne reste jamais stable aussi longtemps... C'était justement cela qui m'avait amené à utiliser rsync aussi régulièrement...

Brunod · Le 26/08/2014, à 12:01

Je comprends, mais le but ici est de tester avec autre chose que rsync pour voir si c'est lui qui est incriminé ou autre chose...

ceituna · Le 26/08/2014, à 12:12

J'ai relancé un scp ce matin... ETA : 19:42:30...
De quoi boire un café manger tranquillement faire une nuit de sommeil profiter du temps pluvieux des vacances...

PPdM · Le 26/08/2014, à 12:15

PPdM a écrit :

Je vais vérifier mais je crois que la doc n'est pas a jour

Je viens detester cela fonctionne nickel pour sauvegarder sur mon serveur, il suffit de monter le volume samba, mais je l'avais déjà fait avec la freebox.

Brunod · Le 26/08/2014, à 12:28

Si ta connexion décroche et empêche ainsi rsync de traiter l'intégralité du fichier quand il est gros, un palliatif serait de compresser le fichier en multiples morceaux, synchroniser le transfert de ces morceaux et décompresser à l'autre bout. C'est un peu tordu, mais à explorer pour comprendre ce qui se passe.

ceituna · Le 26/08/2014, à 12:37

Merci PPdM. Je garde le conseil sous le coude.
En revanche, pour le pb présent, comme je l'avais indiqué dans le message, je cherche quelque chose en ligne de commande pour pouvoir le mettre dans une crontab...

15 ans qu'avec Rsync on vivait le grand amour... on avait même surmonté plusieurs "catastrophes majeures [1]" sans jamais perdre la moindre donnée... Bref, je cherche plutôt un bon conseiller conjugal qu'un ami qui me présente la charmante petite nouvelle (appli)...

Olivier
[1] Le genre de petit incident qui n'arrive "qu'aux autres" tel que se faire cambrioler le PC ou se faire détruire le logement par le gentil voisin "apprenti chimiste"...

ceituna · Le 26/08/2014, à 12:43

Brunod<
L'idée du split/join est une bonne idée, mais elle va à l'encontre du test "j'essaye de comprendre pourquoi le gros fichier ne passe pas". Dans tous les cas, c'est bien la solution que j'envisageais si le scp en cours se plantait encore... Donc wait & see et rdv à demain...

Brunod · Le 26/08/2014, à 13:06

Essaie d'ajouter un test qui vérifié la permanence de la connexion internet; car si ça coupe, rsync n'est pas coupable, et donc (tremolo) tu ne peux lui en vouloir...

bruno · Le 27/08/2014, à 11:14

As -tu essayé avec l'option -W ?

extrait du man :

-W, --whole-file
With this option rsync’s delta-transfer algorithm is not used and the whole file is sent as-is instead. The transfer may be faster if this option is used when the bandwidth between the source and destination machines is higher than the bandwidth to disk (especially when the "disk" is actually a networked filesystem). This is the default when both the source and destination are specified as local paths, but only if no batch-writing option is in effect.

Zakhar · Le 28/08/2014, à 22:43

ceituna a écrit :

J'ai essayé de faire une copie par scp depuis une semaine... Mais malheureusement, à cause des faibles débits, il me faut presque 24h pour le transfert... Et la connexion ne reste jamais stable aussi longtemps... C'était justement cela qui m'avait amené à utiliser rsync aussi régulièrement...

Le problème est probablement là.

Les fichiers grossissant, même rsync va mettre plus de temps, et s'il y a une erreur réseau parce que ta connexion n'est pas stable, je doute qu'il sache reprendre "gracieusement".

Pour ton machin "bloqué" je réitère mon conseil. Si les options --info=ALL n'ont rien donné, il te reste WireShark pour voir s'il se passe quelque chose sur le réseau. C'est peut-être juste trèsssss long et sans aucun feedback vu que tu dis que ton débit est faible.

A la base, il faut bien te dire que rsync a été écrit il y a des lustres, et il n'est certainement pas idéal pour synchroniser des gros fichiers (plusieurs Go c'était juste un rêve à l'époque où rsync a été écrit !) en plus quand tu as une ligne qui peut péter à tout moment !..

Peut-être un jour auront nous des solutions solides pour ton genre d'usage. Tiens par exemple BitTorrent Sync... mais bon, pas sûr qu'il soit totalement OpenSource, ni qu'il travaille par delta sur les fichiers pour éviter un DL complet à chaque fois.

ceituna · Le 31/08/2014, à 03:40

Bon...

Après des heures à demander à mon ami google, et des dizaines de tests, le coupable s'avère être la compression...
Suite à la mise à jour vers 14.04 un timeout a dû être réduit quelque part sur la chaîne, et comme les fichiers sont très gros (5 à 10Go), et que le serveur très faible en CPU (comme il ne sert qu'à des backups, la conso, et le WakeOnLan/Arrêt facile ont été privilégiés...), rsync se retrouvait sans info, mais sans renvoyer d'erreur... même après plusieurs heures...

L'effet de bord favorable, c'est que l'analyse est beaucoup plus rapide, et ce que je perds d'un côté, je le gagne largement au total...

Finalement la commande gagnante est :

rsync -avP --delete --stats --exclude="/temp" --exclude="/disk/temp/" /home/login/ login@backup.server.com:/home/login/rsync/

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 24/08/2014, à 20:25

[Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#2 Le 24/08/2014, à 20:41

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#3 Le 24/08/2014, à 20:55

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#4 Le 24/08/2014, à 21:52

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#5 Le 24/08/2014, à 21:57

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#6 Le 24/08/2014, à 22:07

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#7 Le 24/08/2014, à 22:12

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#8 Le 26/08/2014, à 11:40

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#9 Le 26/08/2014, à 11:45

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#10 Le 26/08/2014, à 11:48

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#11 Le 26/08/2014, à 11:50

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#12 Le 26/08/2014, à 11:55

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#13 Le 26/08/2014, à 12:00

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#14 Le 26/08/2014, à 12:01

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#15 Le 26/08/2014, à 12:12

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#16 Le 26/08/2014, à 12:15

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#17 Le 26/08/2014, à 12:28

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#18 Le 26/08/2014, à 12:37

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#19 Le 26/08/2014, à 12:43

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#20 Le 26/08/2014, à 13:06

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#21 Le 27/08/2014, à 11:14

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#22 Le 28/08/2014, à 22:43

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

#23 Le 31/08/2014, à 03:40

Re : [Résolu] Faché avec rsync (ou plutôt rsync a cassé la confiance)

Pied de page des forums