Ubuntu-fr

Lunatic

[Réglé] Petite question simple sur rsync

Bonjour à tous,

Edit ; suite à la progression de ce topic, la question devient plus précisément : pourquoi me faut-il forcément utiliser l'option -a pour bénéficier d'une sauvegarde incrémentale (sans cette option, tous les fichiers sont toujours transmis en intégralité)

j'utilise à l'instant, pour la première fois, rsync pour sauvegarder mon DD interne (mon « home ») sur un DD externe. J'exécute donc la simple commande suivante :

$ rsync -rv --progress /home/julien /media/disk/

Ça fonctionne, rien à redire là-dessus.

Ce qui attise ma curiosité, c'est que si je lance deux fois de suite la commande, il me semble qu'à la deuxième sauvegarde les fichiers sont à nouveau entièrement transférés alors que - si j'ai bien compris - ne devrait être transférée que la différence (différence qui, entre deux lancements séparés de qques secondes, n'existe pas). Je le vois bien sur de gros fichiers (des iso, ou un disque dur virtuel de VirtualBox), qui prennent encore du temps à la deuxième sauvegarde, alors qu'ils existent déjà sur le disque dur externe.

Merci de m'éclairer de vos précieuses lanternes

Dernière modification par Lunatic (Le 16/08/2007, à 16:24)

tontonjoe

Re : [Réglé] Petite question simple sur rsync

J'utilise une commande de ce style, mais je ne connais pas les options -r et -v.
La commande que j'utilise est "rsync -az ..." avec a pour Archive (conserve les permissions et autres) et z pour de la compression (pendant le transfert ?).

Qu'est-ce que ça donne en chageant les options ?

---

Vivons heureux, roulons couchés.

HymnToLife

Re : [Réglé] Petite question simple sur rsync

man rsync

====>

            --ignore-existing       skip updating files that exist on receiver

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

tontonjoe

Re : [Réglé] Petite question simple sur rsync

Je ne crois pas que cette option soit intéressante : si rsync ne fait que copier les nouveaux fichiers, en évitant les mises à jour, c'est presque inutile comme option.

Sauf peut-être pour faire de la publication de photos ou autres, en tout cas pas pour faire des sauvegardes de fichiers de configuration, de fichiers de boite mail...

---

Vivons heureux, roulons couchés.

Lunatic

Re : [Réglé] Petite question simple sur rsync

J'utilise une commande de ce style, mais je ne connais pas les options -r et -v.
La commande que j'utilise est "rsync -az ..." avec a pour Archive (conserve les permissions et autres) et z pour de la compression (pendant le transfert ?).

Qu'est-ce que ça donne en chageant les options ?

Peut-être la commande -a changerait-elle quelque chose en effet (quoique j'en doute un peu), j'essaie et te tiens au courant.

Pour info, -v c'est simplement le mode « verbose » et -r, la récursivité (je pense que cette option serait inutile si j'écrivais $ rsync /home/julien/ ... (avec le slash final)).

@HymnToLife : ce n'est pas du tout ce que je recherche, l'idée est tout de même bien d'updater un fichier même s'il existe sur le DD de sauvegarde.

Edit : j'allais oublier un « merci » pour vos réponses

Dernière modification par Lunatic (Le 16/08/2007, à 14:28)

HymnToLife

Re : [Réglé] Petite question simple sur rsync

@HymnToLife : ce n'est pas du tout ce que je recherche, l'idée est tout de même bien d'updater un fichier même s'il existe sur le DD de sauvegarde.

Au temps pour moi. Dans ce cas, man rsync

===>

        -u, --update                skip files that are newer on the receiver

Dernière modification par HymnToLife (Le 16/08/2007, à 14:55)

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

Lunatic

Re : [Réglé] Petite question simple sur rsync

Ce n'est pas non plus ce que je recherche...

Dans mon cas de figure, il n'y aura jamais de « newer file on the receiver »...

HymnToLife

Re : [Réglé] Petite question simple sur rsync

Là, je ne comprends plus rien. Ce que tu veux, c'est bien qu'il mette uniquement à jour les fichiers qui ont été modifiés depuis la dernière mise à jour, non ?

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

Lunatic

Re : [Réglé] Petite question simple sur rsync

Oui, et il n'y a pas d'option spéciale à donner pour cela, puisque c'est le fonctionnement normal de rsync.

Ta dernière option, sauf erreur de ma part, permet de « passer » les fichiers plus récents situés sur le disque dur de sauvegarde (le receiver) ; dans mon cas, c'est tout simplement impossible qu'il y ait de tels fichiers.

C'est pourquoi je m'étonne du fonctionnement de rsync. Après avoir lu plusieurs tutos, il semble que la 1ère sauvegarde soit la plus longue - logique, il faut copier tous les fichiers. Les suivantes doivent être + rapides puisque seules les « différences » sont traitées.

Or, là, je viens de refaire un essai, je vois bien (notamment grace à --progress) sur mes gros fichiers que ceux-ci semblent copiés en intégralité à chaque fois. Donc y'a un truc qui m'échappe, et j'aimerais bien comprendre quoi.

HymnToLife

Re : [Réglé] Petite question simple sur rsync

Oui, et il n'y a pas d'option spéciale à donner pour cela, puisque c'est le fonctionnement normal de rsync.

Bien la preuve que non, puisque ce n'est pas ce que ça fait chez toi, ni chez moi, ni chez personne d'autre. Enfin, si tu ne veux pas tenir compte des conseils qu'on te donne...

Dernière modification par HymnToLife (Le 16/08/2007, à 14:53)

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

Lunatic

Re : [Réglé] Petite question simple sur rsync

Euh où est-ce que je ne tiens pas compte des conseils ?

tontonjoe m'a proposé des options que je suis en train de tester.

Quant aux tiennes, il suffit que je lise leur description - chose que j'avais déjà faite en parcourant le man - pour savoir que ça ne me convient pas (j'ai expliqué pourquoi !). Donc je ne suis pas certain que la petite leçon de morale soit très pertinente.

Enfin, si je dis que c'est le fonctionnement normal de rsync, c'est parce que je l'ai lu ici :  http://www.lalitte.com/rsync.html

Pour commencer, il est bon à mon avis de donner une petite explication de ce que je peux entendre
par "sauvegarde incrémentale" Il s'agit d'une sauvegarde qui se déroule tous les x temps (tous les
jours par exemple) mais qui ne copie pas l'ensemble d'un disque ou répertoire, mais seulement
les modifications et fichiers effacés. Ainsi, si vous voulez sauvegarder un disque de 30Go de
données, sur lequel chaque jour des gens travaillent, il vous faudra le premier jour rappatrier
l'ensemble des 30Go du disque, puis seules les modifications journalières seront copiées,
nécessitant ainsi très peu de temps lors des transferts, plutôt que le temps de copier 30Go à
chaque fois :-)

C'est donc bien le décalage entre ce que rsync devrait faire et ce que je crois qu'il fait qui me surprend, d'où ce topic.

Je vais faire mes prochains tests sur un seul gros fichier ; ce sera plus facile d'y voir plus clair (si j'ose dire).

HymnToLife

Re : [Réglé] Petite question simple sur rsync

Tout ce qu'il te faut, c'est ajouter l'option -u à ta commande rsync, comme je te l'ai dit plus haut. Je sais encore ce que je dis et je viens de refaire un test à l'instant.

firas@Ana ~ $ sudo rsync -v /etc/* etc
skipping directory /etc/acpi
skipping directory /etc/bash
skipping directory /etc/bash_completion.d
skipping directory /etc/conf.d
skipping directory /etc/cron.d
skipping directory /etc/cron.daily
skipping directory /etc/cron.hourly
skipping directory /etc/cron.monthly
skipping directory /etc/cron.weekly
skipping directory /etc/dbus-1
skipping directory /etc/default
skipping directory /etc/eclean
skipping directory /etc/env.d
skipping directory /etc/eselect
skipping directory /etc/fonts
skipping directory /etc/gconf
skipping directory /etc/gimp
skipping directory /etc/gpm
skipping directory /etc/gtk
skipping directory /etc/gtk-2.0
skipping directory /etc/hal
skipping directory /etc/hotplug
skipping directory /etc/htdig
skipping directory /etc/imlib
skipping directory /etc/init.d
skipping directory /etc/layman
skipping directory /etc/logrotate.d
skipping directory /etc/mail
skipping directory /etc/modprobe.d
skipping directory /etc/modules.autoload.d
skipping directory /etc/modules.d
skipping directory /etc/mplayer
skipping directory /etc/ndiswrapper
skipping directory /etc/openldap
skipping directory /etc/opt
skipping directory /etc/pam.d
skipping directory /etc/pango
skipping directory /etc/portage
skipping directory /etc/ppp
skipping directory /etc/qt4
skipping directory /etc/revdep-rebuild
skipping directory /etc/runlevels
skipping directory /etc/sane.d
skipping directory /etc/sasl2
skipping directory /etc/security
skipping directory /etc/skel
skipping directory /etc/splash
skipping directory /etc/ssh
skipping directory /etc/ssl
skipping directory /etc/ssmtp
skipping directory /etc/syslog-ng
skipping directory /etc/t1lib
skipping directory /etc/terminfo
skipping directory /etc/texmf
skipping directory /etc/udev
skipping directory /etc/vim
skipping directory /etc/vmware
skipping directory /etc/wget
skipping directory /etc/X11
skipping directory /etc/xinetd.d
skipping directory /etc/xml
created directory etc
DIR_COLORS
adjtime
blkid.tab
blkid.tab.old
ca-certificates.conf
cron.deny
crontab
csh.env
dispatch-conf.conf
dmtab
enscript.cfg
etc-update.conf
fdprm
filesystems
fstab
gai.conf
gentoo-release
group
group-
host.conf
hosts
inittab
inputrc
issue
issue.logo
kdc.conf.example
krb5.conf.example
ld.so.cache
ld.so.conf
ldap.conf.sudo
locale.gen
localtime
login.defs
lynx.cfg
lynx.lss
mDNSResponderPosix.conf
mailcap
make.conf
make.conf.example
make.globals
skipping non-regular file "make.profile"
man.conf
mke2fs.conf
modprobe.conf
modules.conf
mtab
nanorc
netscsid.conf
networks
nscd.conf
nsswitch.conf
ntpd.conf
passwd
passwd-
profile
profile.csh
profile.env
protocols
pwdb.conf
rc.conf
resolv.conf
rmt
rpc
rsyncd.conf
screenrc
scsi_id.config
securetty
sensors.conf
services
shadow
shadow-
shells
sudoers
sudoers.tmp
sysctl.conf
uniconf.conf
updatedb.conf
wodim.conf
wvdial.conf
xinetd.conf

sent 482099 bytes  received 1758 bytes  967714.00 bytes/sec
total size is 476940  speedup is 0.99
firas@Ana ~ $ echo "#foo" | sudo tee -a /etc/hosts
#foo
firas@Ana ~ $ sudo rsync -vu /etc/* etc
skipping directory /etc/acpi
skipping directory /etc/bash
skipping directory /etc/bash_completion.d
skipping directory /etc/conf.d
skipping directory /etc/cron.d
skipping directory /etc/cron.daily
skipping directory /etc/cron.hourly
skipping directory /etc/cron.monthly
skipping directory /etc/cron.weekly
skipping directory /etc/dbus-1
skipping directory /etc/default
skipping directory /etc/eclean
skipping directory /etc/env.d
skipping directory /etc/eselect
skipping directory /etc/fonts
skipping directory /etc/gconf
skipping directory /etc/gimp
skipping directory /etc/gpm
skipping directory /etc/gtk
skipping directory /etc/gtk-2.0
skipping directory /etc/hal
skipping directory /etc/hotplug
skipping directory /etc/htdig
skipping directory /etc/imlib
skipping directory /etc/init.d
skipping directory /etc/layman
skipping directory /etc/logrotate.d
skipping directory /etc/mail
skipping directory /etc/modprobe.d
skipping directory /etc/modules.autoload.d
skipping directory /etc/modules.d
skipping directory /etc/mplayer
skipping directory /etc/ndiswrapper
skipping directory /etc/openldap
skipping directory /etc/opt
skipping directory /etc/pam.d
skipping directory /etc/pango
skipping directory /etc/portage
skipping directory /etc/ppp
skipping directory /etc/qt4
skipping directory /etc/revdep-rebuild
skipping directory /etc/runlevels
skipping directory /etc/sane.d
skipping directory /etc/sasl2
skipping directory /etc/security
skipping directory /etc/skel
skipping directory /etc/splash
skipping directory /etc/ssh
skipping directory /etc/ssl
skipping directory /etc/ssmtp
skipping directory /etc/syslog-ng
skipping directory /etc/t1lib
skipping directory /etc/terminfo
skipping directory /etc/texmf
skipping directory /etc/udev
skipping directory /etc/vim
skipping directory /etc/vmware
skipping directory /etc/wget
skipping directory /etc/X11
skipping directory /etc/xinetd.d
skipping directory /etc/xml
hosts
skipping non-regular file "make.profile"

sent 1719 bytes  received 42 bytes  3522.00 bytes/sec
total size is 476945  speedup is 270.84

Tu vois bien qu'avec un -u, il ne met à jour que le fichier hosts qui a changé.

Dernière modification par HymnToLife (Le 16/08/2007, à 15:24)

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

tontonjoe

Re : [Réglé] Petite question simple sur rsync

Je suis d'accord avec Lunatic, il semble qu'il y ait un problème chez lui, puisque chez moi, la sauvegarde de 1Go de petits fichiers ne prends que quelques secondes.

Pour info (mais tu l'as sans doute déjà remarqué), l'option -a équivaut à -rp... je sais plus quoi, c'est un raccourci intéressant

Piste : peux-tu faire un essai avec un autre logiciel de synchro, genre FullSync (qui est graphique mais qui fait le même travail) ?

---

Vivons heureux, roulons couchés.

poupoul2

Re : [Réglé] Petite question simple sur rsync

SAlut. Il y a eu un post très complet sur ce sujet il y a quelque temps. tu le trouveras ici. Ca vaut la peine de le lire d'un bout à l'autre tellement il est riche.

Pour confirmer le fonctionnement des options, fais des tests en faisant varier tes fichiers et en créant de nouveaux fichiers. Utilise l'option -n pour tester

tontonjoe

Re : [Réglé] Petite question simple sur rsync

Oui, et il n'y a pas d'option spéciale à donner pour cela, puisque c'est le fonctionnement normal de rsync.

Bien la preuve que non, puisque ce n'est pas ce que ça fait chez toi, ni chez moi, ni chez personne d'autre. Enfin, si tu ne veux pas tenir compte des conseils qu'on te donne...

l'option -u permet d'éviter de faire une synchro dans les deux sens.

Ce que cherche à faire Lunatic, c'est en fait une simple sauvegarde, et pas vraiment une synchro. 

---

Vivons heureux, roulons couchés.

Lunatic

Re : [Réglé] Petite question simple sur rsync

@HymnToLife :

Moi je sais encore lire l'anglais : « skip files that are newer on the receiver » = ignorer les fichiers qui sont plus récents sur la destination (je traduis mal mais l'esprit est là). Dans mon cas, il ne peut pas y en avoir, je l'ai déjà dit, je ne vois pas comment le dire autrement. (ps : ah tiens, tontonjoe m'a grillé)

D'ailleurs je ferai remarquer qui ni dans le lien que j'ai donné, ni dans le premier message de tontonjoe, ni dans le lien donné par poupoul2 - que je remercie au passage - l'option -u n'est utilisée.

--

Sinon je viens donc de faire un test sur un seul fichier (de 2 Go) avec les options -azvh --progress. Premier essai : long, normal. Second essai : ça marche ! c'est rapide ! Je n'ai plus qu'à étendre mes tests pour que ça fonctionne sur tout mon home.

Je soupçonne le fait d'être passé d'une commande sans l'option -a à une commande la comprenant comme étant responsable de la re-transmission totale des fichiers (mais peut-être me trompé-je).

Je vous tiens au courant.

tontonjoe

Re : [Réglé] Petite question simple sur rsync

BAh l'option -a signifie Archive (d'après la doc). Donc j'imagine qu'il devrait en fait être le fonctionnement par défaut. Je ne saurais m'avancer sur ce point.

En espérant que tu arrives à ce que tu désires

---

Vivons heureux, roulons couchés.

Lunatic

Re : [Réglé] Petite question simple sur rsync

Bon ben résultat des courses : c'est bien l'option -a qui est importante (étonnant qu'elle n'apparaisse pas dans le tuto de poupoul2). Voici les résultats de quelques tests sur un fichier de + de 100 Mo accompagné d'un autre petit fichier. Au départ, la destination est vide :

Commande simple (avec seulement des options de visualisation) ; ça prend environ 6 sec. :

$ rsync -vh --progress test_rsync/* /media/disk/test_rsync2/
created directory /media/disk/test_rsync2
Serge Gainsbourg.zip
     108.44M 100%   13.91MB/s    0:00:07 (xfer#1, to-check=1/2)
dea.doc
      29.70K 100%   71.78kB/s    0:00:00 (xfer#2, to-check=0/2)

sent 108.48M bytes  received 64 bytes  14.46M bytes/sec
total size is 108.47M  speedup is 1.00

Tout est transféré (108.44M), normal. Je relance exactement la même commande :

$ rsync -vh --progress test_rsync/* /media/disk/test_rsync2/
Serge Gainsbourg.zip
     108.44M 100%   13.90MB/s    0:00:07 (xfer#1, to-check=1/2)
dea.doc
      29.70K 100%   75.52kB/s    0:00:00 (xfer#2, to-check=0/2)

sent 108.48M bytes  received 64 bytes  12.76M bytes/sec
total size is 108.47M  speedup is 1.00

On voit bien qu'il n'y a rien d'incrémental : 108,44M sont encore transmis. Je ne rêvais donc pas . J'inclue -a :

$ rsync -vha --progress test_rsync/* /media/disk/test_rsync2/
building file list ...
2 files to consider
Serge Gainsbourg.zip
     108.44M 100%   13.98MB/s    0:00:07 (xfer#1, to-check=1/2)
dea.doc
      29.70K 100%   76.92kB/s    0:00:00 (xfer#2, to-check=0/2)

sent 108.48M bytes  received 64 bytes  12.76M bytes/sec
total size is 108.47M  speedup is 1.00

Toujours aussi long, mais -a est utilisé pour la première fois ; lors des utilisations suivantes :

$ rsync -vha --progress test_rsync/* /media/disk/test_rsync2/
building file list ...
2 files to consider

sent 110 bytes  received 20 bytes  260.00 bytes/sec
total size is 108.47M  speedup is 834382.55

Ah ben voilà ! Seulement 110 bytes transmis, résultat instantané.

--

Bref, ça résoud mon problème - et merci à vous ! - , mais ça ne satisfait pas ma curiosité : pourquoi l'absence de -a, option qui semble pourtant facultative, empêche-t-elle le fonctionnement « normal » de rsync ? Si quelqu'un a la réponse

HymnToLife

Re : [Réglé] Petite question simple sur rsync

(never mind, à supprimer)

Dernière modification par HymnToLife (Le 16/08/2007, à 16:13)

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

HymnToLife

Re : [Réglé] Petite question simple sur rsync

Bref, ça résoud mon problème - et merci à vous ! - , mais ça ne satisfait pas ma curiosité : pourquoi l'absence de -a, option qui semble pourtant facultative, empêche-t-elle le fonctionnement « normal » de rsync ? Si quelqu'un a la réponse

C'est parce que -a appelle implicitement -t, qui conserve le timestamp des fichiers d'origine :

firas@Ana ~/test $ ls -l /data/mfb/software/fluxbox/
total 772
drwxr-xr-x 7 firas firas   4096 2007-08-08 01:54 fluxbox-1.0rc3
-rw-r--r-- 1 firas firas 780622 2007-03-20 20:50 fluxbox-1.0rc3.tar.bz2
firas@Ana ~/test $ rsync -rvq /data/mfb/software/fluxbox/ fluxbox1
firas@Ana ~/test $ rsync -arvq /data/mfb/software/fluxbox/ fluxbox2
firas@Ana ~/test $ ls -l fluxbox*
fluxbox1:
total 772
drwxr-xr-x 7 firas firas   4096 2007-08-16 16:10 fluxbox-1.0rc3
-rw-r--r-- 1 firas firas 780622 2007-08-16 16:10 fluxbox-1.0rc3.tar.bz2

fluxbox2:
total 772
drwxr-xr-x 7 firas firas   4096 2007-08-08 01:54 fluxbox-1.0rc3
-rw-r--r-- 1 firas firas 780622 2007-03-20 20:50 fluxbox-1.0rc3.tar.bz2

Résultat, quand tu n'utilises pas -t, rsync voit deux fichiers différents dans le répertoire d'origine et dans le dossier existant, donc il recopie. C'est pour ça que -u fait l'affaire aussi puisque le fichier dans le nouveau répertoire sera forcément plus récent que celui d'origine (sa date de création étant la date de dernière mise à jour).

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

Lunatic

Re : [Réglé] Petite question simple sur rsync

Ok c'est beaucoup plus clair maintenant, merci.

Sorbus

Re : [Réglé] Petite question simple sur rsync

Bonsoir,

J'ai lu avec intérêt ce fil... Merci Lunatic pour ces tests sur l'option -r utilisée seule.
D'après le man de rsync, "a" équivaut à "rlptgoD". Il y a donc, en effet, à la fois usage des options -r et -t. Merci à HymnToLife pour l'explication.

Concernant l'option -u, voir ici : http://forum.ubuntu-fr.org/viewtopic.ph … 53#p668153

Pour une sauvegarde, il me semble préférable de conserver le timestamp des fichiers d'origine, et donc d'utiliser l'option -t (via l'option -a qui présente d'autres intérêts) plutôt que -u qui peut servir plutôt à d'autres usages.

Je mets un lien vers ce fil dans l'autre fil indiqué par poupoul2.

Dernière modification par Sorbus (Le 18/08/2007, à 00:32)

HymnToLife

Re : [Réglé] Petite question simple sur rsync

Perso, je préfère ne pas utiliser -t et utiliser -u pour mettre à jour, ça me permet de savoir à quelle date j'ai fait ma dernière sauvegarde. La date de modification des fichiers d'origine, je l'ai dans le répertoire d'origine

Dernière modification par HymnToLife (Le 18/08/2007, à 02:03)

---

- Rodrigue, as-tu du cœur ?
- Non, mais j'ai du pique !

Sorbus

Re : [Réglé] Petite question simple sur rsync

Alors oui, ça dépend peut-être de la nature de la sauvegarde. Je pense en premier lieu à la sauvegarde de /home, que je préfère avoir à l'identique, y compris les dates des fichiers.
Il me semble que c'est mieux aussi pour la sauvegarde du profil de Thunderbird. Pour des sauvegardes de documents, de photos, en effet, on peut voir les choses autrement.

teao

Re : [Réglé] Petite question simple sur rsync

j'utilise rsync aussi et j'ai un soucis sur la date de modification des repertoires.

en local j'ai:
repLocA (pas à la date du jour)
|->repLocB (date du jour)
      |->fichierB.txt (date du jour)

sur le server
repServer (pas à la date du jour)
|->repLocA (pas à la date du jour)
      |->repLocB  (date du jour)
           |->fichierB.txt (date du jour)

J'aimerais que ça conserve la date de modification mais repServer soit à la date où le rsync a été fait (ici la date du jour)...
vous savez comment faire ça?
merci.