Contenu | Rechercher | Menus

Annonce

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 06/07/2013, à 03:35

alfirdaous

rsync: Comaparison des donnees entre serveur emetteur et destinataire

Bonjour,

Est ce qu'il y a des methodes efficace pour etre sur qu'on a bien transferer les donnees d'un serveur X vers un serveur Y sans perte de donnees, je connais les 2 commandes:

du -sh
ls|wc -l

Y a-t-il quelque chose de tres efficace?

merci a vous

Dernière modification par alfirdaous (Le 26/07/2013, à 08:38)

Hors ligne

#2 Le 06/07/2013, à 04:16

nesthib

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

rsync te fait un résumé des données transférées à la fin de l'opération.
Si vraiment tu veux vérifier l'intégrité des données tu peux utiliser md5sum ou sha1sum.


GUL Bordeaux : GirollServices libres : TdCT.org
Hide in your shell, scripts & astuces :  applications dans un tunnelsmart wgettrouver des pdfinstall. auto de paquetssauvegarde auto♥ awk
  ⃛ɹǝsn xnuᴉꞁ uʍop-ǝpᴉsdn

Hors ligne

#3 Le 06/07/2013, à 08:16

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

je vais les verifier, merci

Hors ligne

#4 Le 11/07/2013, à 21:55

JoelS

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Pas la peine si t'utilises rsync: il le fais déjà.

Si le rsync termine avec un code de retour égale à 0, alors la source et la cible sont identiques, en fonction des options passées.

Hors ligne

#5 Le 12/07/2013, à 03:16

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

parfois on travaille et hop le pc s'eteint, se plante ... comment verifier si un fichier n'a pas ete bien transfere

Hors ligne

#6 Le 12/07/2013, à 03:49

nesthib

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Tu relances rsync.


GUL Bordeaux : GirollServices libres : TdCT.org
Hide in your shell, scripts & astuces :  applications dans un tunnelsmart wgettrouver des pdfinstall. auto de paquetssauvegarde auto♥ awk
  ⃛ɹǝsn xnuᴉꞁ uʍop-ǝpᴉsdn

Hors ligne

#7 Le 12/07/2013, à 06:20

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

on le relance avec --ignore-existing?? sinon, on transfert 900 GO, on aura 2 jours afin que le transfert se terminait

Hors ligne

#8 Le 12/07/2013, à 11:44

sputnick

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Si on utilise

rsync

plutôt que

scp

, c'est qu'il intègre par défaut un algorithme de résumé : lors du 2°

rsync

, il va télécharger uniquement ce qui a changé.


On ne peut pas mettre d'array dans un string!
https://sputnick.fr/

Hors ligne

#9 Le 12/07/2013, à 12:41

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

c'est sympa, donc meme si on utilise ignore-existing, elle va transferer le reste du fichier

Dernière modification par alfirdaous (Le 12/07/2013, à 12:42)

Hors ligne

#10 Le 12/07/2013, à 12:47

Brunod

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Lis la doc, tu verras comme rsync est génial et puissant wink Il fait tout ce que tu demandes.


Windows est un système d'exploitation de l'homme par l'ordinateur. Linux, c'est le contraire...
39 pc linux convertis

Hors ligne

#11 Le 12/07/2013, à 14:01

nesthib

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Par défaut, tu peux lancer :

rsync -P

Cela couvre la plupart des usages wink


GUL Bordeaux : GirollServices libres : TdCT.org
Hide in your shell, scripts & astuces :  applications dans un tunnelsmart wgettrouver des pdfinstall. auto de paquetssauvegarde auto♥ awk
  ⃛ɹǝsn xnuᴉꞁ uʍop-ǝpᴉsdn

Hors ligne

#12 Le 12/07/2013, à 14:10

sputnick

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Moi j'utilise quasi tout le temps :

rsync -avP

On ne peut pas mettre d'array dans un string!
https://sputnick.fr/

Hors ligne

#13 Le 12/07/2013, à 14:13

Haleth

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

rsync -avP --numeric-ids --delete source dest

-> backup exact


L'option delete ne supprime rien de la source
En revanche, tout ce qui est présent uniquement côté destination sera detruit
C'est donc parfait pour faire un backup exact (et répercuter les suppressions effectuées depuis le dernier backup)

Dernière modification par Haleth (Le 12/07/2013, à 19:58)


Ubuntu is an ancien African word which means "I can't configure Debian"

Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.

Hors ligne

#14 Le 12/07/2013, à 14:24

sputnick

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

@Haleth, Je plussoie fortement.

Pour ceux qui se posent la question,

--numeric-ids

garde les informations de user/group sous forme numerique

--delete

ne delete pas la source mais les fichiers de la cible qui ont été effacés dans la source depuis le dernier rsync

Dernière modification par sputnick (Le 12/07/2013, à 14:35)


On ne peut pas mettre d'array dans un string!
https://sputnick.fr/

Hors ligne

#15 Le 12/07/2013, à 14:27

nesthib

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

@Haleth : attention, l'option --delete présente un risque de suppression de données non voulu chez les débutants, merci de mettre un petit avertissement dans ton message wink


GUL Bordeaux : GirollServices libres : TdCT.org
Hide in your shell, scripts & astuces :  applications dans un tunnelsmart wgettrouver des pdfinstall. auto de paquetssauvegarde auto♥ awk
  ⃛ɹǝsn xnuᴉꞁ uʍop-ǝpᴉsdn

Hors ligne

#16 Le 14/07/2013, à 09:19

JoelS

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Autre option intéressante pour faire un sauvegarde (et non pas une archive :-)), l'option

--filter

qui permet de prendre ou laisser des fichiers/répertoires lors de la recopie.

Par exemple, pour mes sauvegardes de mon homedir, j'utilise entre autre

--filter "- *.msf" --filter "- tmp/"

qui ne prend donc pas les fichiers MSF (les index de ThunderBird, ils peuvent être reconstruit automatiquement par TB en cas de besoin, pas besoin de les sauvegarder) et le répertoire tmp et ce qu'il contient, car par définition c'est du temporaire.

Hors ligne

#17 Le 15/07/2013, à 13:17

sputnick

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Moi pour ça j'utilise par exemple :

--exclude=*.msf

On ne peut pas mettre d'array dans un string!
https://sputnick.fr/

Hors ligne

#18 Le 17/07/2013, à 09:21

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

peut on avoir un script de backup chaque heure??

Hors ligne

#19 Le 17/07/2013, à 09:21

Haleth

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

man crontab

Ubuntu is an ancien African word which means "I can't configure Debian"

Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.

Hors ligne

#20 Le 17/07/2013, à 09:29

tiramiseb

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

J'ajouterais que si tu veux faire du backup, alors utilise un outil de backup, pas un outil de synchronisation.

Par exemple, dans le genre proche de rsync, tu as rdiff-backup (que j'utilise) ou rsnapshot...

Hors ligne

#21 Le 17/07/2013, à 11:01

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

j'utilise backup-manager, mais j'aimerais avoir un backup chaque heure des bases de donnees

Hors ligne

#22 Le 17/07/2013, à 11:19

tiramiseb

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Pour ma part je fais un dump quotidien des bases et je le récupère sur mon serveur de sauvegarde avec rdiff-backup.

Attention, concernant la sauvegarde toutes les heures, selon la taille de la base ça peut poser problème : si tu passes par un dump, ça bloque les écritures pendant un peu de temps ; très peu pour des petites bases (de l'ordre de 1 seconde), mais ça peut faire de longues minutes pour des grosses bases.
Dans ce cas il vaut mieux faire un snapshot des fichiers stockés puis une copie à chaud de ce snapshot...

Hors ligne

#23 Le 18/07/2013, à 02:31

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

je rencontre des problemes avec dump (caracteres speciaux, et langues comme russe, japonaise..)

comment effectuer un snapshot?

Dernière modification par alfirdaous (Le 18/07/2013, à 02:32)

Hors ligne

#24 Le 18/07/2013, à 07:07

tiramiseb

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

alfirdaous a écrit :

je rencontre des problemes avec dump (caracteres speciaux, et langues comme russe, japonaise..)

Ça m'étonne.
mysqldump et pgdump n'ont aucun problème avec les caractères spéciaux, ni même avec des données binaires.
Quel type de problèmes rencontres-tu ?

alfirdaous a écrit :

comment effectuer un snapshot?

Pour ma part je conseille de mettre /var/lib/mysql en LVM et de faire un snapshot avec « lvcreate -s ».
J'ai expliqué tout ça dans mon article « Sécurité des données avec LVM » que tu trouveras dans Linux Pratique numéro 75 :
http://boutique.ed-diamond.com/linux-pr … -lp75.html
(il y a aussi un petit erratum sur un script dans le numéro 76, si tu te bases sur cet articles je te donnerai l'erratum, n'hésite pas à le demander...)

Hors ligne

#25 Le 18/07/2013, à 09:37

alfirdaous

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

j'ai beau cherche, j'ai trouve une bonne option sur webmin, j'ai fait un backup chaque heure, voici le resultat:

09h00:

# ls -l
total 41468
-rw-r--r-- 1 root root 10939541 Jul 18 09:00 backup.sql

10h00:

# ls -l
total 41540
-rw-r--r-- 1 root root 10974556 Jul 18 10:00 backup.sql

il me reste que le code pour faire envoyer le backup par rsync vers un autre serveur chaque jou smile

Hors ligne