Ubuntu-fr

pem1664

[résolu] synchronisation serveur distant vers serveur local

Bonjour à tous
Je ne suis pas sur de poster ma demande dans la bonne partie du forum, vous me direz
explication du problème :
je suis en zone blanche et j'ai depuis peu un abonnement par satellite de 25Go/mois de 06h ->00h avec volume d'échange illimité de 00h->06h.
J'ai un serveur dédié que je loue et que j'utilise principalement en seedbox qui est sous ubuntu et accessible en ssh, ftp, nfs
J'ai un serveur local qui me permet de stocker et diffuser sur mon réseau local via nfs
je cherche une solution pour lancer la synchronisation du repertoire de download du serveur dédié vers mon serveur local entre 00h05 et 05h55 histoire d'être sur de ne pas bouffer mon volume d'échange du jour.. et qui puisse reprendre les transferts, parceque malgré le débit assez interressant tout ne sera pas copié en une fois.
D'autre part les FAI satellite brident le port ftp durant l'illimité (hein sinon ce serait pas marrant) donc je suis obligé de passer par ssh ou nfs.
Je pense que la solution la plus simple serait de faire un script avec rsync lancé par crontab, mais d'un ca fait longtemps que j'ai pas mis la main à la pâte coté bash alors si vous pouviez m'aider... Ou si vous avez une autre solution qui puisse remplir cette fonction..
d'avance merci pour vos réponses!

Dernière modification par pem1664 (Le 18/09/2015, à 16:25)

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)

Vysserk3

Re : [résolu] synchronisation serveur distant vers serveur local

Salut,
L'option --partial de rsync permet de reprendre un transfert interrompu.
La commande timeout permet d'exécuter une commande pendant un certain temps avant d'être interrompu (cf man timeout)
Avec ces deux trucs, tu dois pouvoir t'en sortir

Sinon, concernant le blocage du FTP, c'est le port 21 qui est bloqué ? Si c'est juste un port bloqué, tu peux faire tourner ton serveur FTP sur un autre port.

pem1664

Re : [résolu] synchronisation serveur distant vers serveur local

Salut, merci pour ta réponse, je vais essayer, d'après ce que j'ai lu sur les forums ce seraient les protocoles qui seraient non pas bloqués mais bridés (30ko/s) mais c'est vrai que je pourrais essayer de changer de ports voir si c'est le protocole ou le port.

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)

pem1664

Re : [résolu] synchronisation serveur distant vers serveur local

une question, l'option -z compresse les données mais ca les compresse juste pour le transfert ? ou ca les ressorts sous forme d'archives?
Et en fait si je comprend bien rsync faut que je monte en ssh mon serveur distant et que je lance rsync sur mon serveur local?

rsync -az --ignore-errors --append --progress --partial  /DISTANT MONTÉ /LOCAL

mettre cette ligne dans un cron avec un timeout -k 5h55m devant?
genre :

timeout -k 5h55m rsync -az --ignore-errors --append --progress --partial  /DISTANT/MONTÉ /LOCAL 

Dernière modification par pem1664 (Le 16/09/2015, à 13:04)

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)

Vysserk3

Re : [résolu] synchronisation serveur distant vers serveur local

Oui -z c'est que pour le transfert.

Pas besoin de monter le dossier ssh en local, rsync supporte un transfert vers un dossier distant via ssh :

rsync [OPTION...] SRC... [USER@]HOST:DEST

pem1664

Re : [résolu] synchronisation serveur distant vers serveur local

oui j'ai vu avec l'option -e ssh  mais étant donné que le repertoire distant peut etre déjà monté je ne sais pas si c'est pas plus intéressant que d'utiliser l'option -e ssh ?

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)

Vysserk3

Re : [résolu] synchronisation serveur distant vers serveur local

Oui si tu as déjà un truc en place, c'est plus simple

pem1664

Re : [résolu] synchronisation serveur distant vers serveur local

Salut Vysserk3 merci pour ton aide! 

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)

pem1664

Re : [résolu] synchronisation serveur distant vers serveur local

Une question encore...
j'arrive pas a faire fonctionner timeout...

pem@Serveur2:~$ timeout -k 10s rsync -az --ignore-errors --append --progress --partial /media/ServeurIkoula/incomplet/ /media/Save/Video/Download/ 
usage: timeout [-signal] time command...

je ne comprends pas... dans les ex que j'ai vu ca donnait bien

timeout -k xxh yym zzs commande

ou par défaut -k xx et la c'est en secondes...

EDIT: ah ok.... en fait faut pas mettre le -k
ca donne  :

pem@Serveur2:~$ timeout 10s rsync -az --ignore-errors --append --progress --partial /media/ServeurIkoula/incomplet/ /media/Save/Video/Download/ 
sending incremental file list
Timeout: aborting command ``rsync'' with signal 9
Processus arrêté
pem@Serveur2:~$ 

bon... l'essentiel c'est que ca tourne et ca s'arrête!!

Dernière modification par pem1664 (Le 18/09/2015, à 16:24)

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)

pem1664

Re : [résolu] synchronisation serveur distant vers serveur local

Je relance ce fil parceque je me demandais si il n'y avait pas une commande a rajouter pour voir ce qui a été transféré pendant l'exécution de la commande ?
Une idée? merci d'avance

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)

Vysserk3

Re : [résolu] synchronisation serveur distant vers serveur local

Salut,

Regarde l'option --log-file :

--log-file=FILE
              This  option causes rsync to log what it is doing to a file.  This is similar to the logging that a daemon does,
              but can be requested for the client side and/or the server side of a non-daemon transfer.   If  specified  as  a
              client  option,  transfer logging will be enabled with a default format of "%i %n%L".  See the --log-file-format
              option if you wish to override this.

              Here’s a example command that requests the remote side to log what is happening:

                rsync -av --remote-option=--log-file=/tmp/rlog src/ dest/

              This is very useful if you need to debug why a connection is closing unexpectedly.

Cf http://manpages.ubuntu.com/manpages/har … ync.1.html

Dernière modification par Vysserk3 (Le 26/09/2015, à 11:20)

pem1664

Re : [résolu] synchronisation serveur distant vers serveur local

Super! merci encore Vysserk!

---

Pas de problème sans solutions, mettre [résolu] dans son premier post permet de rechercher plus facilement une solution... ;)