Contenu | Rechercher | Menus

Annonce

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 02/02/2013, à 17:47

chpnp

rsync, backup, et snapshot

bonjour,

Je suis en train de me pencher sur les problèmes de sauvegarde (j'utilise déjà dejadup et backintime mais c'est pour un besoin différent, je regarde aussi unison et le moyen d'installer le profil de FF en ram mais j'ai vu qu'il y avait eu plein de probleme avec des outils censés faire ca...)

Question, sur laquelle je n'ai pas trouvé une réponse claire sur google:

Est ce que rsync effectue un "vrai" snapshot, ie, copie des fichiers à un instant T en interdisant toute modification des fichiers concernés entre le début et la fin de la copie (ou mise à jour) ?

Merci

Hors ligne

#2 Le 02/02/2013, à 20:14

Haleth

Re : rsync, backup, et snapshot

Est ce que rsync effectue un "vrai" snapshot, ie, copie des fichiers à un instant T en interdisant toute modification des fichiers concernés entre le début et la fin de la copie (ou mise à jour) ?

Je crois pas, non.


Ubuntu is an ancien African word which means "I can't configure Debian"

Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.

Hors ligne

#3 Le 05/02/2013, à 22:43

chpnp

Re : rsync, backup, et snapshot

apparemment la solution passe par ufs ou zfs

Hors ligne

#4 Le 05/02/2013, à 22:46

Haleth

Re : rsync, backup, et snapshot

En effet, m'enfin réfléchit bien à tes besoins avant d'utiliser un truc louche
ext3 est clairement le FS le plus stable

ButterFS permet aussi les snapshots


Ubuntu is an ancien African word which means "I can't configure Debian"

Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.

Hors ligne

#5 Le 05/02/2013, à 23:32

Zakhar

Re : rsync, backup, et snapshot

Haleth a écrit :

Est ce que rsync effectue un "vrai" snapshot, ie, copie des fichiers à un instant T en interdisant toute modification des fichiers concernés entre le début et la fin de la copie (ou mise à jour) ?

Je crois pas, non.

Je confirme, et il n'y a aucune raison qu'il le fasse, chaque fichier est une entité indépendante.

Je confirme aussi le conseil de Haleth, pourquoi voudrais-tu faire une chose pareille... tu as sans doute tes raisons, mais si tu ne les exposes pas on ne peut guère t'aider car tu raisonnes en "solution" au lieu de nous expliquer tes "besoins".

Je t'assure, même pour toi-même, c'est un excellent exercice de formuler réellement ton "besoin" au lieu de te lancer dans "tiens, j'ai vu tel outil, voyons s'il fait ce que je veux". Très souvent, une fois que tu as clairement mis à plat le "besoin", la "solution" devient limpide. big_smile


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#6 Le 06/02/2013, à 01:15

chpnp

Re : rsync, backup, et snapshot

il y a un besoin immédiat et un besoin plus générique
Le besoin immédiat est que j'ai offert un ssd à mon pc. Mais je pense que firefox est responsable de la majorité des 5Go d'écriture dessus par jour... du coup je voudrais déplacer le profil dans un fs ram (jai vu que ca n'était plus tmpfs grrrr j'arrive pas à suivre tous ces changements). Histoire de ne pas "bruler" mon ssd juste avec les écritures firefox pour l'essentiel surnuméraires....
Il y a un outil qui fait ca avec archlinux, basé sur rsync. c'est séduisant. Mais en lisant les forum nombreux se plaignentp de son fonctionnement. Je suppose sans en être sur que la raison est lié à ce pb d'atomicité (je ne suis pas sur, parce que dans les profils FF il y a maintenant de nbreuses bdd sqlite qui ont été  mises en place justement pour éviter des pbs liés aux crashs.... )
Bref c'est le pb que je voudrais régler.
plus généralement, le pb des sauvegardes et l'atomicité en générale dans ce cadre est quand meme un pb ancien wink
Autrefois on conseillait de passer en mode monoutilisateur pour régler ca...
Les snapshots règlent évidement ce pb

Quant à ufs et zfs je ne les qualifierais pas vraiment de solution louche wink
pour autant que je puisse en juger l'une et l'autre sont considérées comme extremement robuste (zfs plutot un marteau pilon sur une station comme la mienne, et ufs je ne sais meme pas si c'est supporté par ubuntu....)

Voilà wink

Hors ligne

#7 Le 06/02/2013, à 18:51

Zakhar

Re : rsync, backup, et snapshot

Je comprends mieux l'histoire de "figer à un moment donné" avec ça !..

Par contre, je doute vraiment que ce soit Firefox qui t'écrive 5Go de data par jour... à moins que tu ne sois 24/24 sur ton PC avec Firefox à consulter compulsivement des pages.

Je te suggère de faire l'essai de le copier en RAM et de voir combien il reste de Go écrits par jour...

Sinon dans le futur il y aura probablement des trucs qui optimiseront automatiquement un couple SSD/HD comme Enhance/IO, mais pour l'instant tout cela n'est pas encore bien "sec".
Ensuite c'est évidemment une question de choix. Si tu as acheté un SSD c'est pour aller plus vite... et si c'est pour t'en priver en mettant les données sur le HD... bof... Donc c'est sûr, au plus tu vas optimiser, au plus tu vas "user" ton SSD... c'est malheureusement assez inéluctable !

Dernière modification par Zakhar (Le 06/02/2013, à 18:52)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#8 Le 10/02/2013, à 05:01

chpnp

Re : rsync, backup, et snapshot

Plutot en ram tmpfs directement pour FF, avec une synchro une fois par heure par exemple
je peux accepter de perdre 1h d'historique et les derniers onglets, dans un hypothétique crash
si je suis sûr que la synchro est bonne pour repartir en récupérant le max d'onglets FF

J'ai décidé de faire un peu de monitoring pour comprendre, c'est vrai que ca parait bizarre

Ceci dit, en regardant de plus près, c'est peut etre pas si grave. Sur le papier, 5Go par jour c'est pas énorme (10 000 cycles d'écritures sur 64 Go, en supposant que j'écrive 64 Go/jour, ca fait 10 000 jours soit 27 ans... j'aurai changé mon disque d'ici là...)

Hors ligne

#9 Le 10/02/2013, à 19:44

chpnp

Re : rsync, backup, et snapshot

premiers retours, premieres questions

voici les résultats d'écriture sur mon ssd en quelques heures  (MB, disk write)

iostat    2231,42
iotop        624,77

pour iotop, j'ai fait la somme des écritures des processus dont je sais qu'ils utilisent le ssd
Il y a un rapport x3,5
donc question immédiate: est ce que iotop et iostat mesurent la meme chose ?
Je suppose que non...
Des idées ?

Hors ligne

#10 Le 10/02/2013, à 21:23

Zakhar

Re : rsync, backup, et snapshot

Aucune idée... je ne connais aucun des deux !

Enfin selon les infos sur le net, iotop mesure les I/O faits par chaque programme, alors que iostat mesure les I/O sur chaque device.

Il pourrait y avoir une différence due à la lecture/écriture des structures ext4... mais un facteur 3.5 me semble trop gros pour cette seule explication !

Et aussi iotop mesure les I/O mais sans distinction de device. Donc en réalité, tu ne peux pas comparer puisque j'imagine que tout fichier compte dans iotop, même les trucs genre socket... Et ce qui est bizarre c'est que du coup tu devrais trouver plus dans iotop.

Dernière modification par Zakhar (Le 10/02/2013, à 23:53)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#11 Le 11/02/2013, à 12:36

chpnp

Re : rsync, backup, et snapshot

j'ai extrait uniquement les processus qui échangent avec / et /home, et j'ai fait la somme des ios de tous les process qui oint fait >1Mo.
(J'ai aussi quques centaines de Mo  vers mon disque de sauvegarde non pris en compte),
Je n'arrive pas à croire que les fichiers intermédiaires se chiffreraient pas centaines.....

Hors ligne

#12 Le 11/02/2013, à 12:53

Haleth

Re : rsync, backup, et snapshot

iostat: stat depuis que le PC est démarré
iotop: stat depuis que le programme est démarré

Voir /proc/diskstats pour les données brutes (voir la doc)

Dernière modification par Haleth (Le 11/02/2013, à 13:02)


Ubuntu is an ancien African word which means "I can't configure Debian"

Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.

Hors ligne

#13 Le 12/02/2013, à 19:29

chpnp

Re : rsync, backup, et snapshot

euh
j'ai fait la différence entre la valeur iostat au moment ou j'ai démarré iotop et la valeur iostat au moment ou j'ai relevé les résultats de iotop.
Sauf si je me trompe dans le compréhension dans la doc (ou s'il y a eu une erreur dans le processus opératoire, ce qui est possible) les chiffres devraient être les mêmes, à peu de choses pres.....

Hors ligne