Pages : 1
#1 Le 02/02/2013, à 17:47
- chpnp
rsync, backup, et snapshot
bonjour,
Je suis en train de me pencher sur les problèmes de sauvegarde (j'utilise déjà dejadup et backintime mais c'est pour un besoin différent, je regarde aussi unison et le moyen d'installer le profil de FF en ram mais j'ai vu qu'il y avait eu plein de probleme avec des outils censés faire ca...)
Question, sur laquelle je n'ai pas trouvé une réponse claire sur google:
Est ce que rsync effectue un "vrai" snapshot, ie, copie des fichiers à un instant T en interdisant toute modification des fichiers concernés entre le début et la fin de la copie (ou mise à jour) ?
Merci
Hors ligne
#2 Le 02/02/2013, à 20:14
- Haleth
Re : rsync, backup, et snapshot
Est ce que rsync effectue un "vrai" snapshot, ie, copie des fichiers à un instant T en interdisant toute modification des fichiers concernés entre le début et la fin de la copie (ou mise à jour) ?
Je crois pas, non.
Ubuntu is an ancien African word which means "I can't configure Debian"
Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.
Hors ligne
#3 Le 05/02/2013, à 22:43
- chpnp
Re : rsync, backup, et snapshot
apparemment la solution passe par ufs ou zfs
Hors ligne
#4 Le 05/02/2013, à 22:46
- Haleth
Re : rsync, backup, et snapshot
En effet, m'enfin réfléchit bien à tes besoins avant d'utiliser un truc louche
ext3 est clairement le FS le plus stable
ButterFS permet aussi les snapshots
Ubuntu is an ancien African word which means "I can't configure Debian"
Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.
Hors ligne
#5 Le 05/02/2013, à 23:32
- Zakhar
Re : rsync, backup, et snapshot
Est ce que rsync effectue un "vrai" snapshot, ie, copie des fichiers à un instant T en interdisant toute modification des fichiers concernés entre le début et la fin de la copie (ou mise à jour) ?
Je crois pas, non.
Je confirme, et il n'y a aucune raison qu'il le fasse, chaque fichier est une entité indépendante.
Je confirme aussi le conseil de Haleth, pourquoi voudrais-tu faire une chose pareille... tu as sans doute tes raisons, mais si tu ne les exposes pas on ne peut guère t'aider car tu raisonnes en "solution" au lieu de nous expliquer tes "besoins".
Je t'assure, même pour toi-même, c'est un excellent exercice de formuler réellement ton "besoin" au lieu de te lancer dans "tiens, j'ai vu tel outil, voyons s'il fait ce que je veux". Très souvent, une fois que tu as clairement mis à plat le "besoin", la "solution" devient limpide.
"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)
Hors ligne
#6 Le 06/02/2013, à 01:15
- chpnp
Re : rsync, backup, et snapshot
il y a un besoin immédiat et un besoin plus générique
Le besoin immédiat est que j'ai offert un ssd à mon pc. Mais je pense que firefox est responsable de la majorité des 5Go d'écriture dessus par jour... du coup je voudrais déplacer le profil dans un fs ram (jai vu que ca n'était plus tmpfs grrrr j'arrive pas à suivre tous ces changements). Histoire de ne pas "bruler" mon ssd juste avec les écritures firefox pour l'essentiel surnuméraires....
Il y a un outil qui fait ca avec archlinux, basé sur rsync. c'est séduisant. Mais en lisant les forum nombreux se plaignentp de son fonctionnement. Je suppose sans en être sur que la raison est lié à ce pb d'atomicité (je ne suis pas sur, parce que dans les profils FF il y a maintenant de nbreuses bdd sqlite qui ont été mises en place justement pour éviter des pbs liés aux crashs.... )
Bref c'est le pb que je voudrais régler.
plus généralement, le pb des sauvegardes et l'atomicité en générale dans ce cadre est quand meme un pb ancien
Autrefois on conseillait de passer en mode monoutilisateur pour régler ca...
Les snapshots règlent évidement ce pb
Quant à ufs et zfs je ne les qualifierais pas vraiment de solution louche
pour autant que je puisse en juger l'une et l'autre sont considérées comme extremement robuste (zfs plutot un marteau pilon sur une station comme la mienne, et ufs je ne sais meme pas si c'est supporté par ubuntu....)
Voilà
Hors ligne
#7 Le 06/02/2013, à 18:51
- Zakhar
Re : rsync, backup, et snapshot
Je comprends mieux l'histoire de "figer à un moment donné" avec ça !..
Par contre, je doute vraiment que ce soit Firefox qui t'écrive 5Go de data par jour... à moins que tu ne sois 24/24 sur ton PC avec Firefox à consulter compulsivement des pages.
Je te suggère de faire l'essai de le copier en RAM et de voir combien il reste de Go écrits par jour...
Sinon dans le futur il y aura probablement des trucs qui optimiseront automatiquement un couple SSD/HD comme Enhance/IO, mais pour l'instant tout cela n'est pas encore bien "sec".
Ensuite c'est évidemment une question de choix. Si tu as acheté un SSD c'est pour aller plus vite... et si c'est pour t'en priver en mettant les données sur le HD... bof... Donc c'est sûr, au plus tu vas optimiser, au plus tu vas "user" ton SSD... c'est malheureusement assez inéluctable !
Dernière modification par Zakhar (Le 06/02/2013, à 18:52)
"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)
Hors ligne
#8 Le 10/02/2013, à 05:01
- chpnp
Re : rsync, backup, et snapshot
Plutot en ram tmpfs directement pour FF, avec une synchro une fois par heure par exemple
je peux accepter de perdre 1h d'historique et les derniers onglets, dans un hypothétique crash
si je suis sûr que la synchro est bonne pour repartir en récupérant le max d'onglets FF
J'ai décidé de faire un peu de monitoring pour comprendre, c'est vrai que ca parait bizarre
Ceci dit, en regardant de plus près, c'est peut etre pas si grave. Sur le papier, 5Go par jour c'est pas énorme (10 000 cycles d'écritures sur 64 Go, en supposant que j'écrive 64 Go/jour, ca fait 10 000 jours soit 27 ans... j'aurai changé mon disque d'ici là...)
Hors ligne
#9 Le 10/02/2013, à 19:44
- chpnp
Re : rsync, backup, et snapshot
premiers retours, premieres questions
voici les résultats d'écriture sur mon ssd en quelques heures (MB, disk write)
iostat 2231,42
iotop 624,77
pour iotop, j'ai fait la somme des écritures des processus dont je sais qu'ils utilisent le ssd
Il y a un rapport x3,5
donc question immédiate: est ce que iotop et iostat mesurent la meme chose ?
Je suppose que non...
Des idées ?
Hors ligne
#10 Le 10/02/2013, à 21:23
- Zakhar
Re : rsync, backup, et snapshot
Aucune idée... je ne connais aucun des deux !
Enfin selon les infos sur le net, iotop mesure les I/O faits par chaque programme, alors que iostat mesure les I/O sur chaque device.
Il pourrait y avoir une différence due à la lecture/écriture des structures ext4... mais un facteur 3.5 me semble trop gros pour cette seule explication !
Et aussi iotop mesure les I/O mais sans distinction de device. Donc en réalité, tu ne peux pas comparer puisque j'imagine que tout fichier compte dans iotop, même les trucs genre socket... Et ce qui est bizarre c'est que du coup tu devrais trouver plus dans iotop.
Dernière modification par Zakhar (Le 10/02/2013, à 23:53)
"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)
Hors ligne
#11 Le 11/02/2013, à 12:36
- chpnp
Re : rsync, backup, et snapshot
j'ai extrait uniquement les processus qui échangent avec / et /home, et j'ai fait la somme des ios de tous les process qui oint fait >1Mo.
(J'ai aussi quques centaines de Mo vers mon disque de sauvegarde non pris en compte),
Je n'arrive pas à croire que les fichiers intermédiaires se chiffreraient pas centaines.....
Hors ligne
#12 Le 11/02/2013, à 12:53
- Haleth
Re : rsync, backup, et snapshot
iostat: stat depuis que le PC est démarré
iotop: stat depuis que le programme est démarré
Voir /proc/diskstats pour les données brutes (voir la doc)
Dernière modification par Haleth (Le 11/02/2013, à 13:02)
Ubuntu is an ancien African word which means "I can't configure Debian"
Because accessor & mutator are against encapsulation (one of OOP principles), good OOP-programmers do not use them. Obviously, procedural-devs do not. In fact, only ugly-devs are still using them.
Hors ligne
#13 Le 12/02/2013, à 19:29
- chpnp
Re : rsync, backup, et snapshot
euh
j'ai fait la différence entre la valeur iostat au moment ou j'ai démarré iotop et la valeur iostat au moment ou j'ai relevé les résultats de iotop.
Sauf si je me trompe dans le compréhension dans la doc (ou s'il y a eu une erreur dans le processus opératoire, ce qui est possible) les chiffres devraient être les mêmes, à peu de choses pres.....
Hors ligne