Ubuntu-fr

ArthurC

Re : [script] sauvegarde du /home avec rdiff-backup

Je n'avais pas lu la partie sur le 2e script. je parlais surtout du premier fait par le créateur du topic où la notion du temps était importante(toutes les semaines et à semaine+x jours si le pc a été eteint lors du jour de sauvegarde prévue). Donc le HS souligné tape dans le faux.

fetchy

Re : [script] sauvegarde du /home avec rdiff-backup

ArthurC tu n'as pas tord, mais je ne connaissais pas encore fcron lorsque j'ai écrit le script, c'est pourquoi j'ai dû trouvé une solution de remplacement.
J'avais pourtant cherché à l'époque mais toutes les solutions de sauvegarde passaient par cron, qui ne faisait pas l'affaire pour moi (pb dans ce cas si le PC est éteint).
C'était également pour avoir des commentaires comme le tien et apprendre de nouvelles commandes que j'avais posté mon script ici donc je t'en remercie.

fetchy

Re : [script] sauvegarde du /home avec rdiff-backup

Néanmoins,
un avantage de ma méthode sur l'utilisation de fcron est que si la sauvegarde est interrompue (fermeture de la session par exemple) alors la sauvegarde sera faîte à nouveau à l'ouverture de session suivante, et pas la semaine suivante dans le cas de l'utilisation de fcron.

arieugon

Re : [script] sauvegarde du /home avec rdiff-backup

Bonsoir à tous et à roger64

Roger, je partage tout à fait ton point de vue.

Pour l'instant j'ai fait des images de mes partiitons, surtout pour le système. Lorsque j'ai une configuration stable avec une présentation qui me convient je crée une image avec Partimage. Lorsqu'une mise à jour de noyau est proposé, je fais toujours une image de ma partition système car j'ai déjà eu des problèmes, et c'est la seule façon de revenir en arrière sans tout réinstaller. Mais si le disque casse, c'est difficile d'utiliser les images car si la taille de la partition est plus petite (même, juste un tout petit peu) Partimage ne veux rien savoir.

En ce qui concerne les données, dans ma façon de travailler (particulier avec un portable), je veux juste faire des sauvegardes à la demande, quand JE veux, donc je me suis fais un script qui correspond à MON besoin.

Il faudrait trouver quelque chose qui ressemble à Partimage, mais qui permette de restaurer sur une partition plus petite, pour réinstaller son système sur un autre disque. Mais mon script pour les données fonctionne bien (40 Go de donnés sauvegardé dans un fichier tar), et il faudrait que je fasse un test au niveau du système.

D'ailleurs, rien ne m'empeche de faire le test car j'ai un autre disque dur et je vais faire l'expérience dès que j'ai un moment suffisament long ... Je vous tiendrais au courant.

Linuxement ;O)

---

Portable ASUS K73E :  Ubuntu XFCE 20.04 / Ubuntu DDE 20.04 / Debian 10 /Debian 11 (testing) / Devuan 3
Le tout en multi-boot Grub Legacy.

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

bonjour

Il nous faut encore chercher.

Si la sauvegarde sous Linux est techniquement au point, elle n'est pas encore vraiment facile pour l'utilisateur lambda.

Le fait d'avoir à utiliser deux types de logiciel pour obtenir une solution proche du "zéro défaut" me parait peu pratique. Et se contenter d'un seul type de logiciel est insuffisant.

Je suis d'accord avec toi sur le fait que l'intégration dans le logiciel de sauvegarde de la programmation dans le temps n'est pas indispensable. Linux dispose par ailleurs de beaucoup d'outils de programmation dans le temps.

Toutefois, sauf cas particulier, la taille de la partition d'accueil ne semble pas être une contrainte majeure.
- La restauration est le plus souvent utilisée pour "remettre les choses en place" sur la partition d'origine.
- Au cas où l'on restaurerait cette image sur une partition nouvelle, voire sur un nouveau disque, s' il faut sans doute veiller à ce sa taille soit au moins équivalente à celle de l'image sauvegardée, rien n'empêche ensuite de retailler la nouvelle partition après restauration.

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Pas mal vos pistes

Je suis en pleine restauration de 200Go paumé avec PowerFolder donc je cherche à améliorer mes sauvegardes. Actuellement, toutes les données importantes ont été restaurés grace à la façon dont je procède.

Mes données sont réparties sur une partition à part, je ne sauvegarde rien de mon home et les .xxxxx importants en /home/user sont en fait des liens vers ma partition de donnée.

Les données sont réparties dans plusieurs répertoires :
- agile : donnée qui change souvent (programmation, certaines conf, etc.) et qui ne sont pas privées (je publie mon code)
- dormante : données qui changent très peu et n'ont pas de  caractère "trop" privées (photos, sauvegardes de jeux, etc.)
- jetable : données que je garde mais que je peux perdre (et que j'ai perdu ...) vidéo, musique, etc.
- privée : données privées (compte, lettres, généalogie, etc.)
- temporaire : téléchargement en cours, photos en trie, test, etc.

Actuellement, j'utilise :
- truecrypt pour chiffrer certaines parties de ce qui est synchronisé (privée). Cette partie est en fait un fichier chiffré monté dans le répertoire privee des disques de sauvegardes
- unison pour synchroniser (sauvegarder) certaines données (agile et privée) avec des disques
- jungledisk avec un compte S3 de Amazon pour dormante

jetable et temporaire ne sont jamais sauvegardé

Mes pistes d'améliorations sont un script avec GUI d'échange d'espace entre les PC de ma famille (tout le monde est en Linux) avec des disques Truecrypt monté à distances over SSH et la partie sauvegarde faites avec rdiff-backup.

J'envoie une requete avec ma clé publique chez mon frère, le programme crée un fichier chiffré de X Go et met en place l'accès SSH avec ma clé, cet accès ne permet que truecrypt et rsync. Je monte le disque à distance, rdiff, démontage, chiffrement.

Le truc le plus dur ? Une interface pour gérer les inclusions/exclusions. L'interface de Jungledisk est pour l'instant mon modèle ...

Si mon "modèle" vous interesse, je peux poster des liens et autres.

quicky

Re : [script] sauvegarde du /home avec rdiff-backup

et vous avez pense a regarder du cote de unison ( http://doc.ubuntu-fr.org/unison)  pour la gestion de synchro ?
apparemment ce soft est plutot repute et il gere le fait de se connecter sur un periph externe genre disque dur usb.
Avec l option mountpoint on est sur qu il ne casse pas tout en cas de deconnection intempestive du periph.
En plus de ça il est bidirectionnel et gere bien sur les fonctionnalites de bases comme l exclusion etc

PS : au temps pour moi unison vient tt juste d etre cite

Dernière modification par quicky (Le 04/09/2008, à 01:18)

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

Le  truc le plus dur ? Une interface pour gérer les inclusions/exclusions. L'interface de Jungledisk est pour l'instant mon modèle ...
.../....
Si mon "modèle" vous interesse, je peux poster des liens et autres.

Bien sûr que c'est intéressant. L'idée de classer les données en fonction de leur durée de vie est excellente. De plus je n'ai aucune expérience sur les sauvegardes reseau ou nuage.

Questions; quel est le débit réel d'upload pour jungledisk ?, la facturation est-elle fonction du trafic ou du volume des données sauvegardées ?   

En ce qui concerne ta question, pybackpack gère très bien les inclusions et exclusions pour rdiff-backup. C'est même ce qu'il fait de mieux. Il existe dans les paquets Ubuntu. Il peut-être lancé avec ou sans sudo .
http://www.ubuntugeek.com/pybackpack-a-user-friendly-file-backup-tool-for-ubuntu-linux-desktop.html

J'utilise aussi truecrypt, mais un peu comme un "donjon", avec un tout petit volume chiffré qui est sauvegardé avec mon home. Mais naturellement, quand on veut sauvegarder dans le nuage, le volume crypté doit sans doute être plus important.

edit: volume au lieu de répertoire

Dernière modification par roger64 (Le 04/09/2008, à 09:08)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

pybackpack ne semble pas gérer les exclusions de fichiers (*.*~) et les exclusions de répertoires (.svn), posterai les captures de jungledisk ce soir.

pour truecrypt en fait, je monte un fichier crypté dans les disques ou clé puis je synchronise donc sur mon disue c'est pas crypté, seulement le répertoire "privée" sur les médias amovibles.

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

Bonjour

Je ne suis pas sûr de comprendre ta réponse mais je ne suis pas un spécialiste.

L'option "exclude from set" me permet par exemple d'exclure du répertoire de sauvegarde tout fichier ou sous-répertoire, même caché.

ou alors ce script qui sauvegarde le home sur un DD externe avec rsync mais qui n'offre rien de plus que l'utilisation de la ligne de commande et du man rsync

#!/bin/bash
rsync -av --delete --progress --stats --filter "- .thumbnails/" --filter "- .Trash/" --filter "- *.tmp" --filter "- *.iso" --filter "- lost+found/" --filter "- .cache/" --filter "- .icons/dlg-etiquette/" /home/roger/ /media/Premier/save/rsync/home/

sed -i 's/DERNIERE SAUVEGARDE LE/Cette ancienne sauvegarde date du/g' /home/roger/sécurité/sauvegardes/sauv-home-log
echo "DERNIERE SAUVEGARDE LE $(date +%d-%m-%y\ à\ %H\ heures-%M\ minutes-%S\ secondes)" >> /home/roger/sécurité/sauvegardes/sauv-home-log

Enfin le choix du "nuage" comme emplacement de sauvegarde me fait penser à l'évolution actuelle du courrier électronique. Tout en conservant Thunderbird en "deuxième rideau" pour avoir une copie de mes mails en dur, j'utilise désormais gmail et son "nuage" gratuit de plusieurs gigas pour sauvegarder mes mails. L'accès devient universel, la confidentialité aussi.
C'est un choix qui, évidemment, peut ne pas convenir à tout le monde, je le reconnais volontiers. Il suffit pour le compromettre durablement  d'un simple keylogger placé sur l'ordinateur d''un cybercafé que vous avez utilisé pendant cinq minutes....
Il y a bien un outil sur gmail qui permet de savoir si le compte est utilisé depuis un autre site mais c'est une rustine pas une protection.

Dernière modification par roger64 (Le 04/09/2008, à 12:44)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Je veux pouvoir dire "ne sauve pas les répertoires .svn" et pas "ne sauvegarde pas /a/.svn, ni /b/.svn, etc.". Regarde la partie gauche de la capture.

Pour le "nuage", il faut voir plus grand. Le but est de dire "je partage n Go" et voilà les fichiers que j'ai a sauvegarder". Ensuite, le logiciel se démerde pour répartir entre les clients les fichiers, le nombre de copies, etc.
Il n'existe malheureusement que des projets universitaires ou des logiciels commerciaux Windows only ... mais ça c'est le top

Voici quelques liens :
unison : http://www.cis.upenn.edu/~bcpierce/unison/
truecrypt : http://www.truecrypt.org
rsync : http://rsync.samba.org
rdiff-backup : http://www.nongnu.org/rdiff-backup/

Un que je viens de trouver : http://duplicity.nongnu.org

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

Merci de tes liens, ça bouge partout. Le libre progresse.

Je vois qu'Ubuntu est vraiment en retard pour rsync, j'espère que Ibex y remédiera...
Duplicity qui va un peu plus loin que rsync pourra être intéressant avec les possibilités de cryptage, si ça ne ralentit pas trop la bête. A suivre.

Unison, c'est surtout si l'on a besoin de faire du bidirectionnel je crois ?

Je n'ai pas besoin du "nuage" pour le moment car j'ai en fait un disque dur externe USB 2 en rab. A titre info, j'ai fait une copie de mon disque interne (45 gigas de données sur cinq partitions dont une NTFS) en un peu moins de trente cinq minutes avec Clonezilla Live (sans compression). C'est le plus rapide que j'ai trouvé pour le moment. A faire périodiquement même si ça ne couvre évidemment pas 100% des besoins de sauvegarde.

Dernière modification par roger64 (Le 04/09/2008, à 20:16)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Je viens de jouer avec duplicity mais peux pas utiliser les disques Truecrypt donc, je pousse pas plus loin.

Plein de test avec rdiff et c'est pas mal du tout même si j'ai trouvé un bug quand il n'y a plus de place --check-destination-dir, TMPDIR, TMP et TEMP marche pas, le seul moyen est de donner de la place dans le répertoire de destination ... Mais après il retrouve ses petits.

J'ai trouvé http://wiki.rdiff-backup.org/wiki/index.php/BackupToSshfsMount et http://wiki.rdiff-backup.org/wiki/index.php/BackupToEncfsAcrossSshfs qui déconseille eux mêmes la soluce

J'ai jamais eu besoin de garder des versions donc je vais peut être finalement me tourner vers rsync.

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Ben j'en aurais chié pour celui là : http://blog.gnu-designs.com/truecrypt-on-linux-with-xfs-and-ext2ext3-volumes/trackback

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Ok en fait c'est plus simple : http://fixunix.com/ubuntu/342830-truecrypt-ext3-format.html
Avec la nouvelle version de truecrypt rajouter --text pour tout faire par la console, pas possible de démonter un container avec la GUI.
- créer le container
- démonter
- mkfs.ext2 ou celui que vous voulez
- chown vous:vous sur le . du répertoire monté

Voilà vous avez un container truecrypt en ext2

Avec un rsync sur un container monté avec sshfs, j'y suis presque

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

C'est des essais qui sont pas simples...simples..:D

J'ai un doute à propos de truecrypt et rsync. Je ne suis pas sûr qu'ils aillent très bien ensemble

rsync permet-il de sauvegarder efficacement un volume truecrypt ?

Je m'explique : un volume TC , c'est un fichier. Si l'on modifie des fichiers à l'intérieur du volume crypté, rien ne transparaitra à l'extérieur pour rsync. Lors de la sauvegarde suivante avec rsync, ce dernier risque "d'oublier" le fichier-volume truecrypt car il va considérer qu'il n'a pas changé.  Il faudrait pour cela qu'il le sauvegarde en totalité.

Je ferai une vérification aujourd'hui parce que, d'un seul coup, ça m'inquiète...

Et d'ailleurs même au cas où il en prendrait bonne note, il faudra pour le sauvegarder qu'il change la totalité du fichier TC, c'est à dire qu'on est loin de la sauvegarde incrémentale qui fait la force de rsync (ou rdiff-backup). Il s'agit pour le coup d'une sauvegarde complète.

De là à conclure que les gros fichiers TC ne sont pas idéaux pour rsync...(et réciproquement)..?

Dernière modification par roger64 (Le 05/09/2008, à 08:04)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

rsync va sauvegarder DANS le container truecrypt !

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

OK

Je n'avais pas tout compris.
Mais ils sera intéressant de détailler: la cible doit être aussi un volume TC ouvert pour l'occasion ?

Pour synchroniser mon petit volume TC (50 mégas) avec rsync, il faudrait
- que j'ouvre sur le disque dur externe un volume TC destiné à la sauvegarde
- que j'ouvre également le volume TC du disque interne
- puis que je lance rsync entre les deux volumes.
- puis que je referme proprement tout ça.

Un script velu pour moi.

Je me demande si, dans mon cas -petit volume, rares modifications (style numéro de carte bleue)-, il n'est pas plus simple de faire un script (voir plus bas) qui consiste simplement à copier (cp -dp /source /cible) le container sur le DD externe après toute modification.

La sauvegarde des fichiers cryptés est une question que je ne m'étais jamais posée. J'ai en fait deux fichiers cryptés, un fichier Truecrypt et un fichier Notecase. Pour les deux, je me rends compte maintenant que les sauvegardes incrémentales "classiques" posent problème. Or, j'ai longtemps utilisé Acronis qui a recours à des sauvegardes incrémentales. J'étais ainsi au bord du gouffre sans le savoir...:rolleyes:

Un lien: http://www.cedynamix.fr/2008/06/09/sauvegarde-cryptee-sous-ubuntu/
Un autre: http://www.truecrypt.org/docs/?s=how-to-back-up-securely
Un spécial pour Amazon: http://www.niquille.com/2008/06/15/amazon-s3-tripple-encrypted-true-rsync-backup/

Je suis preneur de ton script au cas où.

Celui-ci que je viens de créer me suffit car il ne prend que quelques secondes (à exécuter en cas de besoin):

#!/bin/bash

cd /home/roger/sécurité
cp -dp coffre /media/Premier/save/coffre
cp -dp notes.nce /media/Premier/save/notes.nce

sed -i 's/DERNIERE SAUVEGARDE LE/Cette ancienne sauvegarde date du/g' /home/roger/sécurité/sauvegardes/sauv-crypt-log
echo "DERNIERE SAUVEGARDE LE $(date +%d-%m-%y\ à\ %H\ heures-%M\ minutes-%S\ secondes)" >> /home/roger/sécurité/sauvegardes/sauv-crypt-log

Dernière modification par roger64 (Le 05/09/2008, à 11:54)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Sur mon disque principal "privee" n'est pas chiffré, seule la partie "privee" des disques de sauvegardes est chiffrée. Si "privee" est chiffré sur le disque principale, je crois pas que je vais me faire ---- à monter 2 disques, je ferai une sauvegarde du container chiffré directement.

Je suis en train de tester donc j'ai pas de script tout fait et il ne sera sûrement jamais complètement automatisé car je n'aime pas enregistré mes passwords en dur et le chiffrement par certificat me semble une grosse bétise, à part si tu es capable d'avoir x sauvegarde de cette clé, etc. Par contre l'authentification SSH par certificat, oui

Je vais faire un howto de toute façon. Peut être même sur le wiki pourquoi pas ...

Pour ton script:
- je laisserai -a même si -R ne sert à rien avec un seul fichier, les gens sont habitués
- je garderai rsync qui doit mieux se débrouiller que cp pour réduire le temps de copie
- je garderai pas la dernière date de sauvegarde puisque de toute façon elle est pas accessible tu viens de tout écraser ou alors ton répertoire save doit s'incrémenter et là tu arrêtes tout, tu viens de réinventer l'incrémentale/complète

#!/bin/bash
cp -a /home/roger/sécurité/coffre /home/roger/sécurité/notes.nce /media/Premier/save/
echo "derniere sauvegarde le $(date +%d-%m-%y\ a\ %H\ heures-%M\ minutes-%S\ secondes)" >> /home/roger/sécurité/sauvegardes/sauv-crypt-log

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

Merci de tes corrections de bon sens.

Vu le volume de mes deux fichiers cryptés et leur usage au mieux quotidien, je me contente de les copier à chaque modif puisque la sauvegarde incrémentale classique ne marche pas pour eux (sauf script diabolique que je ne sais pas écrire). Cette manip basique me convient et je ne prétends pas avoir inventé quoi que ce soit.

La solution conseillée sur le site de Truecrypt (voir lien plus haut) qui consiste à ouvrir les deux disques et à copier le contenu de l'un vers l'autre est sans doute un peu plus économique en volume copié mais plus lourde d'emploi. Bof.

ça n'empêche pas de penser à améliorer.

Dernière modification par roger64 (Le 05/09/2008, à 18:30)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Bon voilà je commence : http://l-homme.com/tatouage/?p=3
Le wiki est un peu trop "fermé" pour moi

Pour truecrypt :
mkdir -p /media/backup_target /media/backup_source
truecrypt --text /media/Premier/save/coffre /media/backup_target
truecrypt --text /home/roger/sécurité/coffre /media/backup_source
rsync /media/backup_source /media/backup_target
truecrypt --dismount

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

Merci pour le script

Il est toutefois lent, puisqu'il me faut ouvrir les deux volumes avec le mot de passe, indiquer pour chacun qu'il n'y a pas de "keyfile",:rolleyes: pas de volume caché...et puis à la fin il plante.

Je pense que c'est sûrement la bonne façon de procéder mais pour un gros volume, genre partition ou équivalent ou le recours à rsync a tout son sens. Dans mon cas il ne se justifie pas.

Je garde donc mon script avec la copie "bourrin" et tes améliorations.

Dernière modification par roger64 (Le 05/09/2008, à 21:28)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Il y a une façon de sauvegarder par utilisateur

roger64

Re : [script] sauvegarde du /home avec rdiff-backup

@fetchy

Pour me faire pardonner d'avoir longtemps squatté ton fil, un petit ajout possible pour le début de ton script que j'ai naturellement emprunté dans la documentation...:cool:

# le script effectue la vérification du montage de la partition "/media/Premier" du disque dur externe usb.

if [ ! -e "/media/Premier/" ]
then
echo "Erreur, le volume de sauvegarde est absent."
exit
fi

@rangzen

Exact. C'est le bonheur de Linux.:)

---

Les écrits de Richard O'Monroy

rangzen

Re : [script] sauvegarde du /home avec rdiff-backup

Pffiuuuu j'en ai chié avec les options de sshfs ... mais l'article est utilisable ...
Si vous avez des suggestions ...