Créer une image de la partition système à chaud

kafifi · Le 28/06/2023, à 23:57

Salut à tous

Je me rends compte que je ne dispose pas de sauvegarde récente d'image système.
(La faute à Clonezilla qui nécessite de rebooter pour la générer ...).

Sous Windows, Macrium fait ça parfaitement en exploitant un mécanisme de NTFS.
Du coup, je cherche un outil pour le faire à chaud sur machines physiques Linux.

Cela devrait être possible avec un FS adapté comme btrfs par exemple.
J'avais trouvé un super outil (Systemback) malheureusement plus mis à jour :
https://forum.ubuntu-fr.org/viewtopic.php?id=2073068

Connaissez-vous des outils capable de faire ça ?
Idéalement avec un GUI, mais si pas le choix, OK pour bash & crontab

Merci.

Coeur Noir · Le 29/06/2023, à 00:07

Hello,

je ne prétends ni aider ni conseiller, juste pointer vers un truc qui semble répondre à ta demande : https://doc.ubuntu-fr.org/timeshift

kafifi · Le 29/06/2023, à 00:37

Coeur Noir a écrit :

Hello,
je ne prétends ni aider ni conseiller, juste pointer vers un truc qui semble répondre à ta demande : https://doc.ubuntu-fr.org/timeshift

Merci, je suis en train de le tester. A priori très efficace pour faire des snapshots.
Il me reste à le faire tourner sous btrfs -> https://forum.ubuntu-fr.org/viewtopic.p … #p22688246
-> C'est parfait pour un retour arrière en cas de "petit pépin".

Malheureusement, Timeshift se limite aux instantanés.
-> Je voudrais une image de la partition en cas de "gros souci".

PS : on m'a parlé de "veeam", il faut que je regarde si c'est possible avec la version gratuite.

geole · Le 29/06/2023, à 01:15

Bonsoir.
Si tu es un particulier avec un ordinateur personnel.
As-tu besoin d'une usine à gaz?
Réfléchis à cette démarche.
1) Initialisation.
Booter avec un support USB.
Lancer gparted.
Dupliquer la partition contenant le logiciel dans une autre partition idéalement dans un autre disque.
Qui pourrait être en USB afin d'être protégé d'un court-circuit qui peut griller les moteurs de tous les disques connectés.

2) Régulièrement, lancer un petit script qui fera.
a) La commande rsync de synchronisation.
b) Une rectification des UUID en double et regénérant le grub si pas utilisation de refind.
c) Les commandes de mise à jour du logiciel.
d) Les commandes d'épuration du logiciel.

3) Utilisation.
Si une énorme connerie est faite, ton O.S de secours est immédiatement opérationnel. Il n'y a rien à rapatrier.
Si tu fais une petite erreur dans un fichier, tu peux facilement consulter la situation d'avant et probablement éviter une restoration

AJout. Si utilisation de refind, il faut être en EFI et installer le package additionnel pour la proposition de choix des snapshot au boot.

Dernière modification par geole (Le 29/06/2023, à 10:22)

Qid · Le 29/06/2023, à 09:49

kafifi a écrit :

Je me rends compte que je ne dispose pas de sauvegarde récente d'image système.
(La faute à Clonezilla qui nécessite de rebooter pour la générer ...).

Effectivement comme l'a souligné geole dans son intro a-t-on réellement besoin de faire une image disque bien lourde régulièrement !? De mon point de vu la réponse est non... Perso maintenant avec rescuezilla (outil graphique de clonezilla) je fais une image avant migration de version mais c'est tout...

FrancisFDZ · Le 29/06/2023, à 11:30

Bonjour,
Pour copier une partition, il m'arrive d'utiliser gparted : sélection de la partition, choisir "copier" et la coller dans un espace vide de taille suffisante. Attention : cette méthode ne modifie pas l'UUID du système associé à la partition, il convient de le changer "à la main", toujours via gparted
NB : je ne suis pas sur que cette opération puisse se faire "à chaud", sur une partition en cours d'utilisation.

iznobe · Le 29/06/2023, à 13:30

Malheureusement, Timeshift se limite aux instantanés.
-> Je voudrais une image de la partition en cas de "gros souci".

Bonjour , aucun soucis de ce coté là .
En session live , tu as l ' outil graphique " disques " qui permet de faire des images de partition et de disque .
En CLI y a la commande " dd " a manoeuvrer avec attention .

on ne fait pas de copie de partition systeme a " chaud " , pour la simple et bonne raison , que le systeme modifie certains fichiers tant qu ' il est en cours d' utilisation . c' est exactement pareil sous windobz d' ailleurs logiquement .

Dernière modification par iznobe (Le 29/06/2023, à 13:32)

Qid · Le 29/06/2023, à 13:51

iznobe a écrit :

on ne fait pas de copie de partition systeme a " chaud " , pour la simple et bonne raison , que le systeme modifie certains fichiers tant qu ' il est en cours d' utilisation . c' est exactement pareil sous windobz d' ailleurs logiquement .

Sauf que pour windows il est clair qu'au contraire de Linux il est quasi impératif de faire certaines manip directement sur le Windows allumé : réduction de partition en tête... Histoire de pas faire de conflit avec sa fragmentation...

iznobe · Le 29/06/2023, à 13:55

c ' est HS , on parle de faire une image de partition ici . le reste n' a pas d' interet ( dans cette discussion ) .

Dernière modification par iznobe (Le 29/06/2023, à 13:56)

Tmi · Le 29/06/2023, à 16:06

Je me souviens de Ghost sur pc tellement pratique qui se lance à partir un cd
et au reboot la copie se faisais facillement
mais est-ce qu'il existe une nouvelle version prenant en compte Linux ?

Qid · Le 29/06/2023, à 16:46

Tmi a écrit :

Je me souviens de Ghost sur pc tellement pratique qui se lance à partir un cd
et au reboot la copie se faisais facillement
mais est-ce qu'il existe une nouvelle version prenant en compte Linux ?

J'ai parlé de rescuezilla !

Coeur Noir · Le 29/06/2023, à 18:02

Ou clonezilla ? Ou partclone ?

rescuezilla → https://korben.info/rescuezilla.html → https://rescuezilla.com/

( ça coûte pas cher des liens vers des doc's… )

kafifi · Le 29/06/2023, à 22:55

@tous,
Sympa le nombre de retours sur ce post !

geole a écrit :

Bonsoir.
Si tu es un particulier avec un ordinateur personnel.
As-tu besoin d'une usine à gaz?

En fait, je raisonne sur les deux cas : machine perso et environnement pro.
Effectuer régulièrement/automatiquement une image à chaud n'est pas une usine à gaz.
Et si pas d'utilitaire existant -> script et crontab.

Donc je continue à creuser cette piste (en complément de l'outil Timeshift).
Mais ta démarche est plus qu'intéressante, donc je vais la tester

geole a écrit :

1) Initialisation.
Booter avec un support USB.
Lancer gparted.
Dupliquer la partition contenant le logiciel dans une autre partition idéalement dans un autre disque.
Qui pourrait être en USB afin d'être protégé d'un court-circuit qui peut griller les moteurs de tous les disques connectés.

En phase très clair.

geole a écrit :

2) Régulièrement, lancer un petit script qui fera.
a) La commande rsync de synchronisation.
b) Une rectification des UUID en double et regénérant le grub si pas utilisation de refind.
c) Les commandes de mise à jour du logiciel.
d) Les commandes d'épuration du logiciel.

Peux-tu expliciter b,c,d ?
b) -> Si pas de changement de ssd/hdd, pourquoi actualiser le grub et rectifier UUID ?
c) -> Tu parles des mises à jour via apt update / upgrade ?
d) -> Tu parles de apt auto remove ?

geole a écrit :

3) Utilisation.
Si une énorme connerie est faite, ton O.S de secours est immédiatement opérationnel. Il n'y a rien à rapatrier.
Si tu fais une petite erreur dans un fichier, tu peux facilement consulter la situation d'avant et probablement éviter une restoration

Donc :
- "Petit souci" -> réparation à chaud grâce aux données générées par rsync ou Timeshift.
- "Gros souci" -> reboot pour réinstallation de l'image initiale + finalisation via données rsync ou Timeshift
-> C'est bien ça ?

geole a écrit :

AJout. Si utilisation de refind, il faut être en EFI et installer le package additionnel pour la proposition de choix des snapshot au boot.

Mes machines sont en EFI, je vais me documenter sur refind.

Qid a écrit :

iznobe a écrit :
on ne fait pas de copie de partition systeme a " chaud " , pour la simple et bonne raison , que le systeme modifie certains fichiers tant qu ' il est en cours d' utilisation . c' est exactement pareil sous windobz d' ailleurs logiquement .
Sauf que pour windows il est clair qu'au contraire de Linux il est quasi impératif de faire certaines manip directement sur le Windows allumé : réduction de partition en tête... Histoire de pas faire de conflit avec sa fragmentation...

Comme indiqué en début de post, l'utilitaire Macrium sait justement faire une image à chaud en toute fiabilité. Il utilise une fonctionnalité spécifique de NTFS faite pour ça. J'ai testé, cela fonctionne pas mal. Par contre, si besoin de restaurer l'image, il faut rebooter, cela ne se fait pas à chaud.

Tmi a écrit :

Je me souviens de Ghost sur pc tellement pratique qui se lance à partir un cd
et au reboot la copie se faisais facillement
mais est-ce qu'il existe une nouvelle version prenant en compte Linux ?

Oui comme l'a indiqué Coeur Noir, il existe plusieurs outils pour ça.

J'utilise souvent Clonezilla et c'est fonctionnel; mais il faut redémarrer pour booter sur l'outil, or je cherche à faire ça à chaud...

Coeur Noir · Le 29/06/2023, à 23:19

je cherche à faire ça à chaud...

Sans quitter le système potentiellement bancal que tu cherches à réparer, voire à remplacer par du propre, par une image d'un état précédemment fonctionnel du ( même ) système ?

Une première intuition me dit que ça n'est pas possible « comme ça », à la volée. Peut-être via chroot ?
En montant / décompressant une image saine et substituer les éléments utiles ?
Ça dépasse mes savoirs / compétences / expériences… mais c'est intrigant ;-)

Autre stratégie, peut-être, selon tes habitudes d'organisation des données, disques et partitions :
si tu as l'espace disponible, pourquoi ne pas garder sous le coude, en multi-boot, un système installé quasi « comme neuf » ( pré-configuré à ton contexte : utilisateurs, montages dans fstab… ) sur lequel tu démarrerais le jour où le système habituel merdoie ? Implique que les données système et utilisateurs soient clairement séparées mais y'a plusieurs méthodes pour ça.

C'est vraiment le risque d'interruption de service qui est un enjeu pour toi ?

Dernière modification par Coeur Noir (Le 29/06/2023, à 23:34)

kafifi · Le 30/06/2023, à 01:05

Coeur Noir a écrit :

je cherche à faire ça à chaud...
Sans quitter le système potentiellement bancal que tu cherches à réparer, voire à remplacer par du propre, par une image d'un état précédemment fonctionnel du ( même ) système ?

Je raisonne comme avec les instantanés : disposer de plusieurs versions.
Exemple avec un historique de 3 images (vu la taille on limite le nombre) :
1) je redémarre et restaure la dernière, voire l'avant dernière, voire l'avant avant dernière.
2) si jamais les trois étaient "cramées", bien sûr je dispose d'une image initiale fiable.
-> mais vu son manque de fraîcheur (...), étape supplémentaire via Timeshift ou rsync.

Coeur Noir a écrit :

Une première intuition me dit que ça n'est pas possible « comme ça », à la volée. Peut-être via chroot ?
En montant / décompressant une image saine et substituer les éléments utiles ?
Ça dépasse mes savoirs / compétences / expériences… mais c'est intrigant ;-)

Au départ je pensais ça impossible. Mais comme Macrium sait faire sous Windows grâce à NTFS (désolé, je me répète...), je me suis dit que cela devrait exister sous Linux, avec btrfs (ou zfs d'ailleurs).

D'ailleurs, il me semble que le regretté Systemback faisait ça :
https://la-vache-libre.org/systemback-l … -gnulinux/

Je viens de trouver ce lien, mais c'est bien trop ancien :
https://www.fsarchiver.org/live-backup/

Coeur Noir a écrit :

Autre stratégie, peut-être, selon tes habitudes d'organisation des données, disques et partitions :
si tu as l'espace disponible, pourquoi ne pas garder sous le coude, en multi-boot, un système installé quasi « comme neuf » ( pré-configuré à ton contexte : utilisateurs, montages dans fstab… ) sur lequel tu démarrerais le jour où le système habituel merdoie ? Implique que les données système et utilisateurs soient clairement séparées mais y'a plusieurs méthodes pour ça.

Oui c'est faisable mais le gain me semble faible par rapport à une image initiale créée avec Clonezilla par exemple.
Car dans les 2 cas il faudra prévoir rsync ou Timeshift pour actualiser "la vieille image". (Sauf si j'ai loupé un truc).

Coeur Noir a écrit :

C'est vraiment le risque d'interruption de service qui est un enjeu pour toi ?

C'est juste un double challenge
- remonter asap une machine physique en cas de souci (maj mal passée, crash disque, attaque, etc..).
- en effet, éviter de redémarrer à chaque création d'image système.

nb : si je ne trouve pas, je mettrai en place la solution proposée par geole, je pense que c'est le meilleur compromis.

Coeur Noir · Le 30/06/2023, à 02:07

(Sauf si j'ai loupé un truc).

Que les données « humaines » des utilisateurs soient stockées en dehors de la racine système ?
Et voire en dehors du disque système aussi d'ailleurs.

Ces données là ne bougent plus, quoi qu'il arrive au(x) système(s) qui s'y attachent ( par montages et éventuellement liens symboliques ).

Un système explose ? Tu le remplaces par un propre, où tu recrées tes utilisateurs dans le même ordre, les points de montage et éventuels liens symboliques vers les données.

Après il y a des « degrés » dans la façon de séparer les données utilisateurs : un $HOME regroupe 2 familles de données, les visibles ( documents et médias ) facilement exploitables directement depuis presque tout OS et les cachées ( paramètres, préférences, configurations ) plus ou moins dépendantes des versions d'OS et de logiciels.

Une doc' indigeste à ce sujet → https://doc.ubuntu-fr.org/organiser_data_utilisateurs et d'autres pistes → https://doc.ubuntu-fr.org/sauvegarde voire cet outil ( payant ) https://teejeetech.com/2022/06/26/aptik … more-11268 ?

Du coup, la manipulation du ou des systèmes se concentre sur de ( relativement ) petites partitions - c'est juste la partie système que tu restaures, répares ou remplaces, le gros des données ( utilisateurs ) ne bougeant pas.

Selon la stratégie que tu choisis, il y aura les sauvegardes / restaurations des données cachées ( restées dans les /home/$USER ) à prévoir mais qui sont plutôt légères en terme d'espace comparées aux données visibles ou au(x) système(s).

Dernière modification par Coeur Noir (Le 30/06/2023, à 03:10)

Qid · Le 30/06/2023, à 07:18

kafifi a écrit :

Coeur Noir a écrit :
Une première intuition me dit que ça n'est pas possible « comme ça », à la volée. Peut-être via chroot ?
En montant / décompressant une image saine et substituer les éléments utiles ?
Ça dépasse mes savoirs / compétences / expériences… mais c'est intrigant ;-)
Au départ je pensais ça impossible. Mais comme Macrium sait faire sous Windows grâce à NTFS (désolé, je me répète...), je me suis dit que cela devrait exister sous Linux, avec btrfs (ou zfs d'ailleurs).

T'es un peu obtus effectivement... Comme déjà dit oui windows est beaucoup plus permissif à chaud mais comme on te l'a déjà dit c'est contre logique... En fait ce que tu veux finalement c'est de la redondance de charge / du raid... Mais pour ça faudrait que le matériel soit compatible car il vaudrait mieux que ce soit matériel même si le raid peut être logiciel... Bref on ne joue plus dans la même cours...

geole · Le 30/06/2023, à 11:05

Bonjour.

kafifi a écrit :

En fait, je raisonne sur les deux cas : machine perso et environnement pro.
Effectuer régulièrement/automatiquement une image à chaud n'est pas une usine à gaz.

Pour la machine perso, je pense que mon script (à adapter) est intéressant.
Etant le seul utilisateur, je le lance quand je sais que l'ordinateur fonctionne bien et que je ne lui rien faire de particulier. Je me contente de regarder le script fonctionner.
Pour la machine pro, je ne sais pas estimer. De l'ordinateur petite entreprise artisanale à l'entreprise mondiale, il y a une marge...
Le risque du script est que pendant qu'il fait la commande RSYNC, un autre administrateur peut décider de lancer une suppression/création de logiciel. Je ne sais pas bloquer. Mais cela devrait être possible en mettant un"verrou".
Du coup, ce logiciel serait partiellement dupliqué, ce qui n'est pas grave car la sauvegarde suivante, rectifiera. Mais si tu es amené à utiliser la sauvegarde, il y a potentiellement un logiciel en état incohérent.
Il existe peut-être une solution. Lancer le script en mode cron, la nuit vers 3 heures du matin au moment où peu d'administrateurs ont envie de modifier des choses.
Par 'usine à gaz', je parlais de l'application que tu as citée. Si tu as commencé à vouloir l'utiliser, tu as vu que ce n'est pas si simple d'avoir des infirmations.
Si tu consultes la FAQ, Tu as remarqué que le problème des licences semble très important.
Si tu regardes les pré-requis de fonctionnement en BTRFS que je te laisse chercher, (tu devrais les trouver), tu auras des conditions d'installation à respecter (pas de partition) et d'utilisation (pas de chiffrement) pour la version actuelle.

kafifi a écrit :

b) -> Si pas de changement de ssd/hdd, pourquoi actualiser le grub et rectifier UUID ?
c) -> Tu parles des mises à jour via apt update / upgrade ?
d) -> Tu parles de apt auto remove ?

- La duplication duplique les fichiers fstab et grub.cfg qui contiennent le UUID de la partition émettrice, il faut remplacer l'UUID par le UUID de la partition réceptrice sinon, on lancerait la partition émettrice et pas son double.
- Oui, après la duplication, la mise à jour standatd du logiciel est lancée.
- Oui, mais tu peux répondre que tu ne veux pas épurer. A mon avis, avoir deux noyaux est suffisant et protège pas mal de l'arrivée d 'un nouveau noyau qui dysfonctionnerait puisque tu sais que le noyau actuel fonctionne.

kafifi a écrit :

- "Petit souci" -> réparation à chaud grâce aux données générées par rsync ou Timeshift.
- "Gros souci" -> reboot pour réinstallation de l'image initiale + finalisation via données rsync ou Timeshift
-> C'est bien ça ?

Pour le petit "souci", Pourquoi pas avec timeshift si cela te tentes. Je ne sais pas trop s'il va remettre des dates 'antérieures' auquel cas, sa remise en état étant plus ancienne, le prochain rsync ne le dupliquera pas. S'il change les dates des fichiers pour mettre la date de l'instant de la rectification, tout baigne.
Certainement pas avec une commande rync inverse à fabriquer car les fichiers de l'original sont plus récents que ceux de la copie. Cela ne fonctionnerait qu'en cas de suppression des fichiers car n 'étant plus présents, ils seraient remis en place.
Le plus souvent, cela sera des commandes ponctuelles, exemple, tu modifies une option dans un fichier, tu as oubli" de mémoriser l'ancienne valeur, et cela marche mal, tu consultes alors la duplication, pour retrouver la valeur, et tu remodifies le fichier original.

Pour le gros souci, c'est le disque qui est HS ou la partition qui a été détruite ou le logiciel qui ne fonctionne plus du tout ou le boot qui ne met pas en route ou..
Dans ce cas cas tu bootes avec le ubuntu de secours. Tu as tout ton temps pour analyser le problème. Au final
Soit tu dis que cet O.S. de secours convient bien surtout s'il est sur un support disque de même vitesse.
Soit tu le dupliques par gparted sur le disque initial s'il est de vitesse supérieure..

kafifi a écrit :

Mes machines sont en EFI, je vais me documenter sur refind.

En EFI, on peut se passer du grub en utilisant refind
Comme mon script tourne sur une machine LEGACY, le script génère grub, En EFI; je n'aurais pas besoin de le faire. Ce qui ferait gagner du temps.
Pour BTRFS, le refind standard, n'est pas suffisant, il faut lui ajouter un refind BTRFS, je commence à découvrir le problème avec les points de synchronisations. Cela ne me semble pas très bien documenté.

NOTE que l'installation standard de refind sait faire booter une installation standard dans du BTRFS.

ATTENTION: Ne pas oublier d'avoir aussi une partition de boot EFI dans le disque hébergeant le ubuntu de secours!

Mon script de duplication du logiciel.

###
##  Script de copie du logiciel Ubuntu qui est dans la partition SDC4. Ce script s'exécute en mode ROOT
  # Label de la partition de sortie
LABEL=DupliUbuntu
if [ $UID != 0 ]; then
echo -e "\n\a\E[31mVous devez être l'utilisateur root pour exécuter ce script.\E[0m\nPour devenir root, veuillez frapper les deux mots de la ligne ci-dessous.\n\E[0m\E[34;47msudo -i\E[0m\navant de faire le 'coller'. Vous pourrez alors relancer le script.\n"
else
TRACE="\n\a\E[31mON Y VA POUR: \E[0m" 
echo -e $TRACE "copier le logiciel Ubuntu qui est dans le SSD" && sleep 6 && echo "Début de sauvetage $(date)" > DATE
udisksctl mount -b /dev/disk/by-label/$LABEL ## Montage de la partition où sauver. 
rm /media/$USER/$LABEL/etc/fstab /media/$USER/$LABEL/boot/grub/grub.cfg #(ces fichiers pouvant ^tre plus récentscar modifiés pr le script)
########## Commande première fois afin d'avoir tous les répertoires dont /proc nécessaire pour boot-repair et /home/a/.cache nécessaire pour mozilla
#### sudo rsync -o -g -r -u -l -p -h -x -v --times --stats   /media/$USER/$LABEL ## Puisqu'il faut créer la partition, il me semble plus simple d'utiliser gparted pour dupliquer la partition émettrice  puis de modifier le uuid de la partition réceptrice plutôt que de créer une partition vide....
#### Commande pour les fois suivantes.
echo -e $TRACE transférer le logiciel  && sleep 6
rsync -v -o -g -r -u -l -p -A -h -x --times --stats --progress --delete-before --exclude={'/proc','/sys','/mnt','/media','/swapfile','/home','/var/log/journal','/tmp','/var/tmp','/root/.cache'} /  /media/$USER/$LABEL
echo -e $TRACE transférer  le home && sleep 6
#rsync -v -o -g -r -u -l -p -A -h -x --times --stats --progress  --delete-after --exclude={'a/.cache/mozilla','a/[^.]*','EXFAT'} /home /media/$USER/$LABEL
rsync -v -o -g -r -u -l -p -A -h -x --times --stats --progress  --delete-after  /home /media/$USER/$LABEL
echo -e $TRACE Mettre à jour sa structure de boot # et son noyau
# Remplacer le uuid du fichier /etc/fstab
cp -v /media/$USER/$LABEL/etc/fstab /media/$USER/$LABEL/etc/fstab.ORIGINE
UUIDgood=$(echo $(lsblk -fe7 | grep "$LABEL")| cut -d" " -f5)  && echo $UUIDgood
UUIDold=$(grep ' \/ ' /etc/fstab | grep UUID  | cut -c1-41) && echo $UUIDold 
sed -i "s/$UUIDold/#$UUIDold/" /media/$USER/$LABEL/etc/fstab
echo UUID=$UUIDgood  /  ext4 errors=remount-ro 0 1 | tee -a /media/$USER/$LABEL/etc/fstab
mount -t proc   /proc /media/$USER/$LABEL/proc && mount -t sysfs  /sys /media/$USER/$LABEL/sys
mount --bind    /dev  /media/$USER/$LABEL/dev  && mount --bind    /run /media/$USER/$LABEL/run
#mount --bind    /sys /media/$USER/$LABEL/sys
chroot /media/$USER/$LABEL grub-install /dev/sda
chroot /media/$USER/$LABEL update-grub
###chroot /media/$USER/$LABEL update-initramfs -u -k all
umount -v /media/$USER/$LABEL/{run,dev,sys,proc} 
# On a fini la mise à jour de la duplication. Il faut la faire connaitre de la structure de boot
echo -e $TRACE mettre à jour le logiciel && sleep 6
apt update
apt upgrade
apt full-upgrade
apt purge ~c
update-grub
echo -e $TRACE compter && sleep 6
echo -e "\n\tDécompte des fichiers ubuntu en sortie :"; for i in /media/$USER/$LABEL/*; do echo -n "$i : " ; find "$i" | wc -l; done | sort -n -k3 | column -t | tail -15
udisksctl unmount -b  /dev/disk/by-label/$LABEL
echo -e "\n\tDécompte des fichiers ubuntu en entrée :"; for i in /*; do echo -n "$i : " ; find "$i" -mount | wc -l; done | sort -n -k3 | column -t | tail -15
echo "Fin   de sauvetage $(date)" >> DATE
cat DATE
sleep 15
fi
======

Mon script de duplication des données personnelles

###  Les données du home en double exemplaire
if [ $UID != 0 ]; then
echo -e "\n\a\E[31mVous devez être l'utilisateur root pour exécuter ce script.\E[0m\nPour devenir root, veuillez frapper les deux mots de la ligne ci-dessous.\n\E[0m\E[34;47msudo -i\E[0m\navant de faire le 'coller'. Vous pourrez alors relancer le script.\n"
else
echo -e $TRACE copier le home en double exemplaire && sleep 6
udisksctl mount -b  /dev/disk/by-label/4ToHOME ## Montage de la partition où sauver.
echo "Début de sauvetage $(date)" > DATE
for Me in $(ls -1 /home) ; do
mkdir -pv /media/4ToHOME/$Me
echo -e $TRACE le transfert de $Me  && sleep 6
#rsync -ahvx --progress --stats  /home/$Me/.[^.]*   /media/$USER/4ToHOME/$Me  2>>rsync_ERR.log   #### pour le logiciel
rsync -hvrux --progress --stats --exclude={'EXFAT','SAVEcléBOOT','snap'}  /home/$Me/*   /media/$USER/4ToHOME/$Me ## 2>>rsync_ERR.log 
sudo chown -R $Me:$Me /media/$USER/4ToHOME/$Me; done    ####  Pour les données
echo "fin de copie"
echo Liste des erreurs ; cat rsync_ERR.log
echo "Fin de sauvetage $(date)" >> DATE
echo -e "\n\tDécompte des fichiers :"; for i in /media/4ToHOME/*; do echo -n "$i : " ; sudo find "$i" | wc -l; done | sort -n -k3 | column -t | tail
cat DATE
sleep 15
sync
udisksctl unmount -b  /dev/disk/by-label/4ToHOME
fi

A méditer
La contrainte

Btrfs is supported only if it resides directly on a physical device with no additional abstraction layers (such as LVM, software RAID, dm-crypt and so on) below or above it.

Le prix

Dernière modification par geole (Le 02/07/2023, à 06:45)

kafifi · Le 30/06/2023, à 13:19

Coeur Noir a écrit :

Que les données « humaines » des utilisateurs soient stockées en dehors de la racine système ?
Et voire en dehors du disque système aussi d'ailleurs.
Ces données là ne bougent plus, quoi qu'il arrive au(x) système(s) qui s'y attachent ( par montages et éventuellement liens symboliques ).

Mon /home est sur une partition distincte, je peux effectivement reconstruire la partie système sans risque.

nb : je projetais de le mettre sur une partition RAID d'un NAS Synology, mais j'ai renoncé à cause des pertes en performance (même avec un lien 10Gb).

Coeur Noir a écrit :

Après il y a des « degrés » dans la façon de séparer les données utilisateurs : un $HOME regroupe 2 familles de données, les visibles ( documents et médias ) facilement exploitables directement depuis presque tout OS et les cachées ( paramètres, préférences, configurations ) plus ou moins dépendantes des versions d'OS et de logiciels.
Une doc' indigeste à ce sujet → https://doc.ubuntu-fr.org/organiser_data_utilisateurs et d'autres pistes → https://doc.ubuntu-fr.org/sauvegarde voire cet outil ( payant ) https://teejeetech.com/2022/06/26/aptik … more-11268 ?

Je vais aller lire tout ça...

Coeur Noir a écrit :

Du coup, la manipulation du ou des systèmes se concentre sur de ( relativement ) petites partitions - c'est juste la partie système que tu restaures, répares ou remplaces, le gros des données ( utilisateurs ) ne bougeant pas.

On est d'accord là-dessus.

Coeur Noir a écrit :

Selon la stratégie que tu choisis, il y aura les sauvegardes / restaurations des données cachées ( restées dans les /home/$USER ) à prévoir mais qui sont plutôt légères en terme d'espace comparées aux données visibles ou au(x) système(s).

La doc "indigeste" précédente va m'aider à définir la bonne stratégie.

Qid a écrit :

T'es un peu obtus effectivement...

Ben non Je creuse toutes les pistes avant de renoncer -> sujet techniquement intéressant ...

Qid a écrit :

Comme déjà dit oui windows est beaucoup plus permissif à chaud mais comme on te l'a déjà dit c'est contre logique...

Pourquoi ? L'idée reste de faire une photo de la partie système, dès lors que j'ai un outil garantissant l'absence de corruption des fichiers (je pense aux bases de données).

Qid a écrit :

En fait ce que tu veux finalement c'est de la redondance de charge / du raid... Mais pour ça faudrait que le matériel soit compatible car il vaudrait mieux que ce soit matériel même si le raid peut être logiciel... Bref on ne joue plus dans la même cours...

Non c'est différent : le RAID assure la continuité de service, principalement en cas de défaillance matérielle.
-> Ici je cherche à disposer d'une image pour reconstruire le système...

geole a écrit :

Pour la machine perso, je pense que mon script (à adapter) est intéressant.
...
Le risque du script est que pendant qu'il fait la commande RSYNC, un autre administrateur peut décider de lancer une suppression/création de logiciel. Je ne sais pas bloquer. Mais cela devrait être possible en mettant un"verrou".

Perso -> no souci.
Pro -> considérons que je suis l'admin, donc j'ai la main ce qui simplifie les choses.

geole a écrit :

Par 'usine à gaz', je parlais de l'application que tu as citée. Si tu as commencé à vouloir l'utiliser, tu as vu que ce n'est pas si simple d'avoir des infirmations.
Si tu consultes la FAQ, Tu as remarqué que le problème des licences semble très important.
Si tu regardes les pré-requis de fonctionnement en BTRFS que je te laisse chercher, (tu devrais les trouver), tu auras des conditions d'installation à respecter (pas de partition) et d'utilisation (pas de chiffrement) pour la version actuelle.

En effet, ce n'est pas si trivial.

geole a écrit :

Pour le petit "souci", Pourquoi pas avec timeshift si cela te tentes. Je ne sais pas trop s'il va remettre des dates 'antérieures' auquel cas, sa remise en état étant plus ancienne, le prochain rsync ne le dupliquera pas. S'il change les dates des fichiers pour mettre la date de l'instant de la rectification, tout baigne.

Je privilégie en effet Timeshift pour les petits bobos.

geole a écrit :

Certainement pas avec une commande rync inverse à fabriquer car les fichiers de l'original sont plus récents que ceux de la copie. Cela ne fonctionnerait qu'en cas de suppression des fichiers car n 'étant plus présents, ils seraient remis en place.

Pour rsync j'ai écrit un peu vite. Je voulais évidemment dire que je restaure les données du dernier rsync.
PS : merci pour tes scripts.

kafifi · Le 30/06/2023, à 17:08

geole a écrit :

A méditer
La contrainte

Btrfs is supported only if it resides directly on a physical device with no additional abstraction layers (such as LVM, software RAID, dm-crypt and so on) below or above it.

Le prix

Je suis allé voir, il y a bien une version gratuite ("community" limitée à 10 "workloads")
https://www.veeam.com/fr/virtual-machin … -free.html

Par contre, même s'il y a des agents Linux, le logiciel principal n'existe que sous Windows.
-> Mon objectif étant de privilégier le pingouin, je ne retiens plus cette solution.

Coeur Noir · Le 01/07/2023, à 00:54

-> Ici je cherche à disposer d'une image pour reconstruire le système...

Ça paraîtra benêt mais … un support d'installation ( live usb ) ?
Ou tu colles dans une partition « dormante » une image iso que tu auras fait de ton système à un moment où il t'allait bien ?
( image que je ne sais pas faire sans quitter le système en cours mais pitêtre ça existe - en attendant, nécessitera un OS live ou un autre OS « à côté » on en revient à l'idée du multi-boot… )

Qid · Le 01/07/2023, à 01:24

kafifi a écrit :

Qid a écrit :
T'es un peu obtus effectivement...
Ben non Je creuse toutes les pistes avant de renoncer -> sujet techniquement intéressant ...
Qid a écrit :
Comme déjà dit oui windows est beaucoup plus permissif à chaud mais comme on te l'a déjà dit c'est contre logique...
Pourquoi ? L'idée reste de faire une photo de la partie système, dès lors que j'ai un outil garantissant l'absence de corruption des fichiers (je pense aux bases de données).
Qid a écrit :
En fait ce que tu veux finalement c'est de la redondance de charge / du raid... Mais pour ça faudrait que le matériel soit compatible car il vaudrait mieux que ce soit matériel même si le raid peut être logiciel... Bref on ne joue plus dans la même cours...
Non c'est différent : le RAID assure la continuité de service, principalement en cas de défaillance matérielle.
-> Ici je cherche à disposer d'une image pour reconstruire le système...

Qu'on soit bien clair parceque j'ai moi même réussi à me faire peur... Ma première réplique était en lien avec le fait que tu as toi même dit que tu te répétait et n'avais absolument pas d'autres intentions plus péjoratives...

Mais effectivement le sujet est intéressant et utile... Reste qu'il me semble qu'il devrait être clos : sous linux ce n'est pas possible car linux n'est pas du tout construit pareil que Windows securitairement parlant...

Quant à la différence entre ce que fait le raid et ta justification du besoin de pouvoir créer une image à chaud... Bah... Non je maintiens que je ne vois pas la différence et pourtant je n'ai jamais joué avec... D'autant que tu as l'air de sous-entendre que ça te gêne de devoir redémarrer sur un live pour la créer... Mais par contre tu n'as jamais parlé du moment où tu vas devoir la réimplanter... Pour moi on est bien là face à un besoin de continuité de service...

kafifi · Le 01/07/2023, à 18:42

Coeur Noir a écrit :

-> Ici je cherche à disposer d'une image pour reconstruire le système...
Ça paraîtra benêt mais … un support d'installation ( live usb ) ?
Ou tu colles dans une partition « dormante » une image iso que tu auras fait de ton système à un moment où il t'allait bien ?
( image que je ne sais pas faire sans quitter le système en cours mais pitêtre ça existe - en attendant, nécessitera un OS live ou un autre OS « à côté » on en revient à l'idée du multi-boot… )

Intéressant aussi (en gardant aussi une image "off line" en cas de gros pépin type ransomware ou autre).

Qid a écrit :

Qu'on soit bien clair parceque j'ai moi même réussi à me faire peur... Ma première réplique était en lien avec le fait que tu as toi même dit que tu te répétait et n'avais absolument pas d'autres intentions plus péjoratives...

No souci

Qid a écrit :

Mais effectivement le sujet est intéressant et utile... Reste qu'il me semble qu'il devrait être clos : sous linux ce n'est pas possible car linux n'est pas du tout construit pareil que Windows securitairement parlant...

Une dernière piste, à force d'écumer le web je viens de trouver ça :

File and image backups are made while the system is running
without interrupting current processes.

Visiblement l'outil commence par copier la partition, et ensuite il créé une image.
Je vais tester "en vrai' pour voir ce que cela donne.

https://ubunlog.com/fr/serveur-client-d … -urbackup/
https://www.urbackup.org/index.html
https://www.youtube.com/watch?v=tXGVzMUsuE4

Qid a écrit :

Quant à la différence entre ce que fait le raid et ta justification du besoin de pouvoir créer une image à chaud... Bah... Non je maintiens que je ne vois pas la différence et pourtant je n'ai jamais joué avec... D'autant que tu as l'air de sous-entendre que ça te gêne de devoir redémarrer sur un live pour la créer... Mais par contre tu n'as jamais parlé du moment où tu vas devoir la réimplanter... Pour moi on est bien là face à un besoin de continuité de service...

Je réexplique ma vision :
a) J'aimerais pouvoir créer l'image système à chaud, à intervalles réguliers, et de manière transparente.
b) En cas d'incident grave, bien entendu reboot obligatoire pour réécrire l'image.

a) = tâche récurrente.
b) = seulement en cas d'incident.

S'il faut rebooter à chaque création d'image, ce sera lourd et contraignant.
-> Donc réalisé au début, puis rapidement "oublié"... CQFD !

Le RAID.
Je l'utilise sur des partitions en partage sur un NAS, il permet la continuité de service en cas de panne de disque. J'ai testé, c'est bluffant d'efficacité -> l'utilisateur ne voit rien (à part une légère baisse de performance pendant la reconstruction).
Par contre, en cas de fausse manip, de mise à jour bancale, ou d'attaque, le RAID n'apportera rien puisque tous les disques sont synchronisés avec les "mauvaises infos"'.

Coeur Noir · Le 02/07/2023, à 02:02

Et créer des images, à partir des instantanés effectués par …Timeshift ?
Après tout ces instantanés ( en EXT× ) sont déjà une copie conforme du système à des intervalles que tu définis ; copies sous forme fichiers « normaux » accessibles dans /chemin_vers/timeshift/<les_divers_dossiers_snapshots>

Doit y'avoir moyen « d'exporter » ça sous une forme d'image ? ( l'intérêt de l'image m'échappe dans cette histoire. )

Effectivement UrBackup a l'air de faire les deux : du fichier et du secteur.

geole · Le 02/07/2023, à 04:37

Coeur Noir a écrit :

Doit y'avoir moyen « d'exporter » ça sous une forme d'image ? ( l'intérêt de l'image m'échappe dans cette histoire. )

Bonjour
Sous ZFS, BTRFS Il existe la fonctionnalité d'exporter.
Il faudrait que la première fois timeshift le fasse, puis après qu'il le fasse de temps en temps.
sudo btrfs send /data/.snapshots/web1-2020-12-30 | sudo btrfs receive /snap
Mais je n'ai pas (encore?) trouvé comment lui dire.
"Backup to an external drive is also already implemented in some CLI tools via btrfs send and btrfs receive commands, but unfortunately nobody has made a GUI for it yet."
https://github.com/teejee2008/timeshift/issues/920

In the timeshift branch is a beta version for use with "timeshift"

sudo wget https://github.com/andreaskielkopf/BackSnap/raw/timeshift/backsnap -O /usr/local/bin/backsnap
sudo chmod a+x /usr/local/bin/backsnap
sudo backsnap -g -t ???????

Dernière modification par geole (Le 02/07/2023, à 06:41)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 28/06/2023, à 23:57

Créer une image de la partition système à chaud

#2 Le 29/06/2023, à 00:07

Re : Créer une image de la partition système à chaud

#3 Le 29/06/2023, à 00:37

Re : Créer une image de la partition système à chaud

#4 Le 29/06/2023, à 01:15

Re : Créer une image de la partition système à chaud

#5 Le 29/06/2023, à 09:49

Re : Créer une image de la partition système à chaud

#6 Le 29/06/2023, à 11:30

Re : Créer une image de la partition système à chaud

#7 Le 29/06/2023, à 13:30

Re : Créer une image de la partition système à chaud

#8 Le 29/06/2023, à 13:51

Re : Créer une image de la partition système à chaud

#9 Le 29/06/2023, à 13:55

Re : Créer une image de la partition système à chaud

#10 Le 29/06/2023, à 16:06

Re : Créer une image de la partition système à chaud

#11 Le 29/06/2023, à 16:46

Re : Créer une image de la partition système à chaud

#12 Le 29/06/2023, à 18:02

Re : Créer une image de la partition système à chaud

#13 Le 29/06/2023, à 22:55

Re : Créer une image de la partition système à chaud

#14 Le 29/06/2023, à 23:19

Re : Créer une image de la partition système à chaud

#15 Le 30/06/2023, à 01:05

Re : Créer une image de la partition système à chaud

#16 Le 30/06/2023, à 02:07

Re : Créer une image de la partition système à chaud

#17 Le 30/06/2023, à 07:18

Re : Créer une image de la partition système à chaud

#18 Le 30/06/2023, à 11:05

Re : Créer une image de la partition système à chaud

#19 Le 30/06/2023, à 13:19

Re : Créer une image de la partition système à chaud

#20 Le 30/06/2023, à 17:08

Re : Créer une image de la partition système à chaud

#21 Le 01/07/2023, à 00:54

Re : Créer une image de la partition système à chaud

#22 Le 01/07/2023, à 01:24

Re : Créer une image de la partition système à chaud

#23 Le 01/07/2023, à 18:42

Re : Créer une image de la partition système à chaud

#24 Le 02/07/2023, à 02:02

Re : Créer une image de la partition système à chaud

#25 Le 02/07/2023, à 04:37

Re : Créer une image de la partition système à chaud

Pied de page des forums