Ubuntu-fr

tga44

JBOD récupération de données quand un des disques est mort

Bonjour à tous,

Désolé pour le déterrage de ce sujet pas tout jeune, mais ma question est assez proche du sujet déjà débattu ici, aussi je me suis dit que je tomberais directement sur les personnes compétentes .

Je précise en premier lieu que je suis tout à fait néophyte en Linux, systèmes de fichiers, volumes et compagnie, aussi soyez indulgent vis à vis des questions sûrement stupides que je vais poser .

Je vous expose ci-après mon questionnement et le contexte de mes essais.

Je suis en train de dématérialiser une partie de mes DVD, et plus encore mes HD-DVD (dont certains sont déjà illisibles du fait du HD-DVD rot ). Je dispose d'un NAS QNAP 4 baies, avec dispo 3 disques de 2 To chacun (le dernier devant être remplacé sous peu par un disque 4 To). Comme les MKV résultant du RIP des HD-DVD sont plutôt volumineux, j'envisageais de configurer mes 3 disques en un gros JBOD de 8 To. Je sais bien que le JBOD n'apporte aucune sécurité en cas de défaillance d'un disque, mais ici il ne s'agit que de RIP de disques que je possède encore. Quand bien même je perdrais tout, ce ne serait pas méchant, au pire quelques heures de boulot à ripper à nouveau les DVD et HD-DVD .

Après différentes lectures, j'ai compris que dans le cas du JBOD, les fichiers sont écrits d'abord sur le 1er disque, puis une fois celui-ci plein, on passe au second disque, et ainsi de suite. On lit parfois que ce principe permet de récupérer une partie des données quand celles-ci se trouvent sur les disques encore sains d'un JBOD dont l'un des disques est mort.

Avant de me décider à mettre mes fichiers MKV sur le NAS, j'ai voulu vérifier cette assertion.

J'ai donc créé un JBOD de 6 To (3 x 2 To), j'ai copié deux fichiers totalisant environ 40 Go, puis j'ai débranché le 3ème disque du JBOD pour simuler une défaillance. En théorie, mes fichiers seraient sur le 1er disque sain.

Vu depuis l'interface QNAP, le "Pool de stockage" comme ils l'appellent est vu comme défaillant, et on n'accède plus à aucune des données. Tout cela est parfaitement normal j'imagine.

Je voulais alors savoir si il était malgré tout possible de récupérer les données se trouvant sur le 1er disque. J'ai sorti ce disque du NAS et l'ai installé dans mon PC tournant sous Ubuntu 22.04.3 LTS. Contrairement au sujet initial de ce post, il ne s'agit pas exactement de réduire la taille du système de fichiers pour en prélever un disque, mais de récupérer une partie des fichiers après défaillance d'un disque.

Après la lecture de différents forums, j'atterris parmi vous pour vous soumettre la question . J'ai tenté plusieurs commandes sans succès, sans aller jusqu'à la "version ultra violente" décrite plus haut par @Hoper .

Voici ce que donne la commande "fdisk -l" pour le disque qui nous intéresse :

Disque /dev/sdb : 1,82 TiB, 2000398934016 octets, 3907029168 secteurs
Disk model: ST2000DM006-2DM1
Unités : secteur de 1 × 512 = 512 octets
Taille de secteur (logique / physique) : 512 octets / 4096 octets
taille d'E/S (minimale / optimale) : 4096 octets / 4096 octets
Type d'étiquette de disque : gpt
Identifiant de disque : 225FEF7E-0FA8-496D-9E90-03C98589FA29

Périphérique      Début        Fin   Secteurs Taille Type
/dev/sdb1            40    1060289    1060250 517,7M Données de base Microsoft
/dev/sdb2       1060296    2120579    1060284 517,7M Données de base Microsoft
/dev/sdb3       3145728 3890266111 3887120384   1,8T Données de base Microsoft
/dev/sdb4    3890266120 3891344624    1078505 526,6M Données de base Microsoft
/dev/sdb5    3891344632 3907007999   15663368   7,5G Données de base Microsoft

J'imagine que la partition contenant les fichiers est /dev/sdb3. L'utilitaire Ubuntu "Disque" me dit quant à lui que les autres /dev/sdb1 à 5 sont des "Linux RAID member".

J'ai créé un répertoire devant servir de point de montage : /media/testjbod, mais je bloque avant de pouvoir monter quoique ce soit.

J'ai tenté différentes commandes mdadm, mais il me répond "device is busy". Il me précise aussi qu'il est plutôt inhabituel de chercher à faire un JBOD avec un seul disque, et m'invite à forcer la chose avec un --force :

thierry@linuxthierry:~$ sudo mdadm --build --level=linear --raid-devices=1 /dev/md0 /dev/sdb3 
mdadm: '1' is an unusual number of drives for an array, so it is probably
     a mistake.  If you really mean it you will need to specify --force before
     setting the number of drives.
thierry@linuxthierry:~$ sudo mdadm --build --level=linear --force --raid-devices=1 /dev/md0 /dev/sdb3 
mdadm: Cannot open /dev/sdb3: Device or resource busy

J'ai tenté un "lsof /dev/sdb3" pour voir ce qui pourrait être associé à la partition la rendant "busy", mais sans succès :

thierry@linuxthierry:~$ sudo lsof /dev/sdb3
lsof: WARNING: can't stat() fuse.gvfsd-fuse file system /run/user/1000/gvfs
      Output information may be incomplete.
lsof: WARNING: can't stat() fuse.portal file system /run/user/1000/doc
      Output information may be incomplete.

Encore une fois, tout cela n'est tenté qu'à des fins de culture personnelle : je n'ai aucune donnée à véritablement récupérer, et me demande juste si cela serait possible le jour où un disque du JBOD lâcherait .

Merci par avance pour l'aide et les conseils que vous pourriez m'apporter si il existe une méthode pour monter ce disque , ou expliquer que c'est juste impossible   !

A+

Modération : ne squattez pas les discussions existantes. En outre Tiramiseb a quitté le forum.

: Afin d'éviter la confusion; merci de ne pas squatter la discussion d'un autre membre : deux problèmes d'apparence similaire peuvent avoir des causes différentes et nécessiter des solutions différentes.

Dernière modification par tga44 (Le 01/11/2023, à 23:33)

bruno

Re : JBOD récupération de données quand un des disques est mort

Bonjour,

Je suis en train de dématérialiser une partie de mes DVD, et plus encore mes HD-DVD (dont certains sont déjà illisibles du fait du HD-DVD rot sad).

Tu ne dématérialises rien du tout.
Tu fait une copie (dégradée) sur un autre support matériel. Au final tu utilises davantage de matériel et d'énergie, surtout si les NAS tourne H/24. Dommage pour les supports abîmés mais c'est quand même rare. Au pire si on y tient vraiment ; on rachète.

Comme les MKV résultant du RIP des HD-DVD sont plutôt volumineux, j'envisageais de configurer mes 3 disques en un gros JBOD de 8 To. Je sais bien que le JBOD n'apporte aucune sécurité en cas de défaillance d'un disque,

Comme expliqué dans le fil que tu avais squatté JBOD (Just a Bunch Of Disks) désigne un agrégat de disques sans préciser la technologie qui a été utilisée pour le créer. Sous Linux on peut faire ce type d’agrégat avec LVM, BTRFS, ZFS, MDADM, etc. Suivant le système utilisé la gestion de l’agrégat sera sûrement différente.
Il y a cependant un point incontournable ; si un disque est retiré toutes les données deviennent inaccessibles.

J'ai donc créé un JBOD de 6 To (3 x 2 To),

Il fallait donc nous dire comment et avec quels outils.

Je voulais alors savoir si il était malgré tout possible de récupérer les données se trouvant sur le 1er disque. J'ai sorti ce disque du NAS et l'ai installé dans mon PC tournant sous Ubuntu 22.04.3 LTS.

Il y a peut-être moyen de récupérer des données avec des outils spécialisés comme testdisk et photorec mais sûrement pas comme tu le tentes. Ce sont des procédures longues et coûteuses en espace disque qui n'en vaudront sans doute pas la peine.

Il faut bien comprendre que lorsque tu fais un aggregat de type RAID0 ou LINEAR, le système de fichiers (ext4 par exemple) est créé au-dessus de ton agrégat (/dev/md0 par exemple avec mdadm). Un disque isolé n'a pas de système de fichiers ou un système sous-jacent (linux_raid par exemple avec mdadm) qui ne peut pas être monté et ne permet pas d’accéder aux données.

Si tu veux faire simple et efficace, laisse donc  tes trois disques durs indépendants l'un de l'autre avec des points de montage différents : /media/video1, /media/video2, /media/video3 par exemple. Si l'un tombe en panne tu ne perdras que ses données.

tga44

Re : JBOD récupération de données quand un des disques est mort

Bonjour,

Merci Bruno d'avoir répondu si rapidement à ma question.

Je suis en train de dématérialiser une partie de mes DVD, et plus encore mes HD-DVD (dont certains sont déjà illisibles du fait du HD-DVD rot sad).

Tu ne dématérialises rien du tout.
Tu fait une copie (dégradée) sur un autre support matériel.

Pour ce qu'il est du côté "matériel" vs "dématérialisé", ce peut être une façon de voir la chose . À la base mon RIP n'est aucunement dégradé puisque je pars d'une image ISO , et selon comment tu réalises ton MKV, il n'y a pas lieu qu'il soit de qualité inférieure : je ne cherche pas à réduire la taille du fichier, juste l'encapsuler pour le rendre compatible avec les platines/lecteurs d'aujourd'hui (car il n'en existe aucun qui sache lire une ISO de HD-DVD ). Un MKV peut conserver le flux vidéo d'origine sans le recompresser : la copie n'est donc pas dégradée.

Au final tu utilises davantage de matériel et d'énergie, surtout si les NAS tourne H/24.

Pour ce qui est de l'énergie, ce n'est pas vraiment le genre de la maison (passive - 125 € de chauffage par an ) ! En l'occurrence le NAS n'est allumé que lorsqu'il est utilisé : la 1ère baie est en SSD, et je n'enclenche les autres baies que lorsque c'est nécessaire, donc ici pour regarder un film.

Dommage pour les supports abîmés mais c'est quand même rare. Au pire si on y tient vraiment ; on rachète.

Je vois que tu n'as jamais eu - ou que tu n'as plus - de HD-DVD ! Car dans mon cas tout est partie de là : ma 1ère platine de salon qui ne veut plus démarrer, puis le drive de ma seconde platine HD-DVD qui n'est n'est plus capable de lire que les CD . Toutes les deux de la même marque : merci Toshiba pour la grande fiabilité de vos produits (près de 1000 € à la poubelle, sans possibilité de réparation ) ! C'est ce qui m'a poussé à transformer mes disques HD-DVD en fichiers.

Et c'est en rippant mes disques que je me suis rendu compte que nombre d'entre eux étaient à présent illisibles . Sur une bonne soixantaine de HD-DVD en ma possession plus de la moitié sont impactés ! Quand il s'agit d'un pressage de chez Warner, le taux de disques illisibles bondit à 80%. Tu comprendras que le "c'est quand même rare" ne correspond pas vraiment à ma réalité . J'ai parfois acheté un film en Laserdisc, puis racheté en DVD, puis encore racheté en HD-DVD. Et sous prétexte que l'éditeur prend ses clients pour de bonnes grosses vaches à lait que rien n'arrête, qu'il a l'indélicatesse de ne proposer aucune procédure de remplacement de ses disques "rot", il me suffirait de le racheter une fois encore ? D'un côté tu te soucies de l'énergie qui serait dépenser, mais racheter encore et encore des galettes déjà acquises ne te dérange pas ? Excuse-moi mais cette fois je ne suis pas d'accord avec toi.

Excuse-moi si je m'emporte un peu, d'autant que ce n'est pas le sujet .

Il y a cependant un point incontournable ; si un disque est retiré toutes les données deviennent inaccessibles.

OK, merci pour la confirmation.

J'ai donc créé un JBOD de 6 To (3 x 2 To),

Il fallait donc nous dire comment et avec quels outils.

Créé avec les outils standard de l'interface graphique de QNAP : "Stockage et snapshots", ce qui ne nous en apprendra pas beaucoup plus. Je serais bien incapable de détailler les outils que QNAP déploie.

Je voulais alors savoir si il était malgré tout possible de récupérer les données se trouvant sur le 1er disque. J'ai sorti ce disque du NAS et l'ai installé dans mon PC tournant sous Ubuntu 22.04.3 LTS.

Il y a peut-être moyen de récupérer des données avec des outils spécialisés comme testdisk et photorec mais sûrement pas comme tu le tentes. Ce sont des procédures longues et coûteuses en espace disque qui n'en vaudront sans doute pas la peine.

OK, c'est noté. J'avais effectivement lu des choses sur ces 2 outils de cgsecurity.org.

Il faut bien comprendre que lorsque tu fais un agrégat de type RAID0 ou LINEAR, le système de fichiers (ext4 par exemple) est créé au-dessus de ton agrégat (/dev/md0 par exemple avec mdadm). Un disque isolé n'a pas de système de fichiers ou un système sous-jacent (linux_raid par exemple avec mdadm) qui ne peut pas être monté et ne permet pas d’accéder aux données.

En effet, les NAS QNAP utiliseraient un système de fichier en ext4. OK, merci pour ces explications : comme je le disais en introduction, je ne connais rien à ces domaines.

Si tu veux faire simple et efficace, laisse donc  tes trois disques durs indépendants l'un de l'autre avec des points de montage différents : /media/video1, /media/video2, /media/video3 par exemple. Si l'un tombe en panne tu ne perdras que ses données.

Mais oui, tu as raison ! Ce sera bien plus simple, plus souple pour remplacer si besoin un des disques par un plus gros, et la place perdue sera minime.

Merci pour toutes ces explications et tes conseils avisés : je sais à présent comment je vais organiser les différents disques du NAS, et enterrer bien profond toute configuration à base de JBOD .

A+

Dernière modification par tga44 (Le 01/11/2023, à 22:03)

geole

Re : JBOD récupération de données quand un des disques est mort

Bonsoir.
Pour de la sécurité  fiabilité , fais du raids1 avec les deux disques.
Pour de l'espace disque maxima, n'utilise pas jbod sauf si tu en as un double ailleurs.
Il me semble préférable de subir la contrainte de devoir séparer et équilibrer dans deux disques.

Dernière modification par geole (Le 02/11/2023, à 10:06)

---

Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

bruno

Re : JBOD récupération de données quand un des disques est mort

.
Pour de la sécurité, fais du raids1 avec les deux disques.

Le RAID 1 n’apporte aucune sécurité, c'est de la haute disponibilité et c'est inutile pour un usage domestique.

Pas plus que de la fiabilité. La seule et unique utilité du RAID 1 (ou plus) et d’assurer la continuité du service en cas de panne de l'un des disques. Autrement dit de diminuer la probabilité d'une interruption involontaire du service. Ce n'est utile que sur des serveurs avec des services professionnels sensibles. Chez les particuliers c'est simplement du gaspillage de ressources inutile poussé par les marchands de NAS et de disques.

Dernière modification par bruno (Le 02/11/2023, à 15:19)