Conseil sur configuration NAS -- merci !

arcane17 · Le 26/10/2020, à 18:24

Profitant d'une offre spéciale, je viens d'acquérir deux NAS identiques (WD My Cloud EX4100 4 disques x 14 TO : 56 TO).

Voici l'architecture que j'envisage :

- Synchronisation du NAS A (utilisé) vers NAS B (backup).
Tout changement sur le NAS A est répercuté sur le NAS B par échange sur le réseau.
Une application de l'OS est prévue pour cela.

- Chaque serveur sera réglé en mode mono volume JBOD (les 4 disques de 14 to formeront un seul volume 56 to (en gros))

Avantage :
- Panne d'un serveur : le backup intégral est assuré d'un serveur sur l'autre, quelle que soit la panne d'un des deux serveurs (disque, carte mère, corruption, etc.)
- Panne de disques : le JBOD fait qu'en cas de défaillance de disques, et si besoin, je devrais au moins récupérer les fichiers présents sur les autres disques.

Question sur le mode JBOD :
- Est-ce que la table des partitions du volume unique JBOD ne figure que sur un disque -- et en ce cas QUID si c'est ce disque qui tombe en panne ? Ou est il prévu dans la norme du JBOD que la table de partition du volume soit répliquée sur deux disques (au moins) ?
- Est-il exact que lorsque le volume JBOD devient fragmenté, il peut répartir un même fichier sur plusieurs disques ? En ce cas, cela signifierait que l'on peut perdre plus de fichiers en volume que la taille du disque défaillant ? Pour éviter cela, est-il prévu que l'on puisse défragmenter un volume JBOD ?

Merci pour votre aide.

Vobul · Le 26/10/2020, à 18:43

arcane17 a écrit :

- Est-ce que la table des partitions du volume unique JBOD ne figure que sur un disque -- et en ce cas QUID si c'est ce disque qui tombe en panne ? Ou est il prévu dans la norme du JBOD que la table de partition du volume soit répliquée sur deux disques (au moins) ?

le premier disque est celui qui contient la table de partitions

source: https://www.recuperation-donnees-raid.com/jbod

arcane17 a écrit :

- Est-il exact que lorsque le volume JBOD devient fragmenté, il peut répartir un même fichier sur plusieurs disques ? En ce cas, cela signifierait que l'on peut perdre plus de fichiers en volume que la taille du disque défaillant ? Pour éviter cela, est-il prévu que l'on puisse défragmenter un volume JBOD ?

C'est sûrement avec des disques en NTFS ça je pense.

Bon maintenant que j'ai répondu à tes questions je vais te donner mon avis:

Utilise RAID5.

Ok t'as le deuxième NAS en backup, sauf que peut-être que la sync ne tourne plus depuis deux mois et que tu ne t'en es pas rendu compte, ou peut-être qu'elle tourne la nuit mais tu perds tes précieux fichiers créés ce jour, ou autre misère...

Mais surtout, avec 4 disques de 14 To, ça te fait un volume de 42 To avec un gain en lecture de 3X. Et si tu perds un disque, t'as juste à le remplacer et hop, 0 fichiers perdus !

Au final tu fais ce que tu veux, mais je trouve ça vraiment dommage d'utiliser du JBOD avec 4 beaux disques de 14 To dans un NAS qui est fait pour ça !!!! Surtout que c'est SUPER facile à mettre en place avec les OS des NAS.

Le JBOD c'est vraiment quand tu veux mélanger un disque de 600 Go, puis un de 1 To, puis un de 256 Go... etc... Et que tu t'en fous des données dessus.

arcane17 · Le 26/10/2020, à 20:14

@vobul. Merci beaucoup pour vos conseils.
A) Pour le raid 5 : en fait j'ai exclu le raid 5 pour... 5... raisons.
1) En cas de panne, la reconstruction d'un disque de 14 to sur les 4 prendra des semaines, des mois ?
2) Sur 56 to en 4x14to Les risques de défauts de parité sur un deuxième disque, au moment de la reconstruction, dus par exemple à une URE (unrecoverable read error) sont loin d'être négligeables -- et en ce cas la reconstruction échoue.
3) Le "stress de reconstruction" d'un disque dur de 14 to sur le système du NAS et sur les autres disque est énorme et peut provoquer une panne matérielle ou logique d'un autre disque ou du système - en ce cas la reconstruction échoue.
4) Lorsque la reconstruction échoue, c'est, en une seule fois, tous les fichiers du NAS qui sont perdues.
5) Le support des erreurs de reconstruction par les grandes marques, même SYNOLOGY, est égal à 0. S'il y a la moindre difficulté de reconstruction, ils refusent de s'en occuper - c'est même expressément prévu comme cas d'exclusion d'application de la garantie. Ces grandes marques renvoient aux laboratoires spécialisés (hors de prix).
Bref, ce que je n'aime pas dans le RAID, c'est qu'il fonctionne par parité, et non par cluster. Et dès lors que la reconstruction du RAID échoue à cause "d'un grain de sable", aucun fichier n'est récupérable, la catastrophe est totale.
B) Dans le cas du JBOD, les fichiers sont organisés par cluster. Si un, deux voir trois disques sont défaillants, les autres disques ne sont pas affectés et je récupère au moins les fichiers des disques sains. Voire même un certain nombre de fichiers des disques défaillants, si je peux encore y accéder au moins pour partie.
D) Et le fait d'avoir deux serveurs identiquement synchronisés est une sécurité considérable (sur les pannes de disques, mais encore de carte mère, sur les corruptions diverses) A supposer que les deux serveurs tombent en panne en même temps, grâce au JBOD j'ai les meilleurs chances de retrouver un grand nombre de fichiers
C) Toutefois ce que je dis là du JBOD, et d'ailleurs que l'on lit partout, reste théorique car :
- Désormais les fichiers sont encryptés : il faudra donc que je reproduise correctement l’encryption, sinon les fichiers contiendront un charabia inexploitable,
- La table de partition du volume JBOD doit être intact, sinon la récupération sera trop difficile. Vous m'indiquez que la table de partition du volume JBOD se trouve en tête du disque 1. Savez-vous s'il y a moyen de la répliquer sur l'un des autres disques ? Ou un disque dur externe ?
- Chez WD, la notice propose deux modes de réplication d'un serveur sur l'autre.
-- L'un s'appelle externe, et il peut synchroniser un serveur WD sur n'importe quel autre serveur WD.
-- L'autre s'appelle interne et s'applique entre deux serveurs WD identiques.
-- Or je me demande si le mode de réplication "interne" ne pratique pas le mirroring par disque, c'est à dire que si le disque 1 et 2 du serveur A et le disque 3 et 4 du serveur B tombent en panne au même moment, je peux reconstituer un serveur sain en utilisant le disque 1 et 2 du serveur B et 3 et 4 du serveur A.
-- Cela expliquerait qu'il y ait deux modes de réplication (externe vs interne) mais est-ce vraiment ce qu'il faut comprendre ? L'information est très succincte.
Je sais qu'il y a là beaucoup de questions, mais cela peut être très instructif pour d'autres, car la sauvegarde théorique des données par RAID, synchronisation, etc. est loin d'être aussi parfaite qu'on l'imagine. C'est l'une des raisons pour lesquels on lit partout que le RAID ne constitue jamais en soi une solution de backup. Mais quand on rentre dans l'analyse du sujet, on s'aperçoit que c'est plus grave que l'on ne se l'imaginait. D'ailleurs les illusions et déconvenues sont fréquentes et "tragiques"

Dernière modification par arcane17 (Le 26/10/2020, à 20:34)

Vobul · Le 26/10/2020, à 20:47

A)
1) Pas du tout, 1 jour ou 2 grand max ! (expérience personnelle). Ça dépend de la priorité que tu donnes à la reconstruction. Oui ça prend du temps mais pas des mois non plus ^^ !
2) Ah ça on est d'accord, c'est pour ça que le RAID6 existe Mais là ce serait overkill IMHO.
3) Là je ne te rejoins pas. Un disque dur c'est fait pour lire/écrire des données, donc lui demander de faire ce pourquoi il a été conçu ne me paraît pas fou. Après ça dépend aussi de la qualité du disque, si il est fait pour être dans un NAS etc... Et en quoi ce stress serait différent de juste recopier tes données depuis ta backup ?
4) Tiens j'ai trouvé ça : http://magj.github.io/raid-failure/ Les erreurs de reconstructions semblent être bien plus fréquentes que ce que je m'imaginais !! (note : j'ai déjà eu à reconstruire 4 ou 5 fois des arrays RAID5 ou 6 de plusieurs To sans soucis, mais avec des disques de qualité (HGST NAS Deskstar). C'est quoi les disques que tu veux mettre dedans ?
5) RAID IS NOT BACKUP

B) C'est un point de vue appréciable.

D) toutafé

C) Une table de partition, ça se backup super facilement, donc pas de soucis pour garder ça dans un coin (genre une clé usb même). C'est vrai que le chiffrement ajoute une difficulté !

arcane17 · Le 26/10/2020, à 23:36

Merci beaucoup Vobul.
Votre expérience est très intéressante parce que vous avez effectivement reconstruit des NAS, donc vous savez de quoi vous parlez. Lorsque l'on a ne l'a jamais fait, ce qui est mon cas, difficile de distinguer sur internet le vrai du fantasmé.
- Comme vous le dites, "NAS is not backup", et comme je dois en organiser un, d'un serveur sur l'autre, cela diminuera déjà mon stockage par 2, c'est pourquoi je ne suis pas chaud pour le raccourcir encore. Par contre je choisirai JBOD qui est plus robuste que RAID 0 pour les raisons précitées, même si moins performant.
- Les disques fournis sont des WD RED de 14 to qui, a priori, sont de bonne qualité pour un NAS de stockage (mais clairement, l'on restera dans des vitesses de transfert modérée). Et le serveur est vendu par la boutique Western Digital d'Amazon donc je peux espérer qu'il ne s'agisse pas d'une contrefaçon ou de disques récupérés de fin de vie serveurs à la Aliexpress...
- Sauriez-vous où je peux trouver une procédure de backup de la table de partition d'un volume JBOD ?
J'ai cherché sur Google, mais rien trouvé.
Merci encore pour votre aide. Bonne nuit.

Vobul · Le 27/10/2020, à 10:00

Oui les WD RED c'est un très bon choix pour un NAS.

Pour backup la table de partition :

man sfdisk

Y'a une partie "BACKING UP THE PARTITION TABLE".

sfdisk -d /dev/sda > sda-partition-table.dump

et pour restore :

sfdisk /dev/sda < sda-partition-table.dump

Et fais aussi une backup en binaire :

sfdisk --backup /dev/sda

Voir man page pour restore.

arcane17 · Le 27/10/2020, à 11:16

Merci vraiment beaucoup. Je vous tiendrai au courant.

rodrigue7973 · Le 27/10/2020, à 13:45

salut
enorme 4x 14To sont 56 to xD pourquoi faire ?

Vobul · Le 27/10/2020, à 15:43

rodrigue7973 a écrit :

salut
enorme 4x 14To sont 56 to xD pourquoi faire ?

4K pr0n of course!

arcane17 · Le 27/10/2020, à 16:08

Oui, j'ai tendance à accumuler beaucoup de bazar, et je n'ai pas trop le temps de trier...
Avec 56 TO, je serai tranquille un petit moment... en principe !

Vobul · Le 27/10/2020, à 18:47

Pour info je suis entrain de convertir mes fichiers vidéo en x265 et c'est dingue la place que je gagne (ça peut aller jusqu'à 75% de réduction sur certains fichiers !!!). Alors bien sûr il y a une toute petite perte de qualité, mais vraiment minime et sourtout pas visible, donc je trouve que ça vaut carrément le coup ! Et puis au final, j'ai pas vraiment besoin d'avoir du 12 Mbit/sec en débit vidéo... 3 Mbit/sec ça suffit largement. Et passer de 50 Go d'espace libre à 1 To c'est pas mal

rodrigue7973 · Le 28/10/2020, à 09:38

Vobul a écrit :

rodrigue7973 a écrit :
salut
enorme 4x 14To sont 56 to xD pourquoi faire ?
4K pr0n of course!

je te proute des pets
xD

arcane17 · Le 28/10/2020, à 13:00

Vobul a écrit :

Pour info je suis entrain de convertir mes fichiers vidéo en x265 et c'est dingue la place que je gagne (ça peut aller jusqu'à 75% de réduction sur certains fichiers !!!). Alors bien sûr il y a une toute petite perte de qualité, mais vraiment minime et sourtout pas visible, donc je trouve que ça vaut carrément le coup ! Et puis au final, j'ai pas vraiment besoin d'avoir du 12 Mbit/sec en débit vidéo... 3 Mbit/sec ça suffit largement. Et passer de 50 Go d'espace libre à 1 To c'est pas mal

Oui, pour les films, c'est admissible. De toute façon la norme actuelle des blu-ray et autres fichiers, y compris en 4K n'est pas formidable, puisqu'à ma connaissance elle n'intègre pas l'étalonnage colorimétrique - contrairement à ce qui est prévu dans la norme de diffusion professionnelle. De ce fait, les couleurs reproduites sur les écrans de nos home cinéma sont vraiment fantaisistes, et je suis d'ailleurs souvent surpris à quel point un film de qualité vu en salle devient décevant sur les écrans et projecteurs domestiques, même très haut de gamme. Souvent ces images semblent d'abord flatteuses, du fait du traitement par l'informatique embarquée dans nos appareils mais, en réalité, elle sont assez laides, quand on les compare à la véritable image originelle du film au cinéma. Alors la perte de qualité par compression à perte de type x265 ne devient que marginale.

Cela dit, avec le temps, les coûts de stockage s'effondrent, et ce qui a vraiment de la valeur, c'est la donnée que l'on a su accumuler, qui prend du temps, des efforts et qu'il est parfois difficile, voire impossible de se fournir à nouveau. De ce fait j'ai assez le culte de la préservation du plus haut degré de qualité de fichier, quitte à utiliser des astuces pour limiter la dépense hardware.

Enfin, c'est encore plus vrai pour les normes de fichiers qui compressent sans perte, comme en photographie (RAW ou PNG plutôt que JPG), ou pour le son (FLAC, APE plutôt que MP3 -- et je conserve même du WAV !:)).
Dans ces deux cas, photo et, et pour le son, si l'on a une belle installation hifi, il me semble impératif de préférer le "lossless" (sans perte) au "lossy" (avec perte).

Vobul · Le 28/10/2020, à 13:25

Oui moi aussi j'ai du FLAC autant que possible pour ma musique

arcane17 · Le 28/10/2020, à 21:08

Qu'écoutez-vous ?
(J'ai reçu les deux serveurs, suis en train de formater le premier. Ca fait marrant d'avoir un volume de 55 to et de savoir qu'avec le deuxième ça fera 110 + mes anciens serveurs ... en tout 190 to... là je vais enfin pouvoir faire de l'incrémental...:))

arcane17 · Le 28/10/2020, à 21:18

Autre besoin de conseil. Quel est le meilleur moyen de recopier l'ancien serveur sur le nouveau ? Quelle est la meilleure manière de les connecter ? (31 TO à recopier sur le serveur de 55 to). Merci !

Dernière modification par arcane17 (Le 28/10/2020, à 21:19)

Vobul · Le 28/10/2020, à 21:37

arcane17 a écrit :

Quel est le meilleur moyen de recopier l'ancien serveur sur le nouveau ? Quelle est la meilleure manière de les connecter ?

Connection réseau puis rsync.

alex2423 · Le 28/10/2020, à 21:57

arcane17 a écrit :

Qu'écoutez-vous ?
(J'ai reçu les deux serveurs, suis en train de formater le premier. Ca fait marrant d'avoir un volume de 55 to et de savoir qu'avec le deuxième ça fera 110 + mes anciens serveurs ... en tout 190 to... là je vais enfin pouvoir faire de l'incrémental...:))

Cela commence à faire pas mal en effet. C'est peu habituel quand tu fais la commande "df -h" ou quand tu vois ces chiffres sur Nautilus (ou autre gestionnaire de fichiers)

arcane17 · Le 29/10/2020, à 08:50

alex2423 a écrit :

arcane17 a écrit :
Qu'écoutez-vous ?
(J'ai reçu les deux serveurs, suis en train de formater le premier. Ca fait marrant d'avoir un volume de 55 to et de savoir qu'avec le deuxième ça fera 110 + mes anciens serveurs ... en tout 190 to... là je vais enfin pouvoir faire de l'incrémental...:))
Cela commence à faire pas mal en effet. C'est peu habituel quand tu fais la commande "df -h" ou quand tu vois ces chiffres sur Nautilus (ou autre gestionnaire de fichiers)

C'est vrai. D'un autre côté, je me souviens des premiers disques externes Lacie de 1 TO (2x500 go) qui nous avaient étonnés, à quasiment 1.000 euro... (5500 francs à l'époque, ce devait être dernier tiers des années 90).
Dans quelques décennies 55 to, ce sera l'offre gratuite dans le cloud.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 26/10/2020, à 18:24

Conseil sur configuration NAS -- merci !

#2 Le 26/10/2020, à 18:43

Re : Conseil sur configuration NAS -- merci !

#3 Le 26/10/2020, à 20:14

Re : Conseil sur configuration NAS -- merci !

#4 Le 26/10/2020, à 20:47

Re : Conseil sur configuration NAS -- merci !

#5 Le 26/10/2020, à 23:36

Re : Conseil sur configuration NAS -- merci !

#6 Le 27/10/2020, à 10:00

Re : Conseil sur configuration NAS -- merci !

#7 Le 27/10/2020, à 11:16

Re : Conseil sur configuration NAS -- merci !

#8 Le 27/10/2020, à 13:45

Re : Conseil sur configuration NAS -- merci !

#9 Le 27/10/2020, à 15:43

Re : Conseil sur configuration NAS -- merci !

#10 Le 27/10/2020, à 16:08

Re : Conseil sur configuration NAS -- merci !

#11 Le 27/10/2020, à 18:47

Re : Conseil sur configuration NAS -- merci !

#12 Le 28/10/2020, à 09:38

Re : Conseil sur configuration NAS -- merci !

#13 Le 28/10/2020, à 13:00

Re : Conseil sur configuration NAS -- merci !

#14 Le 28/10/2020, à 13:25

Re : Conseil sur configuration NAS -- merci !

#15 Le 28/10/2020, à 21:08

Re : Conseil sur configuration NAS -- merci !

#16 Le 28/10/2020, à 21:18

Re : Conseil sur configuration NAS -- merci !

#17 Le 28/10/2020, à 21:37

Re : Conseil sur configuration NAS -- merci !

#18 Le 28/10/2020, à 21:57

Re : Conseil sur configuration NAS -- merci !

#19 Le 29/10/2020, à 08:50

Re : Conseil sur configuration NAS -- merci !

Pied de page des forums