<![CDATA[Forum Ubuntu-fr.org / resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?id=1243781 16To quel choix?.]]> Fri, 03 May 2013 07:59:00 +0000 FluxBB <![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13423541#p13423541 je regarde ca de chez moi, ca passe pas les proxy ici wink (@BNPLand)

]]>
Fri, 03 May 2013 07:59:00 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13423541#p13423541
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13423061#p13423061 Je connaissais les différentes techno mais merci smile En fait, c'était plutôt des conseils sur les bon rapports qualité prix et ceux qui avaient des batteries de rechanges "abordables" que je cherchai, mais toi tu triche tongue

Bon, oublions ça, revenons en au sujet. Pour info, j'ai écrit un petit truc sur btrfs ici : http://hoper.dnsalias.net/tdc/index.php … 4/24/btrfs

N’hésite pas à m'indiquer si tu pense que je me goure sur certains points.

A plus.

]]>
Fri, 03 May 2013 06:32:23 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13423061#p13423061
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13415661#p13415661 re bonjour!

désolé pour le retard, entre les sorties photos, les apérots, et un peu de geekeries (neverwinter...), j'ai été un peu à l'ouest ces derniers jours^^

Alors concernant les onduleurs, Je n'en ai jamais acheter, ils sont tous de récupération (de la bonne époque ou ca jetais sans se poser de questions... "patron, on en fait quoi des 12 onduleurs qui ont étés changés? bah tu les bennes... ok.... wink )
sinon, la seuls différence (à mon avis) est de savoir si tu veux un onduleur offline ou online. la différence est sur le fait que pour l'un, le courrant est toujours ondulé (online), pour l'autre, il ne l'est qu'en cas de coupure ou surtension (offline).
Tu me diras: mais c'est quoi la différence au final? bah deux trucs:
1 - un courrant "ondulé" est toujours propre. ddp constante, fréquence constante.
2 - en cas de surtension/sous-tension/coupure, il y a un très léger laps de temps ou l'onduleur doit couper l'arrivée pour prendre le relais. ce court laps de temps est pour moi le point faible de l'onduleur (risque de laisser passer la surtension...).

bon j'ai oublier le line-interactive (que je connaissais pas). tu peux en apprendre plus sur le sujet chez aps par exemple.

pour les batteries, j'avais un plan (un ami qui bossais dans le changement de batteries de pabx... wink ), hélas aujourd'hui, après avoir laisser passer l'occasion de swapper mes batteries H.S avec un retour complet de notre parc de batteries d'onduleurs de la salle serveur, bah je crois que je vais devoir m'en racheter une comme monsieur tout-le-monde...

Tout ca je le résume par:

1 - Prend un onduleur online (ou inline...)
2 - Assure-toi de pouvoir communiquer avec lui: en dessous d'une certaine charge restante, ton serveur doit enclencher le shutdown. voir au moins démonter ton raid et le stopper sous mdadm (si tu veux sauvegarder que les données, peut importe si le system crash... wink )

Voilà!

Cordialement,

zapan999

]]>
Thu, 02 May 2013 16:01:19 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13415661#p13415661
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13366941#p13366941

Nan mais tout le monde crois que je déconne, mais je vous assure, entre les innondations, le lave vaisselle rempli au paic citron (donc soirée mousse en vue), les multiprises fondues collée derrière le four, et j'en passe (car la c'est du hors-sujet total...), je vous assure qu'il faut avoir une bonne alim (enfin là c'est la 3eme pour le serveur) et un FS "bullet-proof" wink

Même mes deux onduleurs y ont laisser leur vie (APC 1400 et 1000)!

Impressionnant en effet smile

Meme si on est plus tout à fait dans le sujet btrfs, on reste dans le domaine de la protection des données... Tu as des conseils en matière d'onduleur ? Les coupures chez moi sont assez rares, mais quand ça arrive, c'est toujours un peu pénible (en général, même si les opérations sont scriptés, il me faut bien une demi-heure pour remonter mes serveurs (passphrase de déchiffrement etc). Sans parler des cas ou ça remonte pas tout seul et ou il faut remettre grub en place etc. Donc l'onduleur, meme si c'est cher, c'est quand même appréciable. Le soucis, c'est la durée de vie des batteries... Ou alors ils faut pouvoir les changer sans que ça coute le prix de l'onduleur.

Bref, tous avis sur le sujet sera le bienvenu smile

]]>
Mon, 29 Apr 2013 07:58:50 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13366941#p13366941
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13355011#p13355011 bon voici les stats actuelles:

10,7To, 743374 fichiers, 52060 Dossiers

le balance:

sudo time btrfs fi balance start -m /mnt/raid0
Done, had to relocate 1879 out of 4788 chunks
0.00user 3761.18system 15:36:01elapsed 6%CPU (0avgtext+0avgdata 408maxresident)k
3472292808inputs+4493439488outputs (8major+285minor)pagefaults 0swaps

le df:

btrfs fi df /mnt/raid0/
Data: total=10.93TB, used=10.69TB
System: total=32.00MB, used=668.00KB
Metadata: total=222.00GB, used=10.04GB

10.4GB occupés de metadata, ca passe mieux déjà wink


Cordialement,
zapan999

]]>
Sun, 28 Apr 2013 11:33:56 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13355011#p13355011
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13351271#p13351271 Nan mais tout le monde crois que je déconne, mais je vous assure, entre les innondations, le lave vaisselle rempli au paic citron (donc soirée mousse en vue), les multiprises fondues collée derrière le four, et j'en passe (car la c'est du hors-sujet total...), je vous assure qu'il faut avoir une bonne alim (enfin là c'est la 3eme pour le serveur) et un FS "bullet-proof" wink

Même mes deux onduleurs y ont laisser leur vie (APC 1400 et 1000)!


Sinon, pour en revenir (mode chevalier blanc sur son destrier qui viens défendre sa princesse) a l'espace occupé par les métadata, hier soir, après avoir fait sauter encore quelques centaines de milliers de fichiers, j'ai lancer un autre balancing, mais cette fois-ci sans filtre sur le %:

sudo time btrfs fi balance start -m /mnt/raid0

et là, ce n'est pas encore finit:

btrfs fi balance status /mnt/raid0
Balance on '/mnt/raid0' is running
1442 out of about 1879 chunks balanced (4158 considered),  23% left

mais voici les résultats:

btrfs fi df /mnt/raid0/
Data: total=10.53TB, used=10.28TB
System: total=32.00MB, used=656.00KB
Metadata: total=659.00GB, used=430.25GB

430Gb pour les méta, on a diminuer de pus d'1Tb, et on a fait 3/4 du balacing. On verra bien dans quelques heures.


Donc en gros, il vaut peut-être mieux faire direct un balancing sans filtrage "usage" (mais toujours metadata) au premier round, et ensuite si ont vois que les meta grossissent trop, des petit filtrages à 80-95%. (je ne sais pas si le balancing sera nécessaire par la suite, l'ont-ils correctement intégrer depuis?....)

cordialement,

zapan999

]]>
Sun, 28 Apr 2013 06:32:01 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13351271#p13351271
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13348351#p13348351

j'i une femme qui fait souvent disjoncter, sans parler des autres catastrophes...

mort de rire .. big_smile big_smile
c'est samdi soir c'est sûr ! hihi ...

]]>
Sat, 27 Apr 2013 19:20:16 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13348351#p13348351
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13347161#p13347161 Bah je dirais que vu le nombre de choix restreint que j'avais, il était quand même salvateur wink

et la on parles d'un btrfs par conversion, apparemment les personnes n'ont pas forcément ce problème de metadata volumineux.


Enfin, on verras si le FS tient bien le coup (j'i une femme qui fait souvent disjoncter, sans parler des autres catastrophes...) donc on verra si vous me relisez chouinant sur mes data wink



Cordialement,

zapan999

]]>
Sat, 27 Apr 2013 17:42:48 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13347161#p13347161
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13346781#p13346781 Ah oui, la défragmentation.... J'avais oublié cet aspect la, pourtant j'ai lu plein de choses sur le sujet... btrfs semble quand meme fragmenter beaucoup... J'ai lu qu'ils avaient amélioré les performances en mettant en place une défragmentation automatique en arrière plan mais bon...

Très incomplet par rapport au trio mdadm/lvm/fs, fragile (dans la mesure ou je met en doute la véritable isolation des sous volumes), très gourmand en volumétrie, pas franchement user friendly (qui ne sait pas vraiment combien il reste de place et qui doit jongler avec la defrag),
Plus j'en apprend, et moins il me fait envi ce FS hmm
Il y a de très bonne choses (le snapshot au niveau fichier) mais ça ne suffit pas pour en faire son FS par défaut avant... pfff... Des années smile

]]>
Sat, 27 Apr 2013 17:10:45 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13346781#p13346781
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13339681#p13339681 en fait, ça force le déplacement des blocs de data ou meta => je déplace 5 blocs pleins à 1/5eme pour créer 1 bloc plein (version très simplifiée du process, je te l'accorde wink

dans la version 1 disque (imagé, hein^^) l'utilisation s'apparente plus à une sorte de défrag mais avec des options de filtrages disons.

]]>
Sat, 27 Apr 2013 08:48:04 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13339681#p13339681
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13339611#p13339611 Merci beaucoup pour toutes ces explications.

Il y a encore une chose qui m'échappe...
Pour moi, la notion de "balancing" btrfs était l'idée de répartition des données (m et d) sur l'ensemble des disques (ou devices) utilisé dans le "pool" btrfs. Or, dans ton cas, tu ne lui indiqué qu'un seul disque, md0.

Donc, je ne comprend pas ce qu'il fait si tu lance un balance. Un balance sur un seul disque, ça fait quoi ?

]]>
Sat, 27 Apr 2013 08:43:02 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13339611#p13339611
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13335581#p13335581 raid5 pour le mdadm en fait Hoper:

mdadm --detail /dev/md0
mdadm: only give one device per ARRAY line: /dev/md0 and /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Fri Dec 21 00:44:01 2012
     Raid Level : raid5
     Array Size : 17581562880 (16767.09 GiB 18003.52 GB)
  Used Dev Size : 2930260480 (2794.51 GiB 3000.59 GB)
   Raid Devices : 7
  Total Devices : 8
    Persistence : Superblock is persistent

    Update Time : Fri Apr 26 20:47:27 2013
          State : clean
 Active Devices : 7
Working Devices : 8
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

           Name : Ubuntu-Server:2
           UUID : 1d2fda08:d5e718c9:d920c751:bd588a1c
         Events : 24235

    Number   Major   Minor   RaidDevice State
       0       8       49        0      active sync   /dev/sdd1
       5       8       65        1      active sync   /dev/sde1
       2       8       81        2      active sync   /dev/sdf1
       3       8       33        3      active sync   /dev/sdc1
       4       8      145        4      active sync   /dev/sdj1
       7       8      129        5      active sync   /dev/sdi1
       8       8       97        6      active sync   /dev/sdg1

       6       8      113        -      spare   /dev/sdh1

Le volume fait en fait 16To, mais l'allocation data/meta des blocs semble être dynamique (en gros, je vois bien la taille reservé et utilisé des datas augmenter quand je rajoute des données. un info sur combien d'espace disponible restant aurait été sympathique...

Il semblerais que (auparavant??) btrfs fait par défaut 2 copies des metadata, mais dans les exemples rencontrés sur le net, j'aurais dut avoir marqué "DUP" (pour duplicated) en face de "Metadata"... donc il se pourrais qu'au vu de l'espace pris/disponible lors de la conversion, btrfs ait opté pour une seul copie des metadata.


Quand à l'espace occupé, il ne faut pas oublier que btrfs se veux plus sécurisé que ext4 (checksum, ...)
Donc 1.69Tb me semblent encore gros, mais je n'ai pas encore fait un balancing de l’intégrité des bloc de metadata. vu la différence de gain d'espace entre 90% et 95% de balancing, je pense que je risque encore de gagner gros si je le lançais.



Pour resituer un peu les choses, voici les infos sur ce volume:
1 108 590 Fichiers
     86 235 Dossiers

11.3To de données

J'ai encore de solutions à trouver pour diminuer le nombre de fichiers/répertoires....

]]>
Fri, 26 Apr 2013 19:00:53 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13335581#p13335581
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13335241#p13335241 Mais heu... 2 To de meta data sur un volume de 10 To,  c'est normal ça !?
Et encore, puisque tu l'utilise au dessu d'un raid mdmadm (c'est vraiment du raid0 !!?)... Tu as combien de copie des meta data sur le disque ?

]]>
Fri, 26 Apr 2013 18:38:25 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13335241#p13335241
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13334951#p13334951 Bon, déjà premières leçons apprises:

si comme moi vous avez ça:

btrfs filesystem df /mnt/raid0
Data: total=9.10TB, used=7.86TB
System: total=32.00MB, used=700.00KB
Metadata: total=4.55TB, used=3.92TB

sur un volume comme ca:

btrfs fi show
Label: none  uuid: f4f04e16-ce38-4a57-8434-67562a0790bd
        Total devices 1 FS bytes used 11.31TB
        devid    1 size 16.37TB used 11.58TB path /dev/md0

Btrfs Btrfs v0.19

C'est à dire 4.55Tb de réservés (dont 3.92 utilisés) pour les metadata (en gros, y'a de quoi s'en peindre une en bleu, ou se la mordre...), utilisez le balancing des metadata!:

btrfs fi balance start -musage=10 /mnt/raid0
Done, had to relocate 17 out of 5679 chunks
btrfs fi balance start -musage=50 /mnt/raid0
Done, had to relocate 49 out of 5662 chunks
btrfs fi balance start -musage=80 /mnt/raid0
Done, had to relocate 256 out of 5613 chunks
btrfs fi balance start -musage=80 /mnt/raid0
Done, had to relocate 34 out of 5364 chunks
btrfs fi balance start -musage=90 /mnt/raid0
Done, had to relocate 870 out of 5338 chunks
btrfs fi balance start -musage=95 /mnt/raid0
Done, had to relocate 1059 out of 4897 chunks

vous arriverez à ça: (bon en groupant aussi quelques 700.000 fichiers en une 50aines d'archives non compressés, parce que ça fait beaucoup de metadata pour rien aussi...)

btrfs fi df /mnt/raid0/
Data: total=9.65TB, used=9.62TB
System: total=32.00MB, used=744.00KB
Metadata: total=1.94TB, used=1.69TB

1.94Tb, soit 2.5Tb de gagnés (grosso modo plus de 1.5~2Tb juste avec le balancing, le reste avec la diminution du nombre de répertoires)
Chose étrange, les derniers balance exécutés ont fait baisser les métadata, mais monter le volume de données... J'ai repenser au fait que j'avais lu que depuis quelques versions, les blocs pouvaient êtres mixtes (meta+data), ceci explique cela...


Voyons plus en détail la commande:

btrfs fi balance start -musage=90 /mnt/raid0

btrfs fi balance: on lance un balancing, qui équivaut à redispatcher (réécrire) les blocs. Dans notre cas (partition btrfs normal, car raid sous mdadm), elle sert surtout à faire un pseudo défrag et optimiser le remplissage des blocs)
(fi est équivalent a filesystem)
start: pour indiquer qu'on lance un blancing. on peux aussi "Pause", "Resume", "Cancel", mais surtout "Show"(voir plus loin pour cette derniere):
-m (filtre de type de blocs: -m pour metadata seulement. ou -d pour data, -s pour system)
usage=xx (collé au filtre précédent) on ne traite que les blocs remplis à moins de xx%



Les balancing de metadata peuvent êtres plus ou moins longs (20 minutes pour une valeur de 5%, jusque 6 heures pour le dernier round à 95%...), donc pour savoir ou ça en est, on ouvre un autre terminal, et on utilise la commande show:

btrfs fi balance status /mnt/raid0
Balance on '/mnt/raid0' is running
130 out of about 1067 chunks balanced (472 considered),  88% left




En résumé:

Si vous devez convertir une partition de donnés:

  1. diminuez le nombre de fichiers: des fichiers de vieux backup et autres, les archiver sans compression (.tar) est une action rapide et facile. Ne faites pas comme moi, faites le AVANT.

  2. Faites des balancing des metadata juste après la conversion, en commençant par 5%, pour terminer entre 80 et 95%

  3. envoyez-moi vos disques WD red 3To...ils seront cajolés lol



Cordialement,
zapan999

]]>
Fri, 26 Apr 2013 18:13:09 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13334951#p13334951
<![CDATA[Réponse à : resize2fs >16To quel choix?]]> http://forum.ubuntu-fr.org/viewtopic.php?pid=13307271#p13307271

et de partager mes impressions personnelles dessus

Des retours d’expérience que je lirais avec plaisir smile

Et oui, pour tes précédentes remarques, LVM est un choix à faire au départ. Après, sa mise en place est beaucoup plus compliquée.

]]>
Wed, 24 Apr 2013 10:24:04 +0000 http://forum.ubuntu-fr.org/viewtopic.php?pid=13307271#p13307271