Ubuntu-fr

Hoper

Re : Script pour défragmenter des fichiers en ext4 (ext3 éventuellement)

Alors, pour l'affichage d'une barre de progression, oui, c'est une super idée. Problème, cela nécessite que strace soit installé. Or, il me semble qu'il n'est pas installé par défaut sous ubuntu.

Cela dit, je vais peut être ajouter une option... Comme ça, sans option, ça marche sans strace, avec l'option, ca vérifie que strace est présent et si oui ça fonctionne avec l'affichage de la barre. Merci en tout cas pour cette suggestion.

Autre remarque, dans ton cas le script n'a pas l'air de fonctionner si bien que ça. Le premier fichier est encore plus fragmenté après qu'avant, et pour le second c'est à peine mieux. Chez moi cela fonctionne quand même beaucoup mieux.

Cela dit, je pense savoir ou se situe ton problème. La taille de tes fichiers me semble BEAUCOUP TROP hétérogène. Avoir sur le même système de fichier des tout petits fichiers (quelques ko) et de très très gros (plusieurs centaine de Go !!) est a mon avis une grosse erreur. Tu aurai de bien meilleurs performances en séparant les fichiers (qui doivent être de type bien différent et avoir des rôles bien distinct) en fonction de leur taille. Accessoirement, cela te permettrait peut etre aussi de choisir le type de FS en fonction. PEut etre que pour des fichiers aussi énormes, ext4 n'est pas le meilleur choix. (XFS ?) De même, pour les très petits fichiers, je resterai personnellement sur du reiserfs en 3.X qui à fait ces preuves, surtout sur un média "résistant" (pas de badblock) comme un raid5.

EDIT :

Concernant la barre de progression, après avoir retrouvé l'origine de ce script (enfin, je crois) ici : https://chris-lamb.co.uk/2008/01/24/can … like-wget/ il semble que les copies se fassent beaucoup plus lentement. (30 à 50% plus lentement). Si c'est bien le cas, cela enlève quand même beaucoup d’intérêt à la chose...

Dernière modification par Hoper (Le 23/04/2012, à 22:24)

---

Mes tutos et coups de gueule :
http://hoper.dnsalias.net/atdc/
Mastodon: @hoper@framapiaf.org

doupdoup

Re : Script pour défragmenter des fichiers en ext4 (ext3 éventuellement)

En fait, je pense que mon problème vient principalement de ma configuration:
C'est un PC "stockage-multimédia" 4 disques sata 1,5 To (RAID5) + 1 disque ide 40 Go (system).
Windows 7 est l'OS hôte, il me permet d’être accessible a toute la famille.
VMWare fait tourner Ubuntu "server"  11.10 (kernel 3.0.0-17) qui gère à 99% les disques sata en soft-RAID 5 (le 1% restant c'est seven qui lès détectes pour la VM)
Le RAID 5 stock mes photos, vidéo.... , les Sauvegardes TimeMachine, le tout en partage réseau.

Je n'ai jamais fait de maintenance dessus en 1,5 ans, donc je pense que c'est normale, surtout qu'il ne me reste que 500 Go de disponible.
Depuis un mois je ressent des ralentissement lors de mes sauvegardes et transfert de fichier, aussi bien en écriture qu'en lecture.

J'ai déjà utilisé e4defrag mais sans grand succès, des améliorations sont apparut, mais ça n'a pas durée et e4defrag n'arrive plus a diminué les "extends", et les fragments sont encore là. Par exemple un fichier de 7Go avec seulement 22 extends mais pratiquement 70 fragments.

Je n'ai pas plus que cela regardé les autres FS à l'époque, mais je vais me renseigner sur reiserfs.
Merci de ta suggestion.

Pour ce qui est de la bar de progression:

EDIT :

Concernant la barre de progression, après avoir retrouvé l'origine de ce script (enfin, je crois) ici : https://chris-lamb.co.uk/2008/01/24/can … like-wget/ il semble que les copies se fassent beaucoup plus lentement. (30 à 50% plus lentement). Si c'est bien le cas, cela enlève quand même beaucoup d’intérêt à la chose...

Je trouve que c'est assez utile malgré la perte de performance, dans mon cas par exemple, ça me permet d’être sûr que la connexion ssh na pas planté.

EDIT:

Autre remarque, dans ton cas le script n'a pas l'air de fonctionner si bien que ça. Le premier fichier est encore plus fragmenté après qu'avant, et pour le second c'est à peine mieux. Chez moi cela fonctionne quand même beaucoup mieux.

Le dossier dans l'exemple était un dossier test, d'environ 70 Gio fraichement copier de gros et petit fichiers, suite aux modifications que j'avais effectué. Car en cas d'erreur dans le script, suite au modification que j'avais fait, la copie ne s'effectue pas, mais le script essaye quand même de remplacer le fichier précédemment copier par, rien, vu que la copie a échoué, donc ça efface le fichier.

Dernière modification par doupdoup (Le 24/04/2012, à 00:02)

Hoper

Re : Script pour défragmenter des fichiers en ext4 (ext3 éventuellement)

qui gère à 99% les disques sata en soft-RAID 5 (le 1% restant c'est seven qui lès détectes pour la VM)

Tu pourrai préciser ce point ? Tes disques sont partitionés ? Une toute petite partition pour windows, et une grosse pour le raid c'est ça ?

Je trouve que c'est assez utile malgré la perte de performance, dans mon cas par exemple, ça me permet d’être sûr que la connexion ssh na pas planté.

Une connexion ssh qui plante sur un réseau local, franchement j'ai jamais vu ça Maintenant, qu'elle soit locale ou pas, pour ce genre d'opérations très longue tu devrait utiliser la commande screen...

Je vais vérifier que l'option -a de cp fonctionne toujours en utilisant le script cp_p. Si tout fonctionne normalement, je l’intégrerai probablement, en prévenant bien que si on active cela il y aura une perte de performance.

---

Mes tutos et coups de gueule :
http://hoper.dnsalias.net/atdc/
Mastodon: @hoper@framapiaf.org

doupdoup

Re : Script pour défragmenter des fichiers en ext4 (ext3 éventuellement)

qui gère à 99% les disques sata en soft-RAID 5 (le 1% restant c'est seven qui lès détectes pour la VM)

Tu pourrai préciser ce point ? Tes disques sont partitionés ? Une toute petite partition pour windows, et une grosse pour le raid c'est ça ?

En gros ça donne a ça:

Seven est installé sur le 40 giga ( C:\ ), ainsi que VMware et l'image du disque dur de Ubuntu.
Les 4 disques de 1,5 To sont entièrement contrôlés par VMware et gérés par Ubuntu.

user@Multimedia:~$ sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Fri Jul  8 17:18:56 2011
     Raid Level : raid5
     Array Size : 4395403776 (4191.78 GiB 4500.89 GB)
  Used Dev Size : 1465134592 (1397.26 GiB 1500.30 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Tue Apr 24 14:49:11 2012
          State : active
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : user-multimedia:0
           UUID : xxxxxxxxx:xxxxxxxxx:xxxxxxxx:xxxxxxxx
         Events : 202

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       49        2      active sync   /dev/sdd1
       3       8       33        3      active sync   /dev/sdc1

Les avantages a mon sens:
-Seven est là pour ne pas déstabilisé les utilisateurs et est a mon sens plus simple a configuré pour du multimédia.
-Le soft-RAID est récupérable en cas de crash de ou des OS: Au début j'étais sous Vista avec un RAID 0 pseudo-matériel. J'ai eu un crash de Vista, après ré-install, impossible de récupérer mes données ( j'ai laissé tombé au bout d'une semaine de recherches infructueuses ). J'ai opté pour installer VMware + Ubuntu, crée un ensemble RAID 5 soft ( tuto ). Suite a quelques soucis de "compatibilité" avec windob, j'ai tout repris à zéro, j'ai installé Seven + VMw + Ubuntu Server. Lorsque j'ai voulu crée l'ensemble raid, mdadm m'a retrouvé l'ensemble précédemment crée, MAGIC ( et ceux malgré une ré-install complète de windows et ubuntu, je n'avais pas re-formaté les gros disques pendant la réinstall ).
Voici en gros mon usine à gaz...

Je trouve que c'est assez utile malgré la perte de performance, dans mon cas par exemple, ça me permet d’être sûr que la connexion ssh na pas planté.

Une connexion ssh qui plante sur un réseau local, franchement j'ai jamais vu ça  Maintenant, qu'elle soit locale ou pas, pour ce genre d'opérations très longue tu devrait utiliser la commande screen...

Pour ce qui est de la connexion ssh, avec putty, j'ai souvent une perte de connexion au bout de quelques heures. Je n'ai pas accès a l'interface graphique ou mêm à une simple ligne de commande. Lors de l'installation de Ubuntu en VM j'ai mis le strict minimum afin d'essayé d'économisé au maximum les ressource de l'UC. Je me suis aperçus, depuis, que l'interface graphique facilite grandement la vie mais est quand même très gourmande dans ce type de configuration.
Mais pour le moment, avec le Terminal d'OSX, ça tourne depuis hier soir.

Et a première vue, l'option -a est fonctionnel; les fichiers recopié m'appartiennent toujours et non à root.

HLFH

Re : Script pour défragmenter des fichiers en ext4 (ext3 éventuellement)

Ah, la défragmentation NTFS via GNU/Linux n'existera donc jamais Dommage ! Je repasse donc à Windows !