[Résolu] Parcours et tri de beaucoup de fichiers très lent

poumtatalia · Le 06/01/2013, à 19:14

Salut,

J'ai un répertoire contenant à peu près 27000 images, et j'ai besoin de faire du tri (il y a des doubles, des thumbnails que je dois effacer...).
Mais c'est très difficile parce que dès que j'accède à ce répertoire, le système se met à ralentir énormément.
L'OS (Ub 12.04) est sur un disque SSD séparé.
Les fichiers sont sur un disque NTFS.

Qu'est-ce que je peux faire pour améliorer ça?
Merci d'avance pour votre aide ;-)

Dernière modification par poumtatalia (Le 16/01/2013, à 21:18)

Korak · Le 06/01/2013, à 19:27

Bonjour,

27000 fichiers, te rends-tu compte que c'est énorme?

Que faire? Je ne sais pas a part patienter.

JoelS · Le 06/01/2013, à 20:04

C'est normal. NTFS n'est pas réputé pour supporter énormément de fichiers dans un même répertoire, comme la plupart des anciens systèmes de fichiers.

Je ne vois que 2 possibilités:

créer un autre système de fichier plus performant (je pense que ext4 sera mieux de ce point de vue, mais il vaut mieux se renseigner avant) et déplacer tous les fichiers dans ce nouveau système; l'opération sera très longue, mais une seule fois.
créer plusieurs répertoires au niveau au dessus, et déplacer les fichiers dans ces répertoires de manière à les répartir astucieusement; par exemple s'ils commencent tous par des chiffres, tu crées 10 répertoires appelés 0 à 9 et tu mets ceux qui commencent par 0 dans le 0 etc etc; tu peux aussi utiliser des lettres si les fichiers sont nommés; ou alors créer 27 répertoires et prendre les 1000 premiers et les mettre dans le répertoire 01, les suivants dans le 02, ...

L'idée de base est de faire une seule opération ou quelques opérations longues de déplacement des fichiers, mais ensuite travailler dans des systèmes de fichiers performants ou dans des répertoires plus petits en volumes.

D'une manière générale, il faut éviter de dépasser quelques (AMHA 20 à 30) centaines de fichiers dans un même répertoire, car même si maintenant il existe des systèmes performants, c'est humainement que ça devient ingérable.

Korak · Le 06/01/2013, à 20:37

Je ne sais pas si le NTFS est plus performant que l'Ext4 ou l'inverse.

Ce que je sais c'est que l'on ne met jamais autant de fichier dans un même répertoire.

poumtatalia · Le 08/01/2013, à 23:00

Merci pour vos commentaires ;-)
Oui je sais qu'on ne met pas 27k fichiers au même endroit, mais c'est ce qui me restre après un gros plantage de disque. Dezs fichiers en vrac qu'il faudrait que je trie.
Je dois reconnaître que je ne trouvre pas beaucoup d'outils qui m'aident à faire de la fouille sous Ubuntu. Je fiunis par efectuer ces recherches via le réseau depuis un poste windows pour avoir un truc simple pour chercher par exemple les fichiers "*.avi" de plus de 120Mb, ce que j'ai du mal à faire depuis Ubuntu (mais c'est parce que je débute ;-)

tuxmarc · Le 09/01/2013, à 00:14

Bonsoir poumtatalia
J'avais eu des soucis avec Nautilus qui ramait comme une bête et en prime se goinfrait la totalité du CPU pendant une plombe.
En fouinant dans les paquets Synaptic, j'ai installé pcman qui lui fait un démarrage instantané.
Je viens de vérifier s'il est doué pour faire les recherches, il y a un menu "outils" où on peut faire des recherches par nom, taille mini ou maxi, dates de modifs.
Tu peux essayer, ça ne coûte rien !

poumtatalia · Le 09/01/2013, à 14:21

Salux Tux,

Merci pour le tuyau, j'ai bien installé pcman, mais le menu "outils" ne propose pas de recherche. Je ne vois pas d'adon ou autre... Une idée?

Merci!

pingouinux · Le 09/01/2013, à 14:32

Bonjour,

poumtatalia #5 a écrit :

pour avoir un truc simple pour chercher par exemple les fichiers "*.avi" de plus de 120Mb

find répertoire_de_départ -type f -iname \*.avi -size +120M

On peut éventuellement ajouter un traitement à faire sur ces fichiers.

tuxmarc · Le 09/01/2013, à 19:37

Bonsoir poumtatalia
Je suis repassé sur la machine et la partition où il y a Pcman
La version c'est 0.5.2
Dans le menu "outils" j'ai bien "recherche F3"
Je l'ai téléchargé tel quel.

Voici le résultat d'une recherche dans le répertoire à distris

Voici ce que propose la rechercher par tailles

Loin d'être parfait, en essayant des recherches les unes après les autres, il ne trouve rien.
Je ferme, je rouvre et là il trouve.

@pingouinux : fortiche !

poumtatalia · Le 09/01/2013, à 23:17

Salut TuxMarc,

On parle bien de pcmanfm (http://doc.ubuntu-fr.org/pcmanfm) ?
Je ne trouve que ce paquet, mais c'est pas la version dont tu me parles...

Merci!

tuxmarc · Le 14/01/2013, à 12:30

Salut Poumtatalia

Là j'ai eu un doute !!
Dans la logithèque il s'appelle Pcman et dans les paquets Synaptic il s'appelle Pcmanfm (un peu normal c'est Pcman file manager sur le site LXDE)
Il est coché comme installé des deux côtés !!!
Avec les paquets de mises à jour que je vois défiler, je n'ai jamais fait gaffe s'il avait évolué, mais j'en suis toujours à la version 0.5, numéro de version invisible dans la logithèque.
Je n'avais pas eu la curiosité d'aller voir la doc, je m'en suis servi tout de suite de manière intuitive, pour moi l'immense avantage, c'est qu'il est réactif.
Et dans la doc, la copie d'écran donne une version 0.9 !!
Curieux !
Comme la version que j'ai trouvée est dans Synaptic, le mieux est de réinstaller en allant piocher là.

poumtatalia · Le 16/01/2013, à 21:18

Salut,

Merci pour le coup de main Tuxmarc, il semble que pcman ait régressé ses fonctions de rechercches, et n'a plus que peu de fonctions de recherches, même couplé avec catfish.
Total j'ai fini par m'orienter sur Dolphin, mais les fontions de recherche avancées sont grisées.

J'ai fini par me débrouiller par un mélange de commandes en ligne et de recherche via windows (sic).

tuxmarc · Le 17/01/2013, à 12:14

Un peu beaucoup dommage qu'on assiste à des régressions.
J'ai constaté que les dernières versions des gestionnaires de fichiers devenaient de plus en plus pingres.
Là je suis sur Hybryde Fusion "12.12" (c'est sorti pour Noël) et le gestionnaire c'est Pcman 0.9.10 qui a perdu ses outils de recherche, vraiment bête
Bon courage pour retrouver tous tes fichiers, j'ai dû le faire une fois, quel boulot !

poumtatalia · Le 05/02/2013, à 09:22

Réponse : en fait c'est plus facile avec Konqueror!

tuxmarc · Le 05/02/2013, à 12:00

Ce bon vieux Konqueror !!!
La première fois que je l'ai vu sur une distribution, c'était sur Mandrake 10 en 2004.
Comme quoi, c'est dans les vieux pots qu'on fait les meilleures soupes

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 06/01/2013, à 19:14

[Résolu] Parcours et tri de beaucoup de fichiers très lent

#2 Le 06/01/2013, à 19:27

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#3 Le 06/01/2013, à 20:04

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#4 Le 06/01/2013, à 20:37

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#5 Le 08/01/2013, à 23:00

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#6 Le 09/01/2013, à 00:14

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#7 Le 09/01/2013, à 14:21

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#8 Le 09/01/2013, à 14:32

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#9 Le 09/01/2013, à 19:37

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#10 Le 09/01/2013, à 23:17

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#11 Le 14/01/2013, à 12:30

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#12 Le 16/01/2013, à 21:18

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#13 Le 17/01/2013, à 12:14

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#14 Le 05/02/2013, à 09:22

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

#15 Le 05/02/2013, à 12:00

Re : [Résolu] Parcours et tri de beaucoup de fichiers très lent

Pied de page des forums