cherche logiciel de doublon spécial

omnimax · Le 28/01/2010, à 00:39

Bonsoir,

je cherche un logiciel permettant de me dire dans un ou plusieurs dossiers quels sont les fichiers qui ont le même nom.

par exemple j'ai une image1.jpg représentant un ballon dans dossier 1 et puis plus tard je sauve une autre image1.jpg dans un autre sous-dossier2 mais représentant elle une vache ; j'aimerai avoir une liste me disant attention image1.jpg dans dossier1 différente de image1.jpg dans dossier2.

j'ai essayé fslint, kleansweep mais aucun ne propose cette fonction.

si vous connaissez un programme en ligne de commande, je préfère.

Grand merci.

Dernière modification par greg2007 (Le 28/01/2010, à 21:24)

mika · Le 28/01/2010, à 01:07

Ben là, je pense qu'il faudrait un script bash par exemple...

1) d'abord à base de find pour lister les fichiers,
2) ensuite faire un test sur chaque fichier avec compare.

Surement faisable en python, ruby ou autre.

EDIT :
fdupes peut remplacer find, c'est un outil spécialisé dans la recherche des fichiers en double qui me semble plus souple. Voila donc de bonnes bases pour un futur script.

Dernière modification par mika (Le 28/01/2010, à 01:13)

nesthib · Le 28/01/2010, à 01:15

un programme tout spécialement fait pour ça → bash

tu peux par exemple chercher les fichiers dont le nom est en double dans les sous répertoires de ton dossier d'intérêt puis les comparer

une piste pour trouver les fichiers en double

FOLDER="/home"
ls -R1 "$FOLDER" | sort | uniq -c | sed '/^ *1/d;s/^ *[0-9]* //' | while read line
do
   echo ">$line"
   find "$FOLDER" -name "$line"
done

vite fait à améliorer

edit : bon ok c'est vrai fdupes fait ça très bien (mais n'est pas installé par défaut )

Dernière modification par nesthib (Le 28/01/2010, à 01:17)

mika · Le 28/01/2010, à 01:20

Rectification, fdupes est encore plus puissant : il devrait te suffire amplement. Pour chaque fichier en double, il vérifie la taille, la signature md5 et, enfin, fait une comparaison byte par byte.

Quasi aucune chance que deux images de même nom aient tout ça en commun.

Dernière modification par mika (Le 28/01/2010, à 01:21)

mika · Le 28/01/2010, à 01:28

nesthib a écrit :

...
edit : bon ok c'est vrai fdupes fait ça très bien (mais n'est pas installé par défaut )

Rohhhhhhh Je pense pas qu'il soit à un apt-get install prêt.

nesthib · Le 28/01/2010, à 08:52

mika a écrit :

Rohhhhhhh Je pense pas qu'il soit à un apt-get install prêt.

c'était juste de la mauvaise foi pour ne pas avoir pensé à fdupes

omnimax · Le 28/01/2010, à 09:41

Merci pour vos réponses. Le hic fdupes ne fonctionne pas chez moi

ex : fdupes -r ~/Images/

ne me retourne rien alors que j'ai

~/Images/10.jpg
~/Images/nouveaudossier/10.jpg (où j'ai pris 04.jpg que j'ai renommé expressément en 10.jpg)

et donc il ne me retourne rien ...j'aimerai qu'il me dise que deux 10.jpg sont différents.

Dernière modification par greg2007 (Le 28/01/2010, à 09:42)

sergeG75018 · Le 28/01/2010, à 10:03

tu as vraiment beaucoup de fichiers à trier? Parce que la fonction
recherche>trier par nom>.jpg + tes yeux
est une solution simple.

mika · Le 28/01/2010, à 10:13

greg2007 a écrit :

Merci pour vos réponses. Le hic fdupes ne fonctionne pas chez moi
ex : fdupes -r ~/Images/
ne me retourne rien alors que j'ai
~/Images/10.jpg
~/Images/nouveaudossier/10.jpg (où j'ai pris 04.jpg que j'ai renommé expressément en 10.jpg)
et donc il ne me retourne rien ...j'aimerai qu'il me dise que deux 10.jpg sont différents.

Il ne te retourne rien par ce qu'il sait que ces deux fichiers sont différents. Si c'est ce que tu recherches, repars donc sur l'idée d'un script bash avec find et compare.

omnimax · Le 28/01/2010, à 21:07

ok grand merci à tous.

j'ai mis tout ça en boite au cas ça peut servir à quelqu'un.

#!/bin/bash
################################################################
################################################################
#script pour trouver les doubons
#variables du chemin $path1

path1=$(zenity --file-selection --directory --title="Sélectionnez le dossier cible")
[ "$?" = "1" ] && exit

# selection des fichiers en double
cd /"$path1"
doublon=$(ls -R1 | sort | uniq -c | sed '/^ *1/d;s/^ *[0-9]* //')
  
# recherche du chemin absolu des fichiers en double grâce au nom de fichier
for i in $doublon
do
  find "/$path1" -name "$i" 
  
done

exit 0

nesthib · Le 28/01/2010, à 23:24

Tu as testé ? Je ne suis pas convaincu que ça fonctionne avec une boucle for. Utilise plutôt un while read comme dans mon exemple.

mika · Le 28/01/2010, à 23:43

Pareil ça me parait plus propre, genre

while read line; 
  do find $var1 -name $var2
 ...
done
...

snapshot · Le 29/01/2010, à 01:26

+1

utilises le while. Le for a de nombreux inconvénients :
- il plantera si un fichier contient un espace
- il plantera si la liste est longue (supérieur à 32 Ko)
- il faudra attendre la lecture du dernier fichier pour commencer le traitement du premier

Plutot que sed, je préfère awk ! Chacun son truc

Utilise le while de cette manière, ce qui éliminera tous les défauts de for :

ls -R1 | sort | uniq -c | awk '$1>1 {print $2}' | while read doublon
do 
  find "$path1" -name "$doublon"
  ...
done

Attention au piège dans ce genre de construction : while ls -R1 | ... | read doublon ne marche pas !

Tu peux cependant écrire ceci :

while read doublon
do 
  find "$path1" -name "$doublon"
  ...
done < <(ls -R1 | sort | uniq -c | awk '$1>1 {print $2}')

Dernière modification par snapshot (Le 29/01/2010, à 01:27)

omnimax · Le 29/01/2010, à 10:46

ok je savais pas pour le for (avantages /inconvénients)

par contre au niveau des noms avec espaces, ton exemple ne fonctionne pas non plus avec les noms munis d'un espace? et j'avoue les sed et awk c'est pas trop ma tasse de thé

#!/bin/bash
################################################################
################################################################
#script pour trouver les doubons
#variables du chemin $path1

path1=$(zenity --file-selection --directory --title="Sélectionnez le dossier cible")
[ "$?" = "1" ] && exit

# selection des fichiers en double
cd /"$path1"

 while read doublon
do 
  find "$path1" -name "$doublon"
  
done < <(ls -R1 | sort | uniq -c | awk '$1>1 {print $2}') 

exit 0

qui plus est je comprends pas trop cette syntaxe ...pourquoi à la fin après le done et ces deux symboles <<

done < <(ls -R1 | sort | uniq -c | awk '$1>1 {print $2}')

Dernière modification par greg2007 (Le 29/01/2010, à 10:48)

nesthib · Le 29/01/2010, à 13:37

@snapshot : awk est très bien mais attention ici tu n'affiches que la deuxième colonne (soit le premier mot pour un nom de fichier avec des espaces)

awk '$1>1 {$1="" ; print $0}')

serait mieux (et encore tu te retrouves avec un espace indésirable. Sinon il faut faire une boucle pour afficher de la colonne 2 à la dernière)

@greg2007 : cette syntaxe est un opérateur de redirection de bash
< : permet de mettre en entrée un fichier
<<< : idem pour une variable ou un texte
< <(…) : idem pour le résultat d'une commande

snapshot · Le 29/01/2010, à 14:26

exact pour awk ! le shell c'est puissant mais plein de pièges !

La syntaxe <(...) est l'une de mes préférées du shell. Je l'appelle "la fichiérisation" de processus (oui, je sais, c'est un assez vilain mot, mais j'aime nommer les concepts).

La commande suivante (attention, ce n'est pas << mais < <(...) : il y a un espace)

done < <(ls -R1 | sort | uniq -c | awk '$1>1 {print $2}')

sera substituée par le shell en :

done < /un/fichier/temporaire

qui n'est en fait pas un fichier mais un pipe que le shell alimente automatiquement par le résultat de (ls -R1 | sort | uniq -c | awk '$1>1 {print $1=""; print $0}').

Elle permet d'avoir plusieurs pipes dans une commande ou d'utiliser un pipe autrement que pour l'entrée standard, en argument. J'utilise par exemple la commande suivante, pour comparer deux fichiers sur deux serveurs :

diff <(ssh serv1.example.com cat /etc/my.cnf) <(ssh serv2.example.com cat /etc/my.cnf)

Elle simplifie énormément la création des pipes, processus et fichier temporaires

omnimax · Le 29/01/2010, à 15:45

oui j'avais compris plus ou moins "la fonction pipe" mais ce que je ne comprends pas c'est que

on dit lorsque tu lis doublon (while read...) fait une recherche de doublon dans le path1
puis on lui indique terminé (done) et là tout d'un coup on redirige vers une variable???

dans l'odre logique c'est plutôt perturbant

en français jaurais préféré lorsque tu trouve un doublon grâce à (ls -R1 | sort | uniq -c | awk '$1>1 {print $2}') alors fait une recherche du doublon dans le path....

vous comprenez ???:/

mika · Le 29/01/2010, à 15:47

snapshot a écrit :

exact pour awk ! le shell c'est puissant mais plein de pièges !
La syntaxe <(...) est l'une de mes préférées du shell. Je l'appelle "la fichiérisation" de processus (oui, je sais, c'est un assez vilain mot, mais j'aime nommer les concepts)....

J'adore... Par contre c'est dur à dire

omnimax · Le 29/01/2010, à 15:49

ou alors en gros c'est moi qui ait pas capté

votre fonction while read ...... > > c'est plus au moins le même princippe que

doublon =$(while....done)

snapshot · Le 29/01/2010, à 18:24

pas vraiment... la syntaxe $(...) charge tout en mémoire, et perd des informations en traitant de la même façon espaces et fin de ligne. S'il y a beacoup de lignes (plus que 32Ko, ça ne passe plus). En plus, il faut attendre d'avoir lu la dernière ligne pour continuer le script.

Les syntaxes utilisant les pipes sont meilleurs, car les éléments sont traités les uns après les autres, et restent séparés par les fins de ligne.

Il suffit de comparer :

for fichier in $(echo xxxx; echo un fichier; echo un autre fichier)
do 
  echo "$fichier"
done

avec :

while read fichier
do 
  echo "$fichier"
done < <(echo xxxx; echo un fichier; echo un autre fichier)

ou (principe équivalent, mais écrit différemment)

echo xxxx; echo un fichier; echo un autre fichier | while read fichier
do 
  echo "$fichier"
done

Quant à mettre le <(..) vers le done, c'est en fait très logique : la redirection porte sur l'ensemble de la boucle, incluant le read, même si celui-ci figure en haut. Il ne faut pas écouter son intution en mettant while read < fichier, car dans ce cas, on ré-initialise la lecture du fichier à chaque parcourt de boucle. Résultat, on tombe dans une boucle infinie ne lisant à chaque fois que la première ligne du fichier :

while read x < <(echo un; echo deux; echo trois)
do 
  echo $x
done

omnimax · Le 29/01/2010, à 19:42

Waouw super, j'adore les user comme toi qui prenne le temps d'apprendre aux autres

nesthib · Le 29/01/2010, à 19:44

@snapshot : je ne l'aurai pas mieux expliqué

juste une petite image pour différencier le fait de stocker une variable ou de passer par un flux de données (pipe). Pour chercher un mot dans un annuaire 2 possibilités :
- tu lis tout l'annuaire et ensuite tu te demandes quel est le nom correspondant
- tu lis ligne à ligne jusqu'au moment où tu trouve le nom qui t'intéresse
(l'image est un peu fausse mais c'est en gros le concept)

omnimax · Le 29/01/2010, à 19:44

Waouw super, j'adore les user comme toi qui prenne le temps d'apprendre aux autres

omnimax · Le 29/01/2010, à 20:21

petit souci en fait:

awk '$1>1 {$1="" ; print $0}'

affiche
imagesendoubles.jpg

au lieu de
imagesendoubles.jpg

un espace devant empêche donc de trouver l'argument avec find
sait-on annuler l'espace en mettant un caractère disant pas de premier espace?

Dernière modification par greg2007 (Le 29/01/2010, à 20:22)

nesthib · Le 29/01/2010, à 20:31

nesthib a écrit :

@snapshot : awk est très bien mais attention ici tu n'affiches que la deuxième colonne (soit le premier mot pour un nom de fichier avec des espaces)
awk '$1>1 {$1="" ; print $0}')
serait mieux (et encore tu te retrouves avec un espace indésirable. Sinon il faut faire une boucle pour afficher de la colonne 2 à la dernière)

utilise ma commande sed pour ne pas te prendre la tête

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 28/01/2010, à 00:39

cherche logiciel de doublon spécial

#2 Le 28/01/2010, à 01:07

Re : cherche logiciel de doublon spécial

#3 Le 28/01/2010, à 01:15

Re : cherche logiciel de doublon spécial

#4 Le 28/01/2010, à 01:20

Re : cherche logiciel de doublon spécial

#5 Le 28/01/2010, à 01:28

Re : cherche logiciel de doublon spécial

#6 Le 28/01/2010, à 08:52

Re : cherche logiciel de doublon spécial

#7 Le 28/01/2010, à 09:41

Re : cherche logiciel de doublon spécial

#8 Le 28/01/2010, à 10:03

Re : cherche logiciel de doublon spécial

#9 Le 28/01/2010, à 10:13

Re : cherche logiciel de doublon spécial

#10 Le 28/01/2010, à 21:07

Re : cherche logiciel de doublon spécial

#11 Le 28/01/2010, à 23:24

Re : cherche logiciel de doublon spécial

#12 Le 28/01/2010, à 23:43

Re : cherche logiciel de doublon spécial

#13 Le 29/01/2010, à 01:26

Re : cherche logiciel de doublon spécial

#14 Le 29/01/2010, à 10:46

Re : cherche logiciel de doublon spécial

#15 Le 29/01/2010, à 13:37

Re : cherche logiciel de doublon spécial

#16 Le 29/01/2010, à 14:26

Re : cherche logiciel de doublon spécial

#17 Le 29/01/2010, à 15:45

Re : cherche logiciel de doublon spécial

#18 Le 29/01/2010, à 15:47

Re : cherche logiciel de doublon spécial

#19 Le 29/01/2010, à 15:49

Re : cherche logiciel de doublon spécial

#20 Le 29/01/2010, à 18:24

Re : cherche logiciel de doublon spécial

#21 Le 29/01/2010, à 19:42

Re : cherche logiciel de doublon spécial

#22 Le 29/01/2010, à 19:44

Re : cherche logiciel de doublon spécial

#23 Le 29/01/2010, à 19:44

Re : cherche logiciel de doublon spécial

#24 Le 29/01/2010, à 20:21

Re : cherche logiciel de doublon spécial

#25 Le 29/01/2010, à 20:31

Re : cherche logiciel de doublon spécial

Pied de page des forums