Forum Ubuntu-fr.org / Supprimer doublon avec awk

Réponse à : Supprimer doublon avec awk

dummy@example.com (aduxas) — Fri, 30 Nov 2012 19:48:24 +0000

Dans ta commande awk, $NF veut dire: le contenu du dernier champs de la ligne courante.

Réponse à : Supprimer doublon avec awk

dummy@example.com (pingouinux) — Fri, 30 Nov 2012 15:50:40 +0000

Merci nesthib pour l'explication, mais ma remarque était juste anecdotique.

Réponse à : Supprimer doublon avec awk

dummy@example.com (nesthib) — Fri, 30 Nov 2012 15:47:09 +0000

@pingouinux : c'est un grand classique awk qui utilise une syntaxe idiomatique
Pour l'explication, on créé un tableau « _ » qui enregistre le nombre de fois où une ligne est trouvée « _[$0]++ », par défaut si aucune commande n'est lancée awk affiche la ligne actuelle SI le retour d'une action (ici, afficher le contenu de « _[$0] ») est vrai (ici, « _[$0]++ » n'est vrai que si une ligne a déjà été vue, donc « !_[$0]++ » n'est vrai que si une ligne n'a jamais été vue).

@Bat_Tuc : awk fait du traitement par bloc et par champ, par défaut un bloc est une ligne et un champ est un mot. Donc par défaut, oui, awk applique ton code à chaque ligne.

Réponse à : Supprimer doublon avec awk

dummy@example.com (pingouinux) — Fri, 30 Nov 2012 15:27:53 +0000

@nesthib #5 : Joli, mais il y a de quoi dérouter le néophyte…

Réponse à : Supprimer doublon avec awk

dummy@example.com (Bat_Tuc) — Fri, 30 Nov 2012 15:18:13 +0000

Enfaite j'ai vraiment du mal avec awk. Je pensais qu'il faisait du traitement sur tout le fichier.
Alors que si j'ai bien compris il fait le traitement ligne par ligne c'est ca ? il va applique mon code a chaque ligne ? Ca explique donc pourquoi i vaut toujours 1 j'ai que un seul champ par ligne ..

Réponse à : Supprimer doublon avec awk

dummy@example.com (nesthib) — Fri, 30 Nov 2012 15:16:19 +0000

awk '!_[$0]++' fichier

(si une ligne n'a pas déjà été trouvée on l'affiche)

Comme pingouinux, j'avoue que je comprends mal ton raisonnement du premier message.

Réponse à : Supprimer doublon avec awk

dummy@example.com (pingouinux) — Fri, 30 Nov 2012 15:15:46 +0000

mais pourquoi mon awk ne marchait pas ?

Il ne faut déjà pas de $NF sur cette ligne, qui doit être :

for (i=1;i<=NF;i++)

Remarque : Le awk serait plus propre ainsi :

awk '{………}' WhoIsOnline

Réponse à : Supprimer doublon avec awk

dummy@example.com (Bat_Tuc) — Fri, 30 Nov 2012 15:04:59 +0000

j'ai un seul mot par ligne. L'ordre importe peu.
ta réponse repond donc a mon besoin, mais pourquoi mon awk ne marchait pas ?

Réponse à : Supprimer doublon avec awk

dummy@example.com (pingouinux) — Fri, 30 Nov 2012 15:02:09 +0000

Bonjour,

Voila j'ai un fichier ( WhoIsOnline) ou sur chaque ligne apparait un mot.

Peux-tu préciser ? S'il n'y a qu'un mot par ligne, inutile de passer en revue les champs de la ligne.
Si c'est bien le cas, et si l'ordre importe peu :

sort -bu WhoIsOnline >WhoIsOnline.new

Supprimer doublon avec awk

dummy@example.com (Bat_Tuc) — Fri, 30 Nov 2012 14:49:35 +0000

Voila j'ai un fichier ( WhoIsOnline) ou sur chaque ligne apparait un mot.
j'aimerais supprimer les doublons or ce que j'ai fais ne marche pas ..
voila ce que j'ai

cat WhoIsOnline |
awk '{
for (i=1;i<=$NF;i++)
{
        nb=0
        for(j=1;j

apres divers test j'ai l'impression que mon i reste a 1 ...