Partout où je vois quelqu'un qui a besoin d'une liste unique et triée, il le fait toujours sort | uniq. Je n'ai jamais vu d'exemples où quelqu'un utilise à la sort -uplace. Pourquoi pas? Quelle est la différence et pourquoi est-il préférable d'utiliser uniq plutôt que le drapeau unique pour...
J'aime vraiment utiliser control+rpour rechercher de manière récursive mon historique de commandes. J'ai trouvé quelques bonnes options que j'aime utiliser avec: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries...
$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Le résultat dont j'ai besoin est d' afficher toutes les lignes du fichier d'origine en supprimant tous les doublons (pas uniquement les...
Cette ligne supprime les lignes en double de la saisie de texte sans tri préalable. Par exemple: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Le code original que j'ai trouvé sur les internets se lit comme suit: awk '!_[$0]++' Cela me rendait encore plus perplexe alors que je prenais _une...
Voici les commandes sur un fichier aléatoire de pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u |...
Existe-t-il un moyen de trouver tous les fichiers dans un répertoire avec des noms de fichiers en double, indépendamment de la casse (majuscules et / ou
Ma question est similaire à cette question mais avec quelques contraintes différentes: J'ai une grande liste de \nmots délimitée - un mot par ligne. La taille des fichiers varie de 2 Go à 10 Go. J'ai besoin de supprimer toutes les lignes en double. Le processus peut trier la liste au cours de la...
J'ai rencontré ce cas d'utilisation aujourd'hui. Il semble simple au premier coup d' œil, mais bidouiller avec sort, uniq, sedet a awkrévélé qu'il est non négligeable. Comment supprimer toutes les paires de lignes en double? En d'autres termes, s'il existe un nombre pair de doublons d'une ligne...
J'ai un vieux code de 2003 qui utilise l' -toption de uniqcommande. Il génère une erreur car cette option n'est probablement plus prise en charge. Voici la pièce qui utilise la commande: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' +1 | \ uniq -t ':' -f 1 | \ sed...
J'ai un gros fichier au format suivant: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Si les valeurs de la colonne 2 correspondent, je veux additionner les valeurs des colonnes 3 et 4 des deux lignes, sinon juste la somme des valeurs de la ligne unique....
J'ai un fichier avec une colonne avec des noms qui se répètent plusieurs fois. Je veux condenser chaque répétition en une seule, tout en conservant toutes les autres répétitions du même nom qui ne sont pas adjacentes à d'autres répétitions du même nom. Par exemple, je veux tourner le côté gauche...
Que se passe-t-il dans l'extrait de code suivant? Je n'obtiens pas la sortie attendue. Je pense que c'était un bug, mais cela arrive pour 2 programmes différents (uniq et sort), donc je soupçonne que c'est quelque chose à voir avec ... eh bien, je ne sais pas quoi ... d'où la question. Les 3...
J'ai un gros fichier texte (1,5 G), Je veux savoir quel est l'outil le plus rapide et le plus fiable de Linux. J'utilise habituellement: awk '!x[$0]++' file.txt Mais lorsque j'utilise la htopcommande, je constate que mon utilisation de la mémoire augmente. Je veux savoir quel est le plus rapide et...
Si j'ai une chaîne "1 2 3 2 1" - ou un tableau [1,2,3,2,1] - comment puis-je sélectionner les valeurs uniques, c'est-à-dire "1 2 3 2 1" produces "1 2 3" ou [1,2,3,2,1] produces [1,2,3] Similaire à uniq mais uniq semble fonctionner sur des lignes entières, pas sur des motifs au sein d'une ligne...
J'essaie un naïf: $ cat * | sort -u > /tmp/bla.txt qui échoue avec: -bash: /bin/cat: Argument list too long Donc, pour éviter une solution idiote comme (crée un énorme fichier temporaire): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u >...
J'ai un fichier d'entrée contenant les chemins de fichiers et leur somme md5, séparés par des points-virgules et triés par hachage md5: /media/LaCie/Images/recup2/recup_dir.1/f1295328.jpg;0080ececd3da8533f5d11e449cf73287