Sélectionnez des valeurs uniques ou distinctes dans une liste du script shell UNIX

J'ai un script ksh qui renvoie une longue liste de valeurs, séparées par des sauts de ligne, et je veux voir uniquement les valeurs uniques / distinctes. Est-il possible de faire cela?

Par exemple, disons que ma sortie est un suffixe de fichier dans un répertoire:

tar
gz
java
gz
java
tar
class
class

Je veux voir une liste comme:

tar
gz
java
class

Vous voudrez peut-être regarder les applications uniqet sort.

./yourscript.ksh | trier | uniq

(Pour info, oui, le tri est nécessaire dans cette ligne de commande, uniqne supprime que les lignes en double qui se suivent immédiatement)

ÉDITER:

Contrairement à ce qui a été publié par Aaron Digulla en ce qui concerne uniqles options de ligne de commande de:

Étant donné l'entrée suivante:

classe
pot
pot
pot
poubelle
poubelle
Java

uniq affichera toutes les lignes exactement une fois:

classe
pot
poubelle
Java

uniq -d affichera toutes les lignes qui apparaissent plusieurs fois et les imprimera une fois:

pot
poubelle

uniq -u affichera toutes les lignes qui apparaissent exactement une fois et les imprimera une fois:

classe
Java

./script.sh | sort -u

C'est la même chose que la réponse du monoxyde , mais un peu plus concise.

Pour les ensembles de données plus volumineux où le tri peut ne pas être souhaitable, vous pouvez également utiliser le script perl suivant:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

Cela se souvient simplement de chaque sortie de ligne afin de ne pas la restituer.

Il présente l'avantage sur la " sort | uniq" solution dans la mesure où aucun tri n'est requis à l'avance.

Avec zsh, vous pouvez le faire:

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

Ou vous pouvez utiliser AWK:

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Les canaliser à travers sortet uniq. Cela supprime tous les doublons.

uniq -dne donne que les doublons, uniq -une donne que les uniques (supprime les doublons).

Avec AWK vous pouvez le faire, je le trouve plus rapide que le tri

 ./yourscript.ksh | awk '!a[$0]++'

Unique, comme demandé, (mais non trié);
utilise moins de ressources système pour moins de ~ 70 éléments (comme testé avec le temps);
écrit pour prendre l'entrée de stdin,
(ou modifier et inclure dans un autre script):
(Bash)

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=$'\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

Je reçois de meilleurs conseils pour obtenir des entrées non dupliquées dans un fichier

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u