Impression de lignes uniques

Existe-t-il une meilleure solution pour imprimer des lignes uniques autres qu'une combinaison de sortet uniq?

Pour imprimer chaque ligne identique une seule, dans n'importe quel ordre:

sort -u

Pour imprimer uniquement les lignes uniques, dans n'importe quel ordre:

sort | uniq -u

Pour imprimer chaque ligne identique une seule fois, dans l'ordre de leur première occurrence: (pour chaque ligne, imprimez la ligne si elle n'a pas encore été vue, puis en tout cas incrémentez le compteur vu)

awk '!seen[$0] {print}
     {++seen[$0]}'

Pour imprimer uniquement les lignes uniques, dans l'ordre de leur première occurrence: (enregistrez chaque ligne dans seenet aussi liness'il s'agit de la première occurrence; à la fin de l'entrée, imprimez les lignes dans l'ordre d'occurrence mais uniquement celles vues uniquement une fois que)

awk '!seen[$0]++ {lines[i++]=$0}
     END {for (i in lines) if (seen[lines[i]]==1) print lines[i]}'

Certaines (la plupart?) Versions sortont un -uindicateur qui fait uniqdirectement la partie. Il peut y avoir des restrictions de longueur de ligne en fonction de l'implémentation, mais vous en aviez déjà avec plain sort|uniq.

Perl fonctionne-t-il pour vous? Il peut conserver les lignes dans l'ordre d'origine, même si les doublons ne sont pas adjacents. Vous pouvez également le coder en Python, ou awk.

while (<>) {
    print if $lines{$_}++ == 0;
}

Qui peut être raccourci à seulement

perl -ne 'print unless $lines{$_}++;'

Fichier d'entrée donné:

abc
def
abc
ghi
abc
def
abc
ghi
jkl

Il donne la sortie:

abc
def
ghi
jkl

Pour la dernière partie de la réponse mentionnée dans: Impression de lignes uniques par @Gilles comme réponse à cette question, j'ai essayé d'éliminer la nécessité d'utiliser deux hachages.

Cette solution est pour: Pour imprimer uniquement les lignes uniques, dans l'ordre de leur première occurrence:

awk '{counter[$0]++} END {for (line in counter) if (counter[line]==1) print line}'

Ici, "compteur" stocke un nombre de chaque ligne similaire à celui traité précédemment.
À la fin, nous imprimons uniquement les lignes dont la valeur de compteur est 1.