Supprimer les lignes en double dans vi?

J'ai un fichier texte qui contient une longue liste d'entrées (une sur chaque ligne). Certains d'entre eux sont des doublons, et j'aimerais savoir s'il est possible (et si oui, comment) de supprimer les doublons. Je suis intéressé à faire cela depuis vi / vim, si possible.

Si vous êtes d'accord pour trier votre fichier, vous pouvez utiliser:

:sort u

Essaye ça:

:%s/^\(.*\)\(\n\1\)\+$/\1/

Il recherche toute ligne immédiatement suivie d'une ou plusieurs copies de lui-même et la remplace par une seule copie.

Faites une copie de votre fichier avant de l'essayer. Ce n'est pas testé.

À partir de la ligne de commande, faites simplement:

sort file | uniq > file.new

awk '!x[$0]++' yourfile.txtsi vous souhaitez conserver l'ordre (c'est-à-dire que le tri n'est pas acceptable). Afin de l'invoquer depuis vim, :!peut être utilisé.

g/^\(.*\)$\n\1/d

Fonctionne pour moi sur Windows. Les lignes doivent cependant être triées en premier.

Je combinerais deux des réponses ci-dessus:

go to head of file
sort the whole file
remove duplicate entries with uniq

1G
!Gsort
1G
!Guniq

Si vous souhaitez voir combien de lignes dupliquées ont été supprimées, utilisez control-G avant et après pour vérifier le nombre de lignes présentes dans votre tampon.

Sélectionnez les lignes en mode visuel-ligne ( Shift+ v), puis :!uniq. Cela n'attrapera que les doublons qui se succèdent.

En ce qui concerne la façon dont Uniq peut être implémenté dans VimL, ​​recherchez Uniq dans un plugin que je gère . Vous verrez différentes façons de l'implémenter qui ont été données sur la liste de diffusion Vim.

Sinon, :sort uc'est bien la voie à suivre.

:%s/^\(.*\)\(\n\1\)\+$/\1/gec

ou

:%s/^\(.*\)\(\n\1\)\+$/\1/ge

c'est ma réponse pour vous, il peut supprimer plusieurs lignes en double et n'en garder qu'une seule pas supprimer!

J'utiliserais !}uniq, mais cela ne fonctionne que s'il n'y a pas de lignes vides.

Pour chaque ligne dans une utilisation du fichier: :1,$!uniq.

Cette version supprime uniquement les lignes répétées qui sont contigues. Je veux dire, ne supprime que les lignes répétées consécutives. En utilisant la carte donnée, la fonction note des erreurs avec des lignes vides. Mais si vous modifiez le REGEX pour qu'il corresponde au début de la ligne, ^il supprimera également les lignes vierges dupliquées.

" function to delete duplicate lines
function! DelDuplicatedLines()
    while getline(".") == getline(line(".") - 1)
        exec 'norm! ddk'
    endwhile
    while getline(".") == getline(line(".") + 1)
        exec 'norm! dd'
    endwhile
endfunction
nnoremap <Leader>d :g/./call DelDuplicatedLines()<CR>

Une méthode alternative qui n'utilise pas vi / vim (pour les fichiers très volumineux), est à partir de la ligne de commande Linux, utilisez sort et uniq:

sort {file-name} | uniq -u

Cela a fonctionné pour moi à la fois .csvet.txt

awk '!seen[$0]++' <filename> > <newFileName>

Explication: La première partie de la commande imprime des lignes uniques et la deuxième partie, c'est-à-dire après la flèche du milieu, consiste à enregistrer la sortie de la première partie.

awk '!seen[$0]++' <filename>

>

<newFileName>