Comparez deux listes d'URL et imprimez les URL nouvellement ajoutées dans un nouveau fichier

Je produis initialement deux fichiers qui contiennent des listes d'URL - je les désignerai comme oldet new. Je voudrais comparer les deux fichiers et s'il y a des URL dans le newfichier qui ne sont pas dans le oldfichier, je voudrais qu'elles soient affichées dans un extra_urlsfichier.

Maintenant, j'ai lu quelques trucs sur l'utilisation de la diffcommande mais d'après ce que je peux en dire, cela analyse également l'ordre des informations. Je ne veux pas que la commande ait un effet sur la sortie. Je veux juste que les URL supplémentaires soient newimprimées dans le extra_urlsfichier, quel que soit l'ordre dans lequel elles sont placées dans l'un des deux autres fichiers.

Comment puis-je faire ceci?

Vous pouvez utiliser la commcommande pour comparer deux fichiers et afficher sélectivement des lignes uniques à l'un ou à l'autre, ou les lignes en commun. Il nécessite le tri des entrées, mais vous pouvez les trier à la volée, en utilisant la substitution de processus.

comm -13 <(sort old.txt) <(sort new.txt)

Si vous utilisez une version bashqui ne prend pas en charge la substitution de processus, elle peut être émulée à l'aide de canaux nommés. Un exemple est montré dans Wikipedia .

Je voudrais simplement utiliser grep:

grep -vFf old new > extra_urls

Explication

• -f: indique grepde lire ses modèles de recherche à partir d'un fichier. Dans ce cas old,.
• -v : indique à grep d'inverser la correspondance, pour afficher uniquement les lignes non correspondantes.
• -F: indique à grep d'interpréter ses modèles de recherche comme des chaînes, et non comme des expressions régulières. De cette façon, l' .URL correspondra littéralement.

Combinés, ceux-ci font grepimprimer toutes les lignes newqui n'étaient pas dedans old. L'ordre des URL dans le fichier n'est pas pertinent.

La commande étant importante pour vous, utilisez awk

awk '
    NR == FNR {old[$1]=1; next}
    !($1 in old)
' old new > extra

J'ai une application appelée meld. Il permet de visualiser les deux (ou trois) fichiers côte à côte, montre les différences et permet une copie sélective de l'un à l'autre ou la suppression de caractères.

Meld peut être installé à partir d'un terminal avec

sudo apt-get install meld