Supprimer des lignes d'un fichier en fonction des lignes trouvées dans un autre fichier

Le fichier file1.txt contient des lignes comme:

/api/purchase/<hash>/index.html

Par exemple:

/api/purchase/12ab09f46/index.html

Le fichier file2.csv contient des lignes comme:

<hash>,timestamp,ip_address

Par exemple:

12ab09f46,20150812235200,22.231.113.64 
a77b3ff22,20150812235959,194.66.82.11

Je veux filtrer file2.csv en supprimant toutes les lignes où la valeur de hachage est également présente dans file1.txt. Ce est-à-dire:

cat file1.txt | extract <hash> | sed '/<hash>/d' file2.csv

ou quelque chose comme ça.

Cela devrait être simple, mais je semble incapable de le faire fonctionner.

Quelqu'un peut-il fournir un pipeline fonctionnel pour cette tâche?

cut -d / -f 4 file1.txt | paste -sd '|' | xargs -I{} grep -v -E {} file2.csv

Explication:

cut -d / -f 4 file1.txt sélectionnera les hachages du premier fichier

paste -sd '|' joindra tous les hachages dans une expression régulière ex. H1|H2|H3

xargs -I{} grep -v -E {} file2.csvinvoquera grep avec le modèle précédent comme argument, xargs remplacera {}par le contenu duSTDIN

Si vous n'en avez pas, pastevous pouvez le remplacer partr "\\n" "|" | sed 's/|$//'

awkSolution possible :

awk 'NR == FNR { x[$4] = 1; next; } { if (!($1 in x)) print $0; }' FS="/" file1.txt FS="," file2.txt

D'abord, nous lisons en file1.txtutilisant FS(séparateur de champs) "/" et créons le tableau x avec les valeurs des clés du champ $4qui est le hachage que vous voulez. Ensuite , nous lisons deuxième fichier file2.txtparamètre FSpour être ,et vérifier si la valeur de champ $1n'existe pas comme clé dans le tableau xet si elle ne nous l' imprimer.
La même chose plus idiomatique que celle proposée dans les commentaires pourrait être:

awk 'NR == FNR { x[$4] = 1; next; } !($1 in x)' FS="/" file1.txt FS="," file2.txt

Pour GNU sed

sed -z 's%.*/\([^/]*\)/index.html\n%\1\\|%g;s%^%/%;s%\\|$%/d%' file1.csv |
sed -f - file2.csv

où la première sed liste des produits de hash en commandant format sed comme /12ab09f46\|a77b3ff22\|..../det le transférer à côté sed -script qui se lit ci - dessus commande d'entrée donc l' -f -option.
Idem avec grep

grep -oP '[^/]*(?=/index.html$)' file1.csv | grep -Fvf - file2.csv

ou sans perl-expressions:

grep -o '[^/]*/index.html$' file1.csv | 
grep -o '^[^/]*' | 
grep -Fvf - file2.csv

ou encore mieux avec coupe :

cut -d/ -f4 file1.csv | grep -Fvf - file2.csv

#!/bin/bash
cut -d, -f1 file2 | while read key ; do 
   #check for appearance in file1 with successful grep:
   #exit status is 0 if pattern is found, only search for at least 1
   #appearance -> to speed it up
   if [[ $(grep -m 1 "/$key/" file1) ]] ; then
      sed "/^$key,/d" -i file2
      #note that we are gradually overwriting file2 (-i option),
      #so make a backup!
   fi
done

Notez que les piqûres de recherche sont /$key/et ^$key,pour que les résultats soient soit entre deux barres obliques (fichier 1) soit comme la première entrée d'une ligne et suivis d'une virgule (fichier 2). Cela devrait le rendre sûr si les clés ressemblent

a,values
a1,values

dans le fichier 2, ou comme

/api/../a1/../
/api/../a/../

dans le dossier 1

Je viens d'essayer la doublure suivante, et elle semble faire l'affaire:

 for i in `cat file1.txt  | awk -F"/" '{print $4}'`; do echo "\n $i" ; sed -ri "/^$i,/d" file2.csv ; done

Veuillez remplacer first -ri par -re pour le tester. -re fait un essai à sec, et si tout va bien, vous pouvez l'exécuter avec -ri

En plus de la réponse de Gabriele Lana, veuillez noter que la commande de collage BSD doit spécifier un tiret pour lire le contenu à partir de l'entrée standard.

manuel de la commande coller

Si «-» est spécifié pour un ou plusieurs des fichiers d'entrée, l'entrée standard est utilisée; l'entrée standard est lue une ligne à la fois, de façon circulaire, pour chaque occurrence de «-».

Donc, le dernier doit être changé comme ci-dessous

cut -d / -f 4 file1.txt | paste -sd '|' - | xargs -I{} grep -v -E {} file2.csv