Supprimez toutes les lignes du fichier A qui contiennent les chaînes du fichier B

J'ai un fichier CSV users.csvavec une liste de UserNames, userIDs et autres données:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"Paul McCartny", 30923833, "left", "black"
"Ringo Starr", 77392318, "right", "blue"
"George Harrison", 72349482, "left", "green"

Dans un autre fichier, toremove.txtj'ai une liste d'utilisateurs:

30923833
77392318

Existe-t-il un moyen intelligent et efficace de supprimer toutes les lignes du users.csvfichier contenant les ID toremove.txt? J'ai écrit une simple application Python pour analyser les deux fichiers et écrire dans un nouveau fichier uniquement les lignes qui ne se trouvent pas toremove.txt, mais c'est extrêmement lent. Peut-être que certains sedou la awkmagie peuvent aider ici?

C'est le résultat souhaité, compte tenu des exemples ci-dessus:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Avec grep, vous pouvez faire:

$ grep -vwF -f toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Avec awk:

$ awk -F'[ ,]' 'FNR==NR{a[$1];next} !($4 in a)' toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Voici la awkréponse de Gnouc , modifiée pour être aveugle à l'espace:

awk -F, 'FNR==NR{a[$1];next} !(gensub("^ *","",1,$2) in a)' toremove.txt users.csv

Puisqu'il n'utilise que des virgules (et non des espaces) comme délimiteurs, $1is "John Lennon", $2is  90123412(avec un espace de tête), etc. Nous utilisons donc gensubpour supprimer n'importe quel nombre d'espaces de tête $2 avant de vérifier s'il (l'ID utilisateur) était dans le toremove.txtfichier.

OK d'une manière rubis: si vous avez une liste de chaînes dans un fichier et que vous souhaitez supprimer toutes les lignes d'un autre fichier qui contiennent même n'importe quelle chaîne dans le premier fichier (dans ce cas, supprimer "fichier2" de "fichier1") fichier ruby :

b=File.read("file2").split # subtract this one out
remove_regex = Regexp.new(b.join('|'))
File.open("file1", "r").each_line do |line|
  if line !~ remove_regex
    puts line
  end
end

malheureusement, avec un gros fichier "à supprimer", cela semble dégrader la complexité en O (N ^ 2) (mon hypothèse est que l'expression régulière a beaucoup de travail à faire), mais peut encore être utile à quelqu'un là-bas (si vous veulent plus que la suppression des lignes complètes). Cela pourrait être plus rapide dans certains cas.

Une autre option si vous optez pour la vitesse consiste à utiliser le même mécanisme de vérification du hachage, mais à "analyser" soigneusement la ligne pour les chaînes qui pourraient correspondre, puis à les comparer avec votre hachage.

En rubis, cela pourrait ressembler à ceci:

b=File.read("file2").split # subtract this one out
hash={}
for line in b
  hash[line] = 1
end

ARGF.each_line do |line|
  ok = true
  for number in line.scan(/\d{9}/)
    if hash.key? number
      ok=false
    end
  end
  if (ok)
    puts line
  end
end

Voir aussi la réponse de Scott, similaire aux réponses awk proposées ici, et évite la complexité O (N ^ 2) (ouf).