Comment puis-je grep récursivement à travers les fichiers .gz?

J'utilise un script pour télécharger régulièrement mes messages Gmail qui compresse le fichier .eml brut en fichiers .gz. Le script crée un dossier pour chaque jour, puis compresse chaque message dans son propre fichier.

Je voudrais un moyen de rechercher dans cette archive une "chaîne".

Grep seul ne semble pas le faire. J'ai aussi essayé SearchMonkey.

Si vous voulez grep récursivement dans tous les fichiers .eml.gz du répertoire en cours, vous pouvez utiliser:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

Vous devez échapper au premier *afin que le shell ne l'interprète pas. -print0indique à find d'imprimer un caractère nul après chaque fichier trouvé; xargs -0lit à partir de l'entrée standard et exécute la commande après pour chaque fichier; zgrepfonctionne comme grep, mais décompresse d'abord le fichier.

Il y a beaucoup de confusion ici car il n'y en a pas qu'un zgrep. J'ai deux versions sur mon système, zgrepde gzipet zgrepde zutils. Le premier est juste un script wrapper qui appelle gzip -cdfq. Il ne supporte pas le -r, --recursivecommutateur. ¹
Ce dernier est un c++programme et il prend en charge l' -r, --recursiveoption.
Running zgrep --version | head -n 1indiquera lequel (le cas échéant) est la valeur par défaut:

zgrep (gzip) 1.6

est le script wrapper,

zgrep (zutils) 1.3

est l' cppexécutable.
Si vous avez ce dernier, vous pouvez exécuter:

zgrep 'pattern' -r --format=gz /path/to/dir

Quoi qu'il en soit, comme suggéré, find+ zgrepfonctionnera également bien avec l'une ou l'autre version de zgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

Si zgrepest absent de votre système (hautement improbable), vous pouvez essayer avec:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

mais il y a un inconvénient majeur: vous ne saurez pas où se trouvent les correspondances car aucun nom de fichier n'est ajouté aux lignes correspondantes.

^{1: parce que ce serait problématique}

agest une variante de grep, avec quelques fonctionnalités supplémentaires intéressantes.

• a l'option -z pour les fichiers compressés,
• a beaucoup de fonctionnalités ack.
• c'est rapide

Alors:

ag -r -z your-pattern-goes-here   folder

Si non installé,

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

La récursion seule est facile:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

Cependant, pour les fichiers compressés, vous avez besoin de quelque chose comme:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory devrait être le répertoire parent contenant les sous-répertoires de chaque jour.

zgrepest la réponse évidente, mais, malheureusement, il ne supporte pas le -rdrapeau. De man zgrep:

Ces options de grep entraîneront l'arrêt de zgrep avec un code d'erreur: (- [d rR zZ ] | --di * | --exc * | --inc * | --rec * | --nu *).

Si votre système a zgrep, vous pouvez simplement

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

Si votre système ne dispose pas de zgrep, vous pouvez utiliser la commande find pour exécuter zcat et grep sur chaque fichier de la manière suivante:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "chaîne" ./*/*.eml.gz

xzgrep est un dérivé des utils zgrep (less / bin / xzgrep)

Depuis la page de manuel:

xzgrep appelle grep (1) sur les fichiers décompressés ou compressés avec xz (1), lzma (1), gzip (1), bzip2 (1) ou lzop (1). Toutes les options spécifiées sont passées directement à grep (1).

-l affiche le nom du fichier correspondant

-R pour la récursion ne fonctionnera pas car il est spécifiquement interdit dans le script, mais une simple manipulation de shell devrait nous y amener

./*/*.eml.gz

à partir d'un chemin relatif où ./today/sample.eml.gz, une correspondance sur toutes les instances correspondant à un niveau inférieur à notre position relative dans le shell, qui se termine par ".eml.gz"