Compter toutes les occurrences d'une chaîne dans de nombreux fichiers avec grep

J'ai un tas de fichiers journaux. J'ai besoin de savoir combien de fois une chaîne se produit dans tous les fichiers.

grep -c string *

Retour

...
file1:1
file2:0
file3:0
...

En utilisant un canal, j'ai pu obtenir uniquement des fichiers qui ont une ou plusieurs occurrences:

grep -c string * | grep -v :0

...
file4:5
file5:1
file6:2
...

Comment puis-je obtenir uniquement le nombre combiné? (S'il revient file4:5, file5:1, file6:2, je veux en revenir 8.)

cat * | grep -c string

Cela fonctionne pour plusieurs occurrences par ligne:

grep -o string * | wc -l

grep -oh string * | wc -w

comptera plusieurs occurrences dans une ligne

Au lieu d'utiliser -c, dirigez-le simplement vers wc -l.

grep string * | wc -l

Cela répertoriera chaque occurrence sur une seule ligne, puis comptera le nombre de lignes.

Cependant, cela manquera les cas où la chaîne se produit 2 fois ou plus sur une même ligne.

cat * | grep -c string

L'une des rares applications utiles de cat.

Quelque chose de différent de toutes les réponses précédentes:

perl -lne '$count++ for m/<pattern>/g;END{print $count}' *

Vous pouvez ajouter -Rà la recherche récursivement (et éviter d'utiliser cat) et -Iignorer les fichiers binaires.

grep -RIc string .

Solution AWK obligatoire:

grep -c string * | awk 'BEGIN{FS=":"}{x+=$2}END{print x}'

Attention cependant si les noms de vos fichiers contiennent ":".

La solution AWK qui gère également les noms de fichiers, y compris les deux-points:

grep -c string * | sed -r 's/^.*://' | awk 'BEGIN{}{x+=$1}END{print x}'

Gardez à l'esprit que cette méthode ne trouve toujours pas plusieurs occurrences de stringsur la même ligne.

Si vous souhaitez un nombre d'occurrences par fichier (exemple pour la chaîne "tcp"):

grep -RIci "tcp" . | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Exemple de sortie:

53  ./HTTPClient/src/HTTPClient.cpp
21  ./WiFi/src/WiFiSTA.cpp
19  ./WiFi/src/ETH.cpp
13  ./WiFi/src/WiFiAP.cpp
4   ./WiFi/src/WiFiClient.cpp
4   ./HTTPClient/src/HTTPClient.h
3   ./WiFi/src/WiFiGeneric.cpp
2   ./WiFi/examples/WiFiClientBasic/WiFiClientBasic.ino
2   ./WiFiClientSecure/src/ssl_client.cpp
1   ./WiFi/src/WiFiServer.cpp

Explication:

• grep -RIci NEEDLE . - recherche la chaîne NEEDLE de manière récursive à partir du répertoire courant (suivant les liens symboliques), en ignorant les binaires, en comptant le nombre d'occurrences, en ignorant la casse
• awk ... - cette commande ignore les fichiers avec zéro occurrence et formate les lignes
• sort -hr - trie les lignes dans l'ordre inverse par des nombres dans la première colonne

Bien sûr, cela fonctionne également avec d'autres commandes grep avec l'option -c(count). Par exemple:

grep -c "tcp" *.txt | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Vous pouvez utiliser un simple greppour capturer efficacement le nombre d'occurrences. J'utiliserai l' -ioption pour m'assurer d' STRING/StrING/stringêtre correctement capturé.

Ligne de commande qui donne le nom des fichiers:

grep -oci string * | grep -v :0

Ligne de commande qui supprime les noms de fichiers et affiche 0 s'il y a un fichier sans occurrence:

grep -ochi string *

variante récursive courte :

find . -type f -exec cat {} + | grep -c 'string'

Grep seule solution que j'ai testée avec grep pour windows:

grep -ro "pattern to find in files" "Directory to recursively search" | grep -c "pattern to find in files"

Cette solution comptera toutes les occurrences même s'il y en a plusieurs sur une même ligne. -rrecherche récursivement dans le répertoire, -o"n'affichera que la partie d'une ligne correspondant au MOTIF" - c'est ce qui divise plusieurs occurrences sur une seule ligne et fait grep imprimer chaque correspondance sur une nouvelle ligne; redirigez ensuite ces résultats séparés par des sauts de ligne dans grep avec -cpour compter le nombre d'occurrences en utilisant le même modèle.

Voici une autre façon de procéder AWK plus rapide que grep, qui gère plusieurs correspondances <url>par ligne, dans une collection de fichiers XML dans un répertoire:

awk '/<url>/{m=gsub("<url>","");total+=m}END{print total}' some_directory/*.xml

Cela fonctionne bien dans les cas où certains fichiers XML n'ont pas de sauts de ligne.

Un autre oneliner utilisant des fonctions de ligne de commande de base gérant plusieurs occurrences par ligne.

 cat * |sed s/string/\\\nstring\ /g |grep string |wc -l