Comment grep un fichier texte contenant des données binaires?

grep renvoie

Correspondances du fichier binaire test.log

Par exemple

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Je souhaite que le résultat affiche line1 et line3 (total deux lignes).

Est-il possible d'utiliser trconvertir les données non imprimables en données lisibles, pour permettre à grep de fonctionner à nouveau?

Vous pouvez exécuter le fichier de données, par cat -vexemple

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

qui pourrait être ensuite post-traité pour supprimer le courrier indésirable; ceci est le plus similaire à votre requête sur l'utilisation trpour la tâche.

grep -a

Ça ne peut pas être plus simple que ça.

Une façon est de simplement traiter les fichiers binaires comme du texte de toute façon, grep --textmais cela peut entraîner l'envoi d'informations binaires à votre terminal. Ce n'est pas vraiment une bonne idée si vous exécutez un terminal qui interprète le flux de sortie (tel que VT / DEC ou bien d'autres).

Vous pouvez également envoyer votre fichier via trla commande suivante:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Cela changera tout ce qui est inférieur à un caractère d'espace (sauf le saut de ligne) et tout ce qui est supérieur à 126 en un .caractère, ne laissant que les imprimables.

Si vous voulez que chaque caractère "illégal" soit remplacé par un autre, vous pouvez utiliser quelque chose comme le programme C suivant, un filtre d'entrée standard classique:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Cela vous donnera {{NN}}, où NNest le code hexadécimal du caractère. Vous pouvez simplement ajuster le printfpour le style de sortie souhaité.

Vous pouvez voir ce programme en action ici, où il:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Vous pouvez utiliser des "chaînes" pour extraire des chaînes d'un fichier binaire, par exemple

strings binary.file | grep foo

Vous pouvez forcer grep à regarder les fichiers binaires avec:

grep --binary-files=text

Vous voudrez peut-être aussi ajouter -o( --only-matching) pour ne pas avoir des tonnes de charabia binaire qui dérangeront votre terminal.

À partir de Grep 2.21, les fichiers binaires sont traités différemment :

Lors de la recherche de données binaires, grep peut désormais traiter les octets non textuels comme des terminateurs de ligne. Cela peut améliorer considérablement les performances.

Donc, ce qui se passe maintenant, c'est qu'avec les données binaires, tous les octets non textuels (y compris les retours à la ligne) sont traités comme des terminateurs de ligne. Si vous souhaitez modifier ce comportement, vous pouvez:

• utiliser --text. Cela garantira que seules les nouvelles lignes sont des terminateurs de ligne

• utiliser --null-data. Cela garantira que seuls les octets nuls sont des terminateurs de ligne

grep -a forcera grep à rechercher et à sortir d'un fichier que grep pense être binaire. grep -a re test.log

Comme James Selvakumar l'a déjà dit, grep -afait l'affaire. -a ou --text force Grep à gérer le flux d'entrée sous forme de texte. Voir la page de manuel http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

essayer

cat test.log | grep -a somestring

tu peux faire

strings test.log | grep -i

cela convertira la sortie de données sous forme de chaîne lisible en grep.

Vous pouvez également essayer l' outil Word Extractor . Word Extractor peut être utilisé avec n'importe quel fichier de votre ordinateur pour séparer les chaînes contenant du texte / des mots humains du code binaire (applications exe, DLL).

Voici ce que j'ai utilisé dans un système sur lequel la commande "strings" n'était pas installée

cat yourfilename | tr -cd "[:print:]"

Cela imprime le texte et supprime les caractères non imprimables d'un seul coup, contrairement à "cat -v filename" qui nécessite un post-traitement pour supprimer les éléments indésirables. Notez que certaines des données binaires peuvent être imprimables, vous aurez donc toujours du charabia entre les bonnes choses. Je pense que les cordes suppriment également ce charabia si vous pouvez l'utiliser.