Comment est-ce que je grep pour tous les caractères non-ASCII?

J'ai plusieurs fichiers XML très volumineux et j'essaie de trouver les lignes qui contiennent des caractères non ASCII. J'ai essayé ce qui suit:

grep -e "[\x{00FF}-\x{FFFF}]" file.xml

Mais cela renvoie toutes les lignes du fichier, que la ligne contienne ou non un caractère dans la plage spécifiée.

La syntaxe est-elle incorrecte ou est-ce que je fais autre chose de mal? J'ai aussi essayé:

egrep "[\x{00FF}-\x{FFFF}]" file.xml 

(avec des guillemets simples et doubles entourant le motif).

Vous pouvez utiliser la commande:

grep --color='auto' -P -n "[\x80-\xFF]" file.xml

Cela vous donnera le numéro de ligne et mettra en évidence les caractères non ascii en rouge.

Dans certains systèmes, en fonction de vos paramètres, ce qui précède ne fonctionnera pas, vous pouvez donc grep par l'inverse

grep --color='auto' -P -n "[^\x00-\x7F]" file.xml

Notez également que le bit important est le -Pdrapeau qui équivaut à --perl-regexp: il interprétera donc votre modèle comme une expression régulière Perl. Il dit également que

ceci est hautement expérimental et grep -P peut avertir des fonctionnalités non implémentées.

Au lieu de faire des hypothèses sur la plage d'octets des caractères non ASCII, comme le font la plupart des solutions ci-dessus, il est légèrement préférable que l'OMI soit explicite sur la plage d'octets réelle des caractères ASCII.

Ainsi, la première solution par exemple deviendrait:

grep --color='auto' -P -n '[^\x00-\x7F]' file.xml

(qui recherche essentiellement tout caractère en dehors de la plage ASCII hexadécimale: de \ x00 à \ x7F)

Sur Mountain Lion, cela ne fonctionnera pas (en raison du manque de prise en charge PCRE dans BSD grep) , mais avec pcreinstallé via Homebrew, les éléments suivants fonctionneront tout aussi bien:

pcregrep --color='auto' -n '[^\x00-\x7F]' file.xml

Des avantages ou des inconvénients auxquels tout le monde peut penser?

Ce qui suit fonctionne pour moi:

grep -P "[\x80-\xFF]" file.xml

Les caractères non ASCII commencent à 0x80 et vont à 0xFF lorsque vous regardez les octets. Grep (et la famille) ne fait pas de traitement Unicode pour fusionner des caractères multi-octets en une seule entité pour la correspondance regex comme vous semblez le vouloir. L' -Poption dans mon grep permet d'utiliser des \xddéchappements dans les classes de caractères pour accomplir ce que vous voulez.

En perl

perl -ane '{ if(m/[[:^ascii:]]/) { print  } }' fileName > newFile

Le moyen le plus simple est de définir un caractère non ASCII ... comme un caractère qui n'est pas un caractère ASCII.

LC_ALL=C grep '[^ -~]' file.xml

Ajoutez un onglet après le ^si nécessaire.

Le réglage LC_COLLATE=Cévite les mauvaises surprises sur la signification des plages de caractères dans de nombreux paramètres régionaux. Le réglage LC_CTYPE=Cest nécessaire pour faire correspondre les caractères à un octet - sinon la commande manquerait des séquences d'octets invalides dans le codage actuel. Le réglage LC_ALL=Cévite complètement les effets locaux.

Voici une autre variante que j'ai trouvée qui a produit des résultats complètement différents de la recherche grep [\x80-\xFF]dans la réponse acceptée. Il sera peut-être utile à quelqu'un de trouver des caractères non ascii supplémentaires:

grep --color='auto' -P -n "[^[:ascii:]]" myfile.txt

Remarque: le grep de mon ordinateur (un Mac) n'avait pas d' -Poption, donc je l'ai fait brew install grepet j'ai commencé l'appel ci-dessus avec ggrepau lieu de grep.

Le code suivant fonctionne:

find /tmp | perl -ne 'print if /[^[:ascii:]]/'

Remplacez /tmppar le nom du répertoire que vous souhaitez rechercher.

Recherche de caractères non imprimables. TLDR; Résumé

1. recherche de caractères de contrôle ET d'unicode étendu
2. paramètre local par exemple LC_ALL=Cnécessaire pour que grep fasse ce que vous attendez avec unicode étendu

SO les trouveurs de caractères non ascii préférés:

$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test

comme dans la première réponse, la grep inverse:

$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test

comme dans la première réponse mais AVEC LC_ALL=C:

$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test

. . plus . . détail atroce à ce sujet:. . .

Je suis d'accord avec Harvey ci-dessus enterré dans les commentaires, il est souvent plus utile de rechercher des caractères non imprimables OU il est facile de penser non ASCII alors que vous devriez vraiment penser non imprimable. Harvey suggère "utilisez ceci:" [^\n -~]". Ajoutez \ r pour les fichiers texte DOS. Cela se traduit par" [^\x0A\x020-\x07E]"et ajoutez \ x0D pour CR"

De plus, l'ajout de -c (afficher le nombre de modèles correspondants) à grep est utile lors de la recherche de caractères non imprimables car les chaînes correspondantes peuvent perturber le terminal.

J'ai trouvé que l'ajout de la plage 0-8 et 0x0e-0x1f (à la plage 0x80-0xff) est un modèle utile. Cela exclut le TAB, le CR et le LF et un ou deux autres caractères imprimables rares. Donc, à mon humble avis, un modèle de grep assez utile (quoique brut) est celui-ci:

grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" *

RÉELLEMENT, vous devrez généralement faire ceci:

LC_ALL=C grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" *

panne:

LC_ALL=C - set locale to C, otherwise many extended chars will not match (even though they look like they are encoded > 0x80)
\x00-\x08 - non-printable control chars 0 - 7 decimal
\x0E-\x1F - more non-printable control chars 14 - 31 decimal
\x80-1xFF - non-printable chars > 128 decimal
-c - print count of matching lines instead of lines
-P - perl style regexps

Instead of -c you may prefer to use -n (and optionally -b) or -l
-n, --line-number
-b, --byte-offset
-l, --files-with-matches

Exemple d'utilisation pratique de find pour grep tous les fichiers du répertoire courant:

LC_ALL=C find . -type f -exec grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" {} + 

Vous pouvez parfois ajuster le grep. Par exemple, le caractère BS (0x08 - backspace) utilisé dans certains fichiers imprimables ou pour exclure VT (0x0B - onglet vertical). Les caractères BEL (0x07) et ESC (0x1B) peuvent également être considérés comme imprimables dans certains cas.

Non-Printable ASCII Chars
** marks PRINTABLE but CONTROL chars that is useful to exclude sometimes
Dec   Hex Ctrl Char description           Dec Hex Ctrl Char description
0     00  ^@  NULL                        16  10  ^P  DATA LINK ESCAPE (DLE)
1     01  ^A  START OF HEADING (SOH)      17  11  ^Q  DEVICE CONTROL 1 (DC1)
2     02  ^B  START OF TEXT (STX)         18  12  ^R  DEVICE CONTROL 2 (DC2)
3     03  ^C  END OF TEXT (ETX)           19  13  ^S  DEVICE CONTROL 3 (DC3)
4     04  ^D  END OF TRANSMISSION (EOT)   20  14  ^T  DEVICE CONTROL 4 (DC4)
5     05  ^E  END OF QUERY (ENQ)          21  15  ^U  NEGATIVE ACKNOWLEDGEMENT (NAK)
6     06  ^F  ACKNOWLEDGE (ACK)           22  16  ^V  SYNCHRONIZE (SYN)
7     07  ^G  BEEP (BEL)                  23  17  ^W  END OF TRANSMISSION BLOCK (ETB)
8     08  ^H  BACKSPACE (BS)**            24  18  ^X  CANCEL (CAN)
9     09  ^I  HORIZONTAL TAB (HT)**       25  19  ^Y  END OF MEDIUM (EM)
10    0A  ^J  LINE FEED (LF)**            26  1A  ^Z  SUBSTITUTE (SUB)
11    0B  ^K  VERTICAL TAB (VT)**         27  1B  ^[  ESCAPE (ESC)
12    0C  ^L  FF (FORM FEED)**            28  1C  ^\  FILE SEPARATOR (FS) RIGHT ARROW
13    0D  ^M  CR (CARRIAGE RETURN)**      29  1D  ^]  GROUP SEPARATOR (GS) LEFT ARROW
14    0E  ^N  SO (SHIFT OUT)              30  1E  ^^  RECORD SEPARATOR (RS) UP ARROW
15    0F  ^O  SI (SHIFT IN)               31  1F  ^_  UNIT SEPARATOR (US) DOWN ARROW

MISE À JOUR: J'ai dû revoir cela récemment. Et, YYMV en fonction des paramètres du terminal / des prévisions météorologiques solaires MAIS. . J'ai remarqué que grep ne trouvait pas beaucoup de caractères unicode ou étendus. Même si intuitivement, ils doivent correspondre à la plage 0x80 à 0xff, les caractères unicode à 3 et 4 octets ne correspondent pas. ??? Quelqu'un peut-il expliquer cela? OUI. @frabjous a demandé et @calandoa a expliqué que cela LC_ALL=Cdevrait être utilisé pour définir les paramètres régionaux pour que la commande fasse correspondre grep.

par exemple, mes paramètres régionaux sont LC_ALL=vides

$ locale
LANG=en_IE.UTF-8
LC_CTYPE="en_IE.UTF-8"
.
.
LC_ALL=

grep avec LC_ALL=vide correspond à des caractères codés sur 2 octets mais pas codés sur 3 et 4 octets:

$ grep -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" notes_unicode_emoji_test
5:© copyright c2a9
7:call  underscore c2a0
9:CTRL
31:5 © copyright
32:7 call  underscore

grep with LC_ALL=Csemble correspondre à tous les caractères étendus que vous souhaitez:

$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test  
1:���� unicode dashes e28090
3:��� Heart With Arrow Emoji - Emojipedia == UTF8? f09f9298
5:� copyright c2a9
7:call� underscore c2a0
11:LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other e38182 e38184 . . e0a487
29:1 ���� unicode dashes
30:3 ��� Heart With Arrow Emoji - Emojipedia == UTF8 e28090
31:5 � copyright
32:7 call� underscore
33:11 LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other
34:52 LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other
81:LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other

CETTE correspondance perl (partiellement trouvée ailleurs sur stackoverflow) OU l'inverse grep sur la réponse du haut semble trouver TOUS les caractères ~ bizarre ~ et ~ merveilleux ~ "non-ascii" sans définir les paramètres régionaux:

$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test

$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test  

1 ‐‐ unicode dashes e28090
3 💘 Heart With Arrow Emoji - Emojipedia == UTF8? f09f9298
5 © copyright c2a9
7 call  underscore c2a0
9 CTRL-H CHARS URK URK URK 
11 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other e38182 e38184 . . e0a487
29 1 ‐‐ unicode dashes
30 3 💘 Heart With Arrow Emoji - Emojipedia == UTF8 e28090
31 5 © copyright
32 7 call  underscore
33 11 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other
34 52 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other
73 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other

SO les trouveurs de caractères non ascii préférés:

$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test

comme dans la première réponse, la grep inverse:

$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test

comme dans la première réponse mais AVEC LC_ALL=C:

$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test

Étrangement, je devais le faire aujourd'hui! J'ai fini par utiliser Perl parce que je ne pouvais pas faire fonctionner grep / egrep (même en mode -P). Quelque chose comme:

cat blah | perl -en '/\xCA\xFE\xBA\xBE/ && print "found"'

Pour les caractères unicode (comme \u2212dans l'exemple ci-dessous), utilisez ceci:

find . ... -exec perl -CA -e '$ARGV = @ARGV[0]; open IN, $ARGV; binmode(IN, ":utf8"); binmode(STDOUT, ":utf8"); while (<IN>) { next unless /\N{U+2212}/; print "$ARGV: $&: $_"; exit }' '{}' \;

Il pourrait être intéressant de savoir comment rechercher un caractère unicode. Cette commande peut vous aider. Il vous suffit de connaître le code en UTF8

grep -v $'\u200d'

La recherche de tous les caractères non-ascii donne l'impression que l'on recherche des chaînes unicode ou a l'intention de supprimer lesdits caractères individuellement.

Pour les premiers, essayez l'un d'eux (la variable fileest utilisée pour l'automatisation):

 file=file.txt ; LC_ALL=C grep -Piao '[\x80-\xFF\x20]{7,}' $file | iconv -f $(uchardet $file) -t utf-8

 file=file.txt ; pcregrep -iao '[\x80-\xFF\x20]{7,}' $file | iconv -f $(uchardet $file) -t utf-8

 file=file.txt ; pcregrep -iao '[^\x00-\x19\x21-\x7F]{7,}' $file | iconv -f $(uchardet $file) -t utf-8

Le grep de vanille ne fonctionne pas correctement sans LC_ALL = C comme indiqué dans les réponses précédentes.

La plage ASCII est x00-x7F, l'espace est x20, puisque les chaînes ont des espaces, la plage négative l'omet.

La plage non ASCII est x80-xFF, puisque les chaînes ont des espaces, la plage positive l'ajoute.

La chaîne est présumée être au moins 7 caractères consécutifs dans la plage. {7,}.

Pour une sortie lisible par le shell, uchardet $filerenvoie une estimation du codage du fichier qui est passé à iconv pour une interpolation automatique.