Suppression de tous les caractères non ascii d'un workflow (fichier)

Comment supprimer tous les caractères non ascii d'un fichier? Y aurait-il une commande spécifique pour effectuer cela?

grep --colour='auto' -P -n'[^\x00-\x7]' /usr/local/...

Je crois que cela trouve les personnages dans le flux de travail, mais comment supprimer toutes les instances des personnages en question?

Les caractères ASCII sont des caractères compris entre 0 et 177 (octal) inclusivement .

Pour supprimer des caractères hors de cette plage dans un fichier, utilisez

LC_ALL=C tr -dc '\0-\177' <file >newfile

La trcommande est un utilitaire qui fonctionne sur des caractères uniques , soit en les remplaçant par d'autres caractères simples (translittération), soit en les supprimant, soit en compressant des séquences du même caractère en un seul caractère.

La commande ci-dessus lit fileet écrit le contenu modifié dans newfile. L' -doption permettant à trl'utilitaire de supprimer les caractères (au lieu de les translittérer) et de le -cfaire considérer les caractères en dehors de l'intervalle donné (au lieu de l'intérieur).

LC_ALL=Cs'assure que chaque valeur d'octet constitue un caractère valide. Sans cela, certaines trimplémentations seraient abandonnées si elles trouvaient des séquences d'octets qui ne forment pas de caractères valides dans le codage de caractères des paramètres régionaux.

Pour remplacer le fichier d'origine par le fichier modifié, utilisez

LC_ALL=C tr -dc '\0-\177' <file >newfile &&
mv newfile file

Cela renomme le nouveau fichier au nom de l'ancien fichier une fois trterminé. Si trcela ne se termine pas correctement, soit parce qu'il n'a pas pu lire le fichier d'origine ou ne pas écrire dans le nouveau fichier, le fichier d'origine restera inchangé.

Alternativement, pour conserver autant que possible les métadonnées (autorisations, etc.) du fichier d'origine, utilisez

cp file tmpfile &&
LC_ALL=C tr -dc '\0-\177' <tmpfile >file &&
rm tmpfile

Avec perl

perl -pi -e 's/[^[:ascii:]]//g'

Si tout ce dont vous avez besoin est une expression régulière: [\x00-\x7F]que vous pouvez appliquer à plusieurs utilitaires:

<file LC_ALL=C   sed   's/[^\o0-\o177]//g'      # GNU sed without POSIXLY_CORRECT
<file LC_ALL=C   awk   '{gsub(/[^\0-\177]/,"");print}'
<file            perl  -pe 's/[^[:ascii:]]//g;'
<file LC_ALL=C   tr    -dc '\0-\177'

Comprenez que sed, awk et perl attendent des "fichiers texte" tels que définis dans Unix. Tous fonctionnent bien dans ce cas. Mais en particulier, awk ajoute une nouvelle ligne de fin (qu'elle existe ou non dans le fichier source) (l'utilisation de printf supprime TOUS les retours à la ligne en entrée). Le tr est conçu pour fonctionner avec n'importe quel type de fichier. Cependant, NUL ( \0) n'est pas un caractère valide dans un fichier texte POSIX et doit être évité:

Les lignes ne contiennent pas de caractères NUL ...

En fait, de nombreux caractères de contrôle généreraient d'autres problèmes dans certaines conditions spécifiques.
Donc, vous avez probablement besoin[\x07-\x0d\x20-\x7e]

<file LC_ALL=C   sed   's/[^\o007-\o015\o040-\o176]//g'            # GNU sed without POSIXLY_CORRECT
<file LC_ALL=C   awk   '{gsub(/[^\0-\15\40-\176]/,"");print}'
<file            perl  -pe 's/[^\x{7}-\x{d}\x{20}-\x{7e}]//g;'
<file LC_ALL=C   tr    -dc '\7-\15\40-\176'

La plage 7-13 (en décimal) est \a\b\t\n\v\f\r(dans l'ordre).
Une plage similaire (probablement plus portable) pourrait s'écrire [^[:space:][:print:]] (similar because it doesn't include\ a \ b` --bell et backspace--).

<file LC_ALL=C   sed   's/[^[:space:][:print:]]//g'  # GNU sed without POSIXLY_CORRECT
<file LC_ALL=C   awk   '{gsub(/[^[:space:][:print:]]/,"");print}'
<file            perl   -pe 's/[^[:space:][:print:]]//g;'
<file LC_ALL=C   tr     -dc '[:space:][:print:]'

En relation:
Regex n'importe quel caractère ASCII
Solution Perl
Fichier de texte Posix