Rechercher et remplacer à l'intérieur d'un fichier texte à partir d'une commande Bash

Quelle est la manière la plus simple de rechercher et remplacer une chaîne d'entrée donnée, par exemple abc, et de la remplacer par une autre chaîne, par exemple XYZdans un fichier /tmp/file.txt?

J'écris une application et j'utilise IronPython pour exécuter des commandes via SSH - mais je ne connais pas bien Unix et je ne sais pas quoi chercher.

J'ai entendu dire que Bash, en plus d'être une interface de ligne de commande, peut être un langage de script très puissant. Donc, si cela est vrai, je suppose que vous pouvez effectuer des actions comme celles-ci.

Puis-je le faire avec bash, et quel est le script le plus simple (une ligne) pour atteindre mon objectif?

La façon la plus simple est d'utiliser sed (ou perl):

sed -i -e 's/abc/XYZ/g' /tmp/file.txt

Qui invoquera sed pour effectuer une modification sur place en raison de l' -ioption. Cela peut être appelé depuis bash.

Si vous voulez vraiment vraiment utiliser simplement bash, alors ce qui suit peut fonctionner:

while read a; do
    echo ${a//abc/XYZ}
done < /tmp/file.txt > /tmp/file.txt.t
mv /tmp/file.txt{.t,}

Cela boucle sur chaque ligne, fait une substitution et écrit dans un fichier temporaire (ne veut pas encombrer l'entrée). Le déplacement à la fin se déplace simplement temporairement vers le nom d'origine.

La manipulation de fichiers n'est pas normalement effectuée par Bash, mais par des programmes invoqués par Bash, par exemple:

perl -pi -e 's/abc/XYZ/g' /tmp/file.txt

Le -idrapeau lui dit de faire un remplacement sur place.

Voir man perlrunpour plus de détails, y compris comment effectuer une sauvegarde du fichier d'origine.

J'ai été surpris quand je suis tombé sur ça ...

Il y a une replacecommande livrée avec le "mysql-server"paquet, donc si vous l'avez installé, essayez-le:

# replace string abc to XYZ in files
replace "abc" "XYZ" -- file.txt file2.txt file3.txt

# or pipe an echo to replace
echo "abcdef" |replace "abc" "XYZ"

Voir man replacepour en savoir plus.

Il s'agit d'un ancien article, mais pour tous ceux qui souhaitent utiliser des variables comme @centurian a déclaré que les guillemets simples signifient que rien ne sera développé.

Un moyen simple pour obtenir des variables est de faire une concaténation de chaînes puisque cela se fait par juxtaposition dans bash, ce qui suit devrait fonctionner:

sed -i -e "s/$var1/$var2/g" /tmp/file.txt

Bash, comme d'autres shells, n'est qu'un outil pour coordonner d'autres commandes. En général, vous essayez d'utiliser des commandes UNIX standard, mais vous pouvez bien sûr utiliser Bash pour appeler n'importe quoi, y compris vos propres programmes compilés, d'autres scripts shell, des scripts Python et Perl, etc.

Dans ce cas, il existe deux façons de procéder.

Si vous voulez lire un fichier et l'écrire dans un autre fichier, en faisant une recherche / remplacement au fur et à mesure, utilisez sed:

sed 's/abc/XYZ/g' <infile >outfile

Si vous souhaitez éditer le fichier sur place (comme si vous ouvriez le fichier dans un éditeur, le modifiiez, puis l'enregistriez), fournissez des instructions à l'éditeur de ligne 'ex'

echo "%s/abc/XYZ/g
w
q
" | ex file

Ex est comme vi sans le mode plein écran. Vous pouvez lui donner les mêmes commandes que vous le feriez à l'invite ':' de vi.

J'ai trouvé ce fil entre autres et je suis d'accord qu'il contient les réponses les plus complètes donc j'ajoute le mien aussi:

1. sedet edsont si utiles ... à la main. Regardez ce code de @Johnny:

   sed -i -e 's/abc/XYZ/g' /tmp/file.txt

2. Lorsque ma restriction est de l'utiliser dans un script shell, aucune variable ne peut être utilisée à la place de "abc" ou "XYZ". Le BashFAQ semble être d'accord avec ce que je comprends au moins. Donc, je ne peux pas utiliser:

   x='abc'
   y='XYZ'
   sed -i -e 's/$x/$y/g' /tmp/file.txt
   #or,
   sed -i -e "s/$x/$y/g" /tmp/file.txt
   

   Mais que pouvons-nous faire? Comme, @Johnny a dit utiliser un while read...mais, malheureusement, ce n'est pas la fin de l'histoire. Les éléments suivants ont bien fonctionné avec moi:

   #edit user's virtual domain
   result=
   #if nullglob is set then, unset it temporarily
   is_nullglob=$( shopt -s | egrep -i '*nullglob' )
   if [[ is_nullglob ]]; then
      shopt -u nullglob
   fi
   while IFS= read -r line; do
      line="${line//'<servername>'/$server}"
      line="${line//'<serveralias>'/$alias}"
      line="${line//'<user>'/$user}"
      line="${line//'<group>'/$group}"
      result="$result""$line"'\n'
   done < $tmp
   echo -e $result > $tmp
   #if nullglob was set then, re-enable it
   if [[ is_nullglob ]]; then
      shopt -s nullglob
   fi
   #move user's virtual domain to Apache 2 domain directory
   ......
   

3. Comme on peut voir si nullglobest défini alors, il se comporte étrangement quand il y a une chaîne contenant un *comme dans:

   <VirtualHost *:80>
    ServerName www.example.com
   

   qui devient

   <VirtualHost ServerName www.example.com

   il n'y a pas de support d'angle de fin et Apache2 ne peut même pas se charger.

4. Ce type d'analyse devrait être plus lent que la recherche et le remplacement en une seule fois, mais, comme vous l'avez déjà vu, il existe quatre variables pour quatre modèles de recherche différents fonctionnant sur un cycle d'analyse.

La solution la plus appropriée à laquelle je peux penser avec les hypothèses données du problème.

Vous pouvez utiliser sed:

sed -i 's/abc/XYZ/gi' /tmp/file.txt

Utilisez -ipour "ignorer la casse" si vous n'êtes pas sûr que le texte à trouver soit abcou ABCou AbC, etc.

Vous pouvez utiliser findet sedsi vous ne connaissez pas votre nom de fichier:

find ./ -type f -exec sed -i 's/abc/XYZ/gi' {} \;

Recherchez et remplacez dans tous les fichiers Python:

find ./ -iname "*.py" -type f -exec sed -i 's/abc/XYZ/gi' {} \;

Vous pouvez également utiliser la edcommande pour effectuer une recherche dans le fichier et remplacer:

# delete all lines matching foobar 
ed -s test.txt <<< $'g/foobar/d\nw' 

Voir plus dans " Édition de fichiers via des scripts aveced ".

Si le fichier sur lequel vous travaillez n'est pas si volumineux et que le stockage temporaire dans une variable ne pose aucun problème, vous pouvez utiliser la substitution de chaîne Bash sur l'ensemble du fichier à la fois - il n'est pas nécessaire de le parcourir ligne par ligne:

file_contents=$(</tmp/file.txt)
echo "${file_contents//abc/XYZ}" > /tmp/file.txt

L'ensemble du contenu du fichier sera traité comme une longue chaîne, y compris les sauts de ligne.

XYZ peut être une variable par exemple $replacement, et un avantage de ne pas utiliser sed ici est que vous n'avez pas à vous soucier du fait que la chaîne de recherche ou de remplacement puisse contenir le caractère de délimitation du modèle sed (généralement, mais pas nécessairement, /). Un inconvénient n'est pas de pouvoir utiliser des expressions régulières ou l'une des opérations plus sophistiquées de sed.

Soyez prudent si vous remplacez les URL par le caractère "/".

Un exemple de comment le faire:

sed -i "s%http://domain.com%http://www.domain.com/folder/%g" "test.txt"

Extrait de: http://www.sysadmit.com/2015/07/linux-reemplazar-texto-en-archivos-con-sed.html

Essayez la commande shell suivante:

find ./  -type f -name "file*.txt" | xargs sed -i -e 's/abc/xyz/g'

Pour modifier le texte du fichier de manière non interactive, vous avez besoin d'un éditeur de texte sur place tel que vim.

Voici un exemple simple comment l'utiliser à partir de la ligne de commande:

vim -esnc '%s/foo/bar/g|:wq' file.txt

C'est équivalent à la réponse @slim de l' ancien éditeur qui est fondamentalement la même chose.

Voici quelques exexemples pratiques.

Remplacer le texte foopar bardans le fichier:

ex -s +%s/foo/bar/ge -cwq file.txt

Suppression des espaces de fin pour plusieurs fichiers:

ex +'bufdo!%s/\s\+$//e' -cxa *.txt

Dépannage (lorsque le terminal est bloqué):

• Ajoutez un -V1paramètre pour afficher les messages détaillés.
• Force de quitter par: -cwq!.

Voir également:

• Comment éditer des fichiers de manière non interactive (par exemple dans un pipeline)? à Vi SE

Vous pouvez également utiliser python dans le script bash. Je n'ai pas eu beaucoup de succès avec certaines des meilleures réponses ici, et j'ai trouvé que cela fonctionnait sans avoir besoin de boucles:

#!/bin/bash
python
filetosearch = '/home/ubuntu/ip_table.txt'
texttoreplace = 'tcp443'
texttoinsert = 'udp1194'

s = open(filetosearch).read()
s = s.replace(texttoreplace, texttoinsert)
f = open(filetosearch, 'w')
f.write(s)
f.close()
quit()

Vous pouvez utiliser la commande rpl. Par exemple, vous souhaitez modifier le nom de domaine dans l'ensemble du projet php.

rpl -ivRpd -x'.php' 'old.domain.name' 'new.domain.name' ./path_to_your_project_folder/  

Ce n'est pas une cause claire, mais c'est très rapide et utile. :)