Comment obtenir la partie d'un fichier après la première ligne qui correspond à une expression régulière?

J'ai un fichier avec environ 1000 lignes. Je veux la partie de mon fichier après la ligne qui correspond à mon instruction grep.

C'est:

$ cat file | grep 'TERMINATE'     # It is found on line 534

Donc, je veux le fichier de la ligne 535 à la ligne 1000 pour un traitement ultérieur.

Comment puis je faire ça?

Ce qui suit imprimera la ligne correspondant TERMINATEjusqu'à la fin du fichier:

sed -n -e '/TERMINATE/,$p'

Expliqué: -n désactive le comportement par défaut sedde l'impression de chaque ligne après avoir exécuté son script dessus, a -eindiqué un script à sed, /TERMINATE/,$est une sélection de plage d'adresses (ligne) signifiant la première ligne correspondant à l' TERMINATEexpression régulière (comme grep) à la fin du fichier ( $) , et pest la commande d'impression qui imprime la ligne courante.

Cela imprimera à partir de la ligne qui suit la ligne correspondant TERMINATEjusqu'à la fin du fichier:
(d'Après la ligne correspondante à EOF, sans inclure la ligne correspondante)

sed -e '1,/TERMINATE/d'

Expliqué: 1,/TERMINATE/ est une sélection de plage d'adresses (ligne) signifiant la première ligne pour l'entrée de la 1ère ligne correspondant à l' TERMINATEexpression régulière, et dest la commande de suppression qui supprime la ligne actuelle et passe à la ligne suivante. Le sedcomportement par défaut étant d'imprimer les lignes, il imprimera les lignes après TERMINATE la fin de l'entrée.

Éditer:

Si vous voulez les lignes avant TERMINATE:

sed -e '/TERMINATE/,$d'

Et si vous voulez les deux lignes avant et après TERMINATEdans 2 fichiers différents en un seul passage:

sed -e '1,/TERMINATE/w before
/TERMINATE/,$w after' file

Les fichiers avant et après contiendront la ligne avec terminate, donc pour traiter chacun d'entre eux, vous devez utiliser:

head -n -1 before
tail -n +2 after

Edit2:

SI vous ne souhaitez pas coder en dur les noms de fichiers dans le script sed, vous pouvez:

before=before.txt
after=after.txt
sed -e "1,/TERMINATE/w $before
/TERMINATE/,\$w $after" file

Mais alors vous devez échapper à la $signification de la dernière ligne pour que le shell n'essaie pas de développer la $wvariable (notez que nous utilisons maintenant des guillemets doubles autour du script au lieu de guillemets simples).

J'ai oublié de dire que la nouvelle ligne est importante après les noms de fichiers dans le script afin que sed sache que les noms de fichiers se terminent.

Edit: 2016-0530

Sébastien Clément a demandé: "Comment remplaceriez-vous le codé TERMINATEen dur par une variable?"

Vous créeriez une variable pour le texte correspondant, puis vous le feriez de la même manière que dans l'exemple précédent:

matchtext=TERMINATE
before=before.txt
after=after.txt
sed -e "1,/$matchtext/w $before
/$matchtext/,\$w $after" file

pour utiliser une variable pour le texte correspondant aux exemples précédents:

## Print the line containing the matching text, till the end of the file:
## (from the matching line to EOF, including the matching line)
matchtext=TERMINATE
sed -n -e "/$matchtext/,\$p"

## Print from the line that follows the line containing the 
## matching text, till the end of the file:
## (from AFTER the matching line to EOF, NOT including the matching line)
matchtext=TERMINATE
sed -e "1,/$matchtext/d"

## Print all the lines before the line containing the matching text:
## (from line-1 to BEFORE the matching line, NOT including the matching line)
matchtext=TERMINATE
sed -e "/$matchtext/,\$d"

Les points importants sur le remplacement du texte par des variables dans ces cas sont:

1. Les variables ( $variablename) entre single quotes[ '] ne "se développeront" pas mais les variables à l'intérieur de double quotes[ "] le seront. Donc, vous devez changer tous les single quotesen double quotess'ils contiennent du texte que vous souhaitez remplacer par une variable.
2. Les sedgammes contiennent également $et sont immédiatement suivies d'une lettre comme: $p, $d, $w. Ils examineront également comme des variables à être étendu, donc vous devez échapper à ces $personnages avec une barre oblique inverse [ \] comme: \$p, \$d, \$w.

Comme simple approximation, vous pouvez utiliser

grep -A100000 TERMINATE file

qui greps pour TERMINATEet produit jusqu'à 100 000 lignes suivant cette ligne.

Depuis la page de manuel

-A NUM, --after-context=NUM

Imprimer NUM lignes de contexte de fin après les lignes correspondantes. Place une ligne contenant un séparateur de groupe (-) entre des groupes de correspondances contigus. Avec l'option -o ou --only-matching, cela n'a aucun effet et un avertissement est donné.

Un outil à utiliser ici est awk:

cat file | awk 'BEGIN{ found=0} /TERMINATE/{found=1}  {if (found) print }'

Comment cela marche-t-il:

1. Nous définissons la variable 'found' à zéro, évaluant false
2. si une correspondance pour 'TERMINATE' est trouvée avec l'expression régulière, nous la définissons sur un.
3. Si notre variable `` trouvé '' donne la valeur True, imprimez :)

Les autres solutions peuvent consommer beaucoup de mémoire si vous les utilisez sur des fichiers très volumineux.

Si je comprends bien votre question, vous voulez les lignes après TERMINATE , sans compter la TERMINATEligne. awkpeut le faire d'une manière simple:

awk '{if(found) print} /TERMINATE/{found=1}' your_file

Explication:

1. Bien que ce ne soit pas la meilleure pratique, vous pouvez vous fier au fait que toutes les variables par défaut sont 0 ou la chaîne vide si elle n'est pas définie. Ainsi, la première expression ( if(found) print) n'imprimera rien pour commencer.
2. Une fois l'impression terminée, nous vérifions s'il s'agit de la ligne de départ (qui ne doit pas être incluse).

Cela imprimera toutes les lignes après la TERMINATEligne.

Généralisation:

• Vous avez un fichier avec début - et fin trapézoidale et vous voulez que les lignes entre les lignes à l' exception du début - et fin trapézoidale.
• Les lignes de début et de fin peuvent être définies par une expression régulière correspondant à la ligne.

Exemple:

$ cat ex_file.txt 
not this line
second line
START
A good line to include
And this line
Yep
END
Nope more
...
never ever
$ awk '/END/{found=0} {if(found) print} /START/{found=1}' ex_file.txt 
A good line to include
And this line
Yep
$

Explication:

1. Si la ligne de fin est trouvée, aucune impression ne doit être effectuée. Notez que cette vérification est effectuée avant l'impression réelle pour exclure la ligne de fin du résultat.
2. Imprimez la ligne actuelle si foundest défini.
3. Si la ligne de départ est trouvée, définissez-la de found=1sorte que les lignes suivantes soient imprimées. Notez que cette vérification est effectuée après l'impression réelle d'exclure le début -ligne du résultat.

Remarques:

• Le code repose sur le fait que tous les awk-vars prennent par défaut la valeur 0 ou la chaîne vide si elle n'est pas définie. Ceci est valide mais peut ne pas être la meilleure pratique afin que vous puissiez ajouter un BEGIN{found=0}au début de l'expression awk.
• Si plusieurs blocs début-fin sont trouvés, ils sont tous imprimés.

Utilisez l'expansion des paramètres bash comme suit:

content=$(cat file)
echo "${content#*TERMINATE}"

grep -A 10000000 fichier 'TERMINATE'

• est beaucoup, beaucoup plus rapide que sed, en particulier sur des fichiers très volumineux. Il fonctionne jusqu'à 10 millions de lignes (ou tout ce que vous mettez), donc pas de mal à le rendre assez grand pour gérer tout ce que vous frappez.

Il existe de nombreuses façons de le faire avec sedou awk:

sed -n '/TERMINATE/,$p' file

Cela recherche TERMINATEdans votre fichier et imprime à partir de cette ligne jusqu'à la fin du fichier.

awk '/TERMINATE/,0' file

C'est exactement le même comportement que sed.

Si vous connaissez le numéro de la ligne à partir de laquelle vous souhaitez démarrer l'impression, vous pouvez le spécifier avec NR(numéro d'enregistrement, qui indique éventuellement le numéro de la ligne):

awk 'NR>=535' file

Exemple

$ seq 10 > a        #generate a file with one number per line, from 1 to 10
$ sed -n '/7/,$p' a
7
8
9
10
$ awk '/7/,0' a
7
8
9
10
$ awk 'NR>=7' a
7
8
9
10

Si pour une raison quelconque, vous souhaitez éviter d'utiliser sed, ce qui suit affichera la ligne correspondant TERMINATEjusqu'à la fin du fichier:

tail -n "+$(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)" file

et ce qui suit sera imprimé à partir de la ligne suivante correspondant TERMINATEjusqu'à la fin du fichier:

tail -n "+$(($(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)+1))" file

Il faut 2 processus pour faire ce que sed peut faire en un seul processus, et si le fichier change entre l'exécution de grep et tail, le résultat peut être incohérent, je recommande donc d'utiliser sed. De plus, si le fichier ne contient pas TERMINATE, la 1ère commande échoue.

Alternatives à l'excellente sedréponse de jfgagne, et qui n'incluent pas la ligne correspondante:

• awk '/TERMINATE/ {y=1;next} y'( https://stackoverflow.com/a/18166628 )
• awk '/TERMINATE/ ? c++ : c'( https://stackoverflow.com/a/23984891 )
• perl -ne 'print unless 1 .. /TERMINATE/'( https://stackoverflow.com/a/18167194 )

Cela pourrait être une façon de procéder. Si vous savez quelle ligne du fichier vous avez votre mot grep et combien de lignes vous avez dans votre fichier:

grep -A466 fichier 'TERMINATE'

sed est un bien meilleur outil pour le travail: fichier sed -n '/ re /, $ p'

où re est l'expression rationnelle.

Une autre option est l'indicateur --after-context de grep. Vous devez passer un nombre pour terminer à, l'utilisation de wc sur le fichier devrait donner la bonne valeur pour s'arrêter. Combinez cela avec -n et votre expression de correspondance.

Ceux-ci imprimeront toutes les lignes de la dernière ligne trouvée "TERMINATE" jusqu'à la fin du fichier:

LINE_NUMBER=`grep -o -n TERMINATE $OSCAM_LOG|tail -n 1|sed "s/:/ \\'/g"|awk -F" " '{print $1}'`
tail -n +$LINE_NUMBER $YOUR_FILE_NAME