Est-il possible en bash, de démarrer la lecture d'un fichier à partir d'un décalage de comptage d'octets arbitraire?

Je veux localiser une date quelque part dans un journal de 8 Go (texte).

Puis-je contourner une lecture séquentielle complète et faire d'abord des séparations binaires du fichier (taille), ou en quelque sorte naviguer dans le système de fichiers inodes(que je connais très peu), pour commencer la lecture à partir de chaque point de partage, jusqu'à ce que je trouve un décalage approprié à partir de où commencer ma recherche de texte pour une ligne contenant la date?

tailLa lecture de la dernière ligne n'utilise pas une lecture séquentielle normale, donc je me demande si cette fonctionnalité est en quelque sorte disponible en bash, ou aurais-je besoin d'utiliser Python ou C / C ++ ... mais je suis spécifiquement intéressé par une bashoption ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

qui .. ne crée aucun fichier à division temporaire, ignore les blocs * 512 Mo de données à chaque exécution, lit 64 octets à partir de cette position et limite la sortie à la première ligne de ces 64 octets.

vous voudrez peut-être ajuster 64 à tout ce dont vous pensez avoir besoin.

Cela ressemble à ce que vous voulez:

tail -c +1048576

ou quel que soit le nombre d'octets que vous souhaitez ignorer. Le signe plus indique à tail de mesurer depuis le début du fichier au lieu de la fin. Si vous utilisez la version GNU de tail, vous pouvez l'écrire comme suit:

tail -c +1M

Pour obtenir un nombre fixe d'octets après la coupe, au lieu de tout le reste du fichier, il suffit de le diriger à travers head:

tail -c +1048576 | head -c 1024

J'essaierais quelque chose comme ça pour diviser le journal en morceaux de 512 Mo pour une analyse plus rapide.

split <filename> -b 536870912

Si vous recherchez le fichier, les éléments suivants fonctionneraient:

for file in x* ; do
  echo $file
  head -n 1 $file
done

Utilisez cette sortie pour déterminer quel fichier grep pour votre date.

Voici mon script, je recherche la première ligne où le premier champ correspond à mon numéro. Les lignes sont triées selon le premier champ. J'utilise dd pour vérifier la première ligne de blocs de 128 Ko, puis je passe au bloc et j'effectue une recherche. Il améliore l'efficacité si le fichier dépasse 1M.

Tout commentaire ou correction est apprécié!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

* EDIT * ** grep est beaucoup plus rapide et ack encore meilleur