Le meilleur moyen de supprimer des octets au début d’un fichier?

Aujourd'hui, je devais supprimer les 1131 premiers octets d'un fichier texte / binaire mixte de 800 Mo, un cliché de sous-version filtré que je cherchais dans un nouveau référentiel. Quelle est la meilleure façon de faire cela?

Pour commencer j'ai essayé

dd bs=1 skip=1131 if=filtered.dump of=trimmed.dump

mais après le saut, cela copie le reste du fichier un octet à la fois, c’est-à-dire très lentement. À la fin, j’ai trouvé que j’avais besoin de 405 octets pour arrondir à trois blocs de 512 que je pouvais sauter.

dd if=/dev/zero of=405zeros bs=1 count=405
cat 405zeros filtered.dump | dd bs=512 skip=3 of=trimmed.dump

qui a terminé assez rapidement mais il devait y avoir une manière plus simple / meilleure? Y a-t-il un autre outil que j'ai oublié? Merci!

Vous pouvez changer les options bs et skip:

dd bs=1131 skip=1 if=filtered.dump of=trimmed.dump

De cette façon, l'opération peut bénéficier d'un bloc plus important.

Sinon, vous pouvez essayer avec tail (bien que ce ne soit pas sûr de l'utiliser avec des fichiers binaires):

tail -c +1132 filtered.dump >trimmed.dump

Enfin, vous pouvez utiliser 3 instances de dd pour écrire quelque chose comme ceci:

dd if=filtered.dump bs=512k | { dd bs=1131 count=1 of=/dev/null; dd bs=512k of=trimmed.dump; }

où le premier dd imprime sa sortie standard filter.dump; le second lit simplement 1131 octets et les jette; ensuite, le dernier lit à partir de son entrée standard les octets restants de filter.dump et les écrit dans trimmed.dump.

Vous ne savez pas quand a skip_bytesété ajouté, mais pour ignorer les 11 premiers octets, vous avez:

# echo {123456789}-abcdefgh- | 
                              dd bs=4096 skip=11 iflag=skip_bytes
-abcdefgh-
0+1 records in
0+1 records out
11 bytes (11 B) copied, 6.963e-05 s, 158 kB/s

Où iflag=skip_bytesindique à dd d'interpréter la valeur de l' skipoption sous forme d'octets au lieu de blocs, ce qui simplifie les choses.

Vous pouvez utiliser un sous-shell et deux ddappels comme ceci:

$ ( dd bs=1131 count=1 of=dev_null && dd bs=4K of=out.mp3 ) < 100827_MR029_LobbyControl.mp3
1+0 records in
1+0 records out
1131 bytes (1.1 kB) copied, 7.9691e-05 s, 14.2 MB/s
22433+1 records in
22433+1 records out
91886130 bytes (92 MB) copied, 0.329823 s, 279 MB/s
$ ls -l *
-rw------- 1 max users 91887261 2011-02-03 22:59 100827_MR029_LobbyControl.mp3
-rw-r--r-- 1 max users     1131 2011-02-03 23:04 dev_null
-rw-r--r-- 1 max users 91886130 2011-02-03 23:04 out.mp3
$ cat dev_null out.mp3 > orig
$ cmp 100827_MR029_LobbyControl.mp3 orig

Si le système de fichiers et le noyau Linux le supportent, vous pouvez essayer fallocatesi vous souhaitez apporter les modifications à la place: dans le meilleur des cas, il n'y a pas du tout d'entrées / sorties de données:

$ fallocate <magic> -o 0 -l 1131 inplace.dump

où <magic>dépend du système de fichiers, de la version de Linux et du type de fichier ( FALLOC_FL_COLLAPSE_RANGEou FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZEpeut être utilisé en interne ).

Vous devriez utiliser count=0- c'est aussi simple lseek()que possible.

Comme ça:

{  dd bs=1131 skip=1 count=0; cat; } <filtered.dump >trimmed.dump

ddLe lseek()descripteur de fichier d’entrée contiendra un décalage de 1131 octets, puis catcopiera simplement le reste à produire.

Un autre moyen de supprimer les octets de début d'un fichier (sans utiliser dddu tout) consiste à utiliser xxdet sedou tailrespectivement.

bytes=$((1131*2))

xxd -p -c 256 filtered.dump | tr -d '\n' | sed "s/^.\{0,${bytes}\}//" | xxd -r -p > trimmed.dump

bytes=$((bytes + 1)) 
xxd -p -c 256 filtered.dump | tr -d '\n' | tail -c +${bytes} | xxd -r -p > trimmed.dump

@maxschlepzig demande un liner en ligne. En voici un en perl. Il faut 2 arguments: De octet et de longueur. Le fichier d'entrée doit être donné par '<' et le résultat sera sur stdout:

perl -e 'sysseek(STDIN,shift,0) || die; $left = shift;
     while($read = sysread(STDIN,$buf, ($left > 32768 ? 32768 : $left))){
        $left -= $read; syswrite(STDOUT,$buf);
     }' 12345678901 19876543212 < bigfile > outfile

Si la longueur est plus grande que le fichier, le reste du fichier sera copié.

Sur mon système, cela fournit 3,5 Go / s.