Méthode rapide pour séparer la chaîne du fichier texte?

J'ai deux fichiers texte: string.txt et lengths.txt

String.txt:

abcdefghijklmnopqrstuvwxyz

lengths.txt

5
4
10
7

Je veux obtenir le fichier

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Je travaille avec environ 28 000 entrées et elles varient entre 200 et 56 000 caractères.

En ce moment, j'utilise:

start=1
end=0
i=0
while read read_l
do
    let i=i+1
    let end=end+read_l
    echo -e ">Entry_$i" >>outfile.txt
    echo "$(cut -c$start-$end String.txt)" >>outfile.txt
    let start=start+read_l
    echo $i
done <lengths.txt

Mais c'est très inefficace. De meilleures idées?

Tu peux faire

{
  while read l<&3; do
    {
      head -c"$l"
      echo
    } 3<&-
  done 3<lengths.txt
} <String.txt

Cela nécessite quelques explications:

L'idée principale est d'utiliser { head ; } <fileet est dérivée de la réponse @mikeserv sous-estimée . Cependant, dans ce cas, nous devons utiliser de nombreux heads, donc une whileboucle est introduite et un peu de peaufinage avec les descripteurs de fichiers afin de passer à l' headentrée des deux fichiers (fichier String.txtcomme fichier principal à traiter et lignes depuis length.txtcomme argument à -coption) . L'idée est que l'avantage de la vitesse devrait provenir de ne pas avoir à chercher à String.txtchaque fois qu'une commande comme headou cutest invoquée. Il echosuffit d'imprimer la nouvelle ligne après chaque itération.

Combien il est plus rapide (le cas échéant) et l'ajout >Entry_ientre les lignes est laissé comme un exercice.

Généralement, vous ne voulez pas utiliser de boucles shell pour traiter du texte . Ici, j'utiliserais perl:

$ perl -lpe 'read STDIN,$_,$_; print ">Entry_" . ++$n' lengths.txt < string.txt
>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

C'est une commande, qui lit (avec une mise en mémoire tampon beaucoup plus efficace que la readcommande du shell qui lit un octet (ou quelques octets pour les fichiers normaux) à la fois) les deux fichiers une seule fois (sans les stocker en mémoire), tout comme va être plusieurs ordres de grandeur plus efficace que les solutions qui exécutent des commandes externes dans une boucle shell.

(ajoutez l' -Coption si ces nombres doivent être des nombres de caractères dans les paramètres régionaux actuels par opposition au nombre d'octets. Pour les caractères ASCII comme dans votre exemple, cela ne fera aucune différence).

bash, version 4

mapfile -t lengths <lengths.txt
string=$(< String.txt)
i=0 
n=0
for len in "${lengths[@]}"; do
    echo ">Entry_$((++n))"
    echo "${string:i:len}"
    ((i+=len))
done

production

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Et alors awk?

Créez un fichier appelé process.awkavec ce code:

function idx(i1, v1, i2, v2)
{
     # numerical index comparison, ascending order
     return (i1 - i2)
}
FNR==NR { a[FNR]=$0; next }
{ i=1;PROCINFO["sorted_in"] = "idx";
        for (j in a) {
                print ">Entry"j;
                ms=substr($0, i,a[j])
                print ms
                i=i+length(ms)
        }
}

Enregistrez-le et exécutez awk -f process.awk lengths.txt string.txt