J'ai essayé de paralléliser le script suivant, en particulier chacune des trois instances de boucle FOR, en utilisant GNU Parallel mais je n'ai pas pu le faire. Les 4 commandes contenues dans la boucle FOR sont exécutées en série, chaque boucle prenant environ 10 minutes. #!/bin/bash kar='KAR5'...
Je suis confus quant à la différence ou à l'avantage (le cas échéant) de l'exécution d'un ensemble de tâches dans un .shscript à l'aide deGNU parallel Par exemple, la réponse d' Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png plutôt que de dire en boucle à travers eux en les mettant en...
J'ai un problème de script shell où je reçois un répertoire plein de fichiers d'entrée (chaque fichier contenant de nombreuses lignes d'entrée), et je dois les traiter individuellement, en redirigeant chacune de leurs sorties vers un fichier unique (aka, file_1.input needs à capturer dans...
J'utilise un rsyncscript pour synchroniser les données d'un hôte avec les données d'un autre hôte. Les données contiennent de nombreux fichiers de petite taille qui contribuent à près de 1,2 To. Afin de synchroniser ces fichiers, j'ai utilisé la rsynccommande comme suit: rsync -avzm --stats...
Dans un script plus grand pour post-traiter certaines données de simulation, j'avais la ligne suivante: parallel bnzip2 -- *.bz2 Ce qui, si je comprends parallelbien (et peut-être pas), devrait exécuter les threads n-core du programme sur tous les fichiers avec l'extension répertoriée. Vous...
J'ai donc une boucle while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Mais cela peut prendre du temps. Comment utiliser GNU Parallel pour cette boucle
Je charge un fichier assez gigantesque dans une base de données postgresql. Pour ce faire, j'utilise d'abord splitle fichier pour obtenir des fichiers plus petits (30 Go chacun), puis je charge chaque fichier plus petit dans la base de données à l'aide de GNU Parallelet psql copy. Le problème est...
% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Je m'attendrais à ce que la deuxième ligne agisse de la même
Je voudrais utiliser la fonctionnalité de GNU parallel où il peut exécuter la commande et la liste qui est alimentée en parallèle et la recracher après tout, cependant, je ne veux pas installer GNU parallel sur tous nos serveurs. Ou peut-être une version parallèle de xargs? Existe-t-il une...
Supposons que je veuille trouver toutes les correspondances dans un fichier texte compressé: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateutilisé ici pour mesurer le débit des tuyaux. Sur ma machine, c'est environ 420Mb / s (après décompression). Maintenant j'essaye de faire du...