Script Bash traitant un nombre limité de commandes en parallèle

J'ai un script bash qui ressemble à ceci:

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

Mais le traitement de chaque ligne jusqu'à la fin de la commande, puis le passage à la suivante prennent beaucoup de temps, je veux par exemple traiter 20 lignes à la fois, puis quand elles sont terminées, 20 autres lignes sont traitées.

J'ai pensé wget LINK1 >/dev/null 2>&1 &envoyer la commande en arrière-plan et continuer, mais il y a 4000 lignes ici, cela signifie que j'aurai des problèmes de performances, sans parler du nombre limité de processus que je devrais démarrer en même temps, donc ce n'est pas une bonne chose idée.

Une solution à laquelle je pense en ce moment est de vérifier si l'une des commandes est toujours en cours d'exécution ou non, par exemple après 20 lignes, je peux ajouter cette boucle:

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

Bien sûr, dans ce cas, je devrai ajouter & à la fin de la ligne! Mais je sens que ce n'est pas la bonne façon de procéder.

Alors, comment puis-je réellement regrouper chaque 20 lignes et attendre qu'elles se terminent avant de passer aux 20 lignes suivantes, ce script est généré dynamiquement afin que je puisse faire les calculs que je veux dessus pendant qu'il est généré, mais il N'EST PAS obligé utilisez wget, c'était juste un exemple, donc toute solution spécifique à wget ne me fera aucun bien.

Utilisez le waitintégré:

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

Pour l'exemple ci-dessus, 4 processus process1... process4seraient démarrés en arrière-plan, et le shell attendrait qu'ils soient terminés avant de démarrer l'ensemble suivant.

Dans le manuel GNU :

wait [jobspec or pid ...]

Attendez la fin du processus enfant spécifié par chaque identifiant de processus pid ou spécification de travail jobspec et retournez l'état de sortie de la dernière commande attendue. Si une spécification de travail est donnée, tous les processus du travail sont attendus. Si aucun argument n'est donné, tous les processus enfants actuellement actifs sont attendus et l'état de retour est zéro. Si ni jobspec ni pid ne spécifient un processus enfant actif du shell, l'état de retour est 127.

Voir parallèle . Sa syntaxe est similaire à xargs, mais il exécute les commandes en parallèle.

En fait, xargs peut exécuter des commandes en parallèle pour vous. Il existe une -P max_procsoption de ligne de commande spéciale pour cela. Tu vois man xargs.

Vous pouvez exécuter 20 processus et utiliser la commande:

wait

Votre script attendra et continuera lorsque tous vos travaux en arrière-plan seront terminés.