Effectuer des tâches en parallèle, pour utiliser plusieurs processeurs
Il y a une liste d'adresses IP dans un fichier .txt, ex .: 1.1.1.1 2.2.2.2 3.3.3.3 Derrière chaque adresse IP, il y a un serveur et sur chaque serveur, il y a un sshd fonctionnant sur le port 22. Tous les serveurs ne figurent pas dans la known_hostsliste (sur mon PC, Ubuntu 10.04 LTS / bash)....
J'utilise le quadprocesseur IMX6 de Freescale. Je veux savoir si la topcommande répertorie l'utilisation du processeur des 4 cœurs ou d'un seul cœur. Je constate que l'utilisation d'une CPU par une application est la même avec 4 cœurs et avec un seul cœur. Je devinais que l'utilisation du...
Je dois télécharger un fichier volumineux (1 Go). J'ai également accès à plusieurs ordinateurs exécutant Linux, mais chacun est limité à une vitesse de téléchargement de 50 Ko / s par une stratégie d'administration. Comment distribuer le téléchargement de ce fichier sur plusieurs ordinateurs et le...
J'ai un dossier qui a plus de 250 fichiers de 2 Go chacun. Je dois rechercher une chaîne / un motif dans ces fichiers et afficher le résultat dans un outputfichier. Je sais que je peux exécuter la commande suivante, mais elle est trop lente !! grep mypattern * > output Je veux accélérer les...
Existe-t-il un outil / une commande sous Linux que je peux utiliser pour exécuter une commande dans plusieurs onglets simultanément? Je veux exécuter la même commande: ./myprog argument1 argument2simultanément dans plus d'un shell pour vérifier si les mutex fonctionnent correctement dans un...
Je veux compiler aussi vite que possible. Allez comprendre. Et souhaite automatiser le choix du numéro suivant l' -joption. Comment puis-je choisir cette valeur par programme, par exemple dans un script shell? La sortie est-elle nprocéquivalente au nombre de threads avec lesquels je peux compiler?...
Dans l'hypothèse où les E / S disque et la RAM libre sont un goulot d'étranglement (alors que le temps CPU n'est pas la limitation), existe-t-il un outil qui peut calculer plusieurs résumés de messages à la fois? Je suis particulièrement intéressé par le calcul des synthèses MD-5 et SHA-256 de gros...
J'ai un tas d'images PNG sur un répertoire. J'ai une application appelée pngout que je lance pour compresser ces images. Cette application est appelée par un script que j'ai fait. Le problème est que ce script fait un à la fois, quelque chose comme ceci: FILES=(./*.png) for f in "${FILES[@]}" do...
Supposons que j'ai trois (ou plus) scripts bash: script1.sh, script2.shet script3.sh. Je voudrais appeler ces trois scripts et les exécuter en parallèle . Pour ce faire, vous pouvez simplement exécuter les commandes suivantes: nohup bash script1.sh & nohup bash script2.sh & nohup bash...
J'ai un problème de script shell où je reçois un répertoire plein de fichiers d'entrée (chaque fichier contenant de nombreuses lignes d'entrée), et je dois les traiter individuellement, en redirigeant chacune de leurs sorties vers un fichier unique (aka, file_1.input needs à capturer dans...
J'utilise xargsavec l'option --max-args=0(alternativement -P 0). Cependant, la sortie des processus est fusionnée dans le stdoutflux sans tenir compte de la séparation de ligne appropriée. Je vais donc souvent me retrouver avec des lignes telles que:
J'ai un script shell bash dans lequel je canalise des données via environ 5 ou 6 programmes différents, puis les résultats finaux dans un fichier délimité par des tabulations. Je refais ensuite la même chose pour un ensemble de données similaire distinct et je le renvoie dans un deuxième fichier....
Considérez le scénario suivant. J'ai deux programmes A et B. Le programme A sort des lignes de chaînes standard tandis que le programme B traite les lignes de stdin. La façon d'utiliser ces deux programmes est bien sûr: foo @ bar: ~ $ A | B Maintenant, j'ai remarqué que cela ne mange qu'un seul...
Je peux ssh dans une machine distante qui a 64 cœurs. Disons que je dois exécuter 640 scripts shell en parallèle sur cette machine. Comment puis-je faire cela? Je peux voir la division des 640 scripts en 64 groupes chacun de 10 scripts. Comment pourrais-je alors exécuter chacun de ces groupes en...
Je n'ai trouvé que puf (récupérateur d'URL parallèle) mais je n'ai pas pu le faire lire les URL d'un fichier; quelque chose comme puf < urls.txt ne fonctionne pas non plus. Le système d'exploitation installé sur le serveur est
Supposons que j'ai deux ressources, nommées 0et 1, qui ne sont accessibles qu'en exclusivité. Existe-t-il un moyen de récupérer l '"index" du "processeur parallèle" qui se xargslance afin de l'utiliser comme un service d'exclusion mutuelle gratuit? Par exemple, considérons le calcul parallélisé...
J'ai une tâche qui traite une liste de fichiers sur stdin. Le temps de démarrage du programme est important et le temps nécessaire à chaque fichier varie considérablement. Je veux générer un nombre important de ces processus, puis envoyer le travail à ceux qui ne sont pas occupés. Il existe...
J'ai trois types de données qui sont dans différents formats; pour chaque type de données, il existe un script Python qui le transforme en un seul format unifié. Ce script Python est lent et lié au CPU (à un seul cœur sur une machine multi-cœur), donc je veux en exécuter trois instances - une pour...
J'ai actuellement des problèmes avec ddinvoqué avec un fichier clairsemé comme entrée ( if) et un fichier comme sortie ( of) avec conv=sparse. ddsemble utiliser Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHzuniquement un cœur du processeur ( 4 cœurs + 4 Intel Hyperthreads) (100% d'un cœur), donc je me...
Je sais que sur la ligne de commande, je peux utiliser &pour exécuter une commande en arrière-plan. Mais je me demande si je peux le faire dans un script. J'ai un script comme celui-ci: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh...