Tamponner complètement la sortie de la commande avant de diriger vers une autre commande?

Existe-t-il un moyen d'exécuter une commande uniquement après qu'une autre soit effectuée sans fichier temporaire? J'ai une commande plus longue et une autre commande qui formate la sortie et l'envoie à un serveur HTTP en utilisant curl. Si je viens d'exécuter commandA | commandB, commandBdémarre curl, se connecte au serveur et commence à envoyer des données. Parce que cela commandAprend tellement de temps, le serveur HTTP expirera. Je peux faire ce que je veux aveccommandA > /tmp/file && commandB </tmp/file && rm -f /tmp/file

Par curiosité, je veux savoir s'il existe un moyen de le faire sans le fichier temporaire. J'ai essayé mbuffer -m 20M -q -P 100mais le processus de curl est toujours démarré dès le début. Mbuffer attend jusqu'à ce que commandAla transmission des données soit terminée. (Les données elles-mêmes ne font que quelques centaines de ko au maximum)

Ceci est similaire à quelques autres réponses. Si vous avez le paquet «moreutils», vous devriez avoir la spongecommande. Essayer

commandA | sponge | { IFS= read -r x; { printf "%s\n" "$x"; cat; } | commandB; }

La spongecommande est fondamentalement un filtre pass-through (comme cat) sauf qu'elle ne commence à écrire la sortie qu'après avoir lu l'intégralité de l'entrée. C'est-à-dire qu'il «absorbe» les données, puis les libère lorsque vous les serrez (comme une éponge). Donc, dans une certaine mesure, c'est de la «tricherie» - s'il y a une quantité non négligeable de données, spongeutilise presque certainement un fichier temporaire. Mais c'est invisible pour vous; vous n'avez pas à vous soucier des tâches ménagères comme le choix d'un nom de fichier unique et le nettoyage par la suite.

Le { IFS= read -r x; { printf "%s\n" "$x"; cat; } | commandB; } lit la première ligne de sortie de sponge. N'oubliez pas que cela n'apparaît que lorsque vous commandAavez terminé.  Ensuite, il se déclenche commandB, écrit la première ligne dans le tuyau et appelle catpour lire le reste de la sortie et l'écrire dans le tuyau.

Les commandes dans le pipeline sont démarrées simultanément, vous devez stocker la commandAsortie quelque part pour l'utiliser plus tard. Vous pouvez éviter le fichier temporaire en utilisant la variable:

output=$(command A; echo A)
printf '%s' "${output%%A}" | commandB

Je ne connais aucun utilitaire UNIX standard pouvant résoudre ce problème. Une option serait d'utiliser awkpour accumuler la commandAsortie et la rincer commandBà un coup, comme si

commandA  | awk '{x = x ORS $0}; END{printf "%s", x | "commandB"}'

Attention, cela pourrait être gourmand en mémoire car il awks'agit de construire une chaîne à partir de son entrée.

Vous pouvez résoudre l'exigence avec un petit script. Cette variante particulière évite le fichier temporaire et le porc de mémoire potentiel au détriment de processus supplémentaires.

#!/bin/bash
#
IFS= read LINE

if test -n "$LINE"
then
    test -t 2 && echo "Starting $*" >&2
    (
        echo "$LINE"
        cat

    ) | "$@"
else
    exit 0
fi

Si vous deviez appeler le script waituntil(et le rendre exécutable, le mettre dans le PATH, etc.), vous l'utiliseriez comme ceci

commandA... | waituntil commandB...

Exemple

( sleep 3 ; date ; id ) | waituntil nl