L'utilisation de jq dans la chaîne de tuyaux ne produit aucune sortie

La question d' jqavoir besoin d'un filtre explicite lorsque la sortie est redirigée est discutée partout sur le Web. Mais je ne peux pas rediriger la sortie si elle jqfait partie d'une chaîne de canalisations, même lorsqu'un filtre explicite est utilisé.

Considérer:

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Comme prévu, la sortie dans le terminal d'origine de la jqcommande est:

1
3

Mais si j'ajoute une sorte de redirection ou de tuyauterie à la fin de la jqcommande, la sortie devient silencieuse:

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Aucune sortie n'apparaît dans le premier terminal et out.txt est vide.

J'ai essayé des centaines de variantes mais c'est un problème difficile à cerner. La seule solution de contournement que j'ai trouvée , telle que découverte par le biais de mosquitto_subThe Things Network (où j'ai également découvert le problème), est d'envelopper les fonctions tail et jq dans un script shell:

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

Alors:

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Et bien sûr, la sortie apparaît:

1
3

C'est avec la dernière version jqinstallée via Homebrew:

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

Est-ce un bug (largement non documenté) dans jqou avec ma compréhension des chaînes de tuyaux?

La sortie de jqest mise en mémoire tampon lorsque sa sortie standard est canalisée.

Pour demander de jqvider son tampon de sortie après chaque objet, utilisez son --unbufferedoption, par exemple

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

Du jqmanuel:

--unbuffered

Rincez la sortie après l'impression de chaque objet JSON (utile si vous canalisez une source de données lente dans jqet canalisez jqla sortie ailleurs).

Ce que vous voyez ici, c'est la mise en mémoire tampon C stdio en action. Il stockera la sortie sur un tampon jusqu'à ce qu'il atteigne une certaine limite (peut-être 512 octets, ou 4 Ko ou plus), puis enverra tout cela en même temps.

Cette mise en mémoire tampon est automatiquement désactivée si stdout est connecté à un terminal, mais lorsqu'il est connecté à un tuyau (comme dans votre cas), il active ce comportement de mise en mémoire tampon.

La façon habituelle de désactiver / contrôler la mise en mémoire tampon est d'utiliser la setvbuf()fonction (voir cette réponse pour plus de détails), mais cela devrait être fait dans le code source jqlui-même, donc peut-être pas quelque chose de pratique pour vous ...

Il y a une solution de contournement ... (Un hack, pourrait-on dire.) Il existe un programme appelé "unbuffer", qui est distribué avec "expect" qui peut créer un pseudo-terminal et le connecter à un programme. Ainsi, même s'il jqécrit toujours sur un canal, il pensera qu'il écrit sur un terminal et l'effet de mise en mémoire tampon sera désactivé.

Installez le paquet "expect", qui devrait venir avec "unbuffer", si vous ne l'avez pas déjà ... Par exemple, sur Debian (ou Ubuntu):

$ sudo apt-get install expect

Ensuite, vous pouvez utiliser cette commande:

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

Voir aussi cette réponse pour plus de détails sur "unbuffer", et vous pouvez trouver une page de manuel ici aussi .