Pourquoi cURL renvoie-t-il l'erreur «(23) Failed writing body»?

Cela fonctionne bien comme un seul outil:

curl "someURL"
curl -o - "someURL"

mais cela ne fonctionne pas dans un pipeline:

curl "someURL" | tr -d '\n'
curl -o - "someURL" | tr -d '\n'

il renvoie:

(23) Failed writing body

Quel est le problème avec la canalisation de la sortie cURL? Comment mettre en mémoire tampon toute la sortie cURL puis la gérer?

Cela se produit quand un programme canalisé (par exemple grep) ferme le tube de lecture avant que le programme précédent n'ait fini d'écrire la page entière.

Dans curl "url" | grep -qs foo, dès que grep a ce qu'il veut, il fermera le flux de lecture de curl. cURL ne s'y attend pas et émet l'erreur «Échec de l'écriture du corps».

Une solution de contournement consiste à diriger le flux via un programme intermédiaire qui lit toujours la page entière avant de l'envoyer au programme suivant.

Par exemple

curl "url" | tac | tac | grep -qs foo

tacest un simple programme Unix qui lit toute la page d'entrée et inverse l'ordre des lignes (donc nous l'exécutons deux fois). Comme il doit lire toute l'entrée pour trouver la dernière ligne, il ne sortira rien vers grep tant que cURL ne sera pas terminé. Grep fermera toujours le flux de lecture lorsqu'il aura ce qu'il recherche, mais cela n'affectera que tac, qui n'émet pas d'erreur.

Pour l'exhaustivité et les recherches futures:

C'est une question de comment cURL gère le tampon, le tampon désactive le flux de sortie avec l'option -N.

Exemple: curl -s -N "URL" | grep -q Welcome

Une autre possibilité, si vous utilisez le -o option (fichier de sortie) - le répertoire de destination n'existe pas.

par exemple. si vous avez -o /tmp/download/abc.txtet / tmp / download n'existe pas.

Par conséquent, assurez-vous que tous les répertoires requis sont créés / existent au préalable, utilisez l' --create-dirsoption ainsi que - osi nécessaire

C'était donc un problème d'encodage. Iconv résout le problème

curl 'http://www.multitran.ru/c/m.exe?CL=1&s=hello&l1=1' | iconv -f windows-1251 | tr -dc '[:print:]' | ...

Vous pouvez le faire au lieu d'utiliser l' -ooption:

curl [url] > [file]

J'ai eu la même erreur mais pour une raison différente. Dans mon cas, j'avais une partition (tmpfs) avec seulement 1 Go d'espace et je téléchargeais un gros fichier qui a finalement rempli toute la mémoire de cette partition et j'ai eu la même erreur que vous.

Le serveur a manqué d'espace disque, dans mon cas.

Vérifiez-le avec df -k .

J'ai été alerté du manque d'espace disque lorsque j'ai essayé de passer tacdeux fois, comme décrit dans l'une des autres réponses: https://stackoverflow.com/a/28879552/336694 . Il m'a montré le message d'erreur write error: No space left on device.

J'ai rencontré ce message d'erreur en essayant d'installer le cache de vernis sur ubuntu. La recherche sur Google m'a permis de déceler l'erreur (23) Failed writing body, d'où la publication d'une solution qui a fonctionné pour moi.

Le bogue est rencontré lors de l'exécution de la commande en tant que root curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

la solution est de fonctionner en apt-key addtant que non root

curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

Si vous essayez quelque chose de similaire source <( curl -sS $url )et que vous obtenez l' (23) Failed writing bodyerreur, c'est parce que l'approvisionnement d'une substitution de processus ne fonctionne pas dansbash 3.2 (par défaut pour macOS).

Au lieu de cela, vous pouvez utiliser cette solution de contournement.

source /dev/stdin <<<"$( curl -sS $url )"

Pour moi, c'était une question de permission. L'exécution de Docker est appelée avec un profil utilisateur mais root est l'utilisateur à l'intérieur du conteneur. La solution était de faire en sorte que curl écrive dans / tmp puisque cela a l'autorisation d'écriture pour tous les utilisateurs, pas seulement root.

J'ai utilisé l'option -o.

-o / tmp / file_to_download

Dans Bash et zsh (et peut-être dans d'autres shells), vous pouvez utiliser la substitution de processus ( Bash / zsh ) pour créer un fichier à la volée, puis l'utiliser comme entrée du processus suivant dans la chaîne de pipeline.

Par exemple, j'essayais d'analyser la sortie JSON de cURL en utilisant jqet less, mais j'obtenais l' Failed writing bodyerreur.

# Note: this does NOT work
curl https://gitlab.com/api/v4/projects/ | jq | less

Quand je l'ai réécrit en utilisant la substitution de processus, cela a fonctionné!

# this works!
jq "" <(curl https://gitlab.com/api/v4/projects/) | less

Remarque: jqutilise son 2ème argument pour spécifier un fichier d'entrée

Bonus: Si vous utilisez jqcomme moi et que vous voulez garder la sortie colorisée en less, utilisez la ligne de commande suivante à la place:

jq -C "" <(curl https://gitlab.com/api/v4/projects/) | less -r

(Merci à Kowaru pour leur explication sur les raisons de cet incidentFailed writing body . Cependant, leur solution consistant à utiliser tacdeux fois n'a pas fonctionné pour moi. Je voulais également trouver une solution qui serait mieux adaptée aux fichiers volumineux et essaie d'éviter les autres problèmes mentionnés dans les commentaires. à cette réponse.)