Écrire une sortie standard Python dans un fichier immédiatement

Lorsque vous essayez d'écrire la sortie standard d'un script Python dans un fichier texte ( python script.py > log), le fichier texte est créé au démarrage de la commande, mais le contenu réel n'est pas écrit jusqu'à la fin du script Python. Par exemple:

script.py:

import time
for i in range(10):
    print('bla')
    time.sleep(5)

Imprime vers stdout toutes les 5 secondes lorsqu'il est appelé avec python script.py, mais lorsque j'appelle python script.py > log, la taille du fichier journal reste égale à zéro jusqu'à la fin du script. Est-il possible d'écrire directement dans le fichier journal, de sorte que vous puissiez suivre la progression du script (par exemple, utiliser tail)?

EDIT Il s'avère que ça python -u script.pyfait l'affaire, je ne connaissais pas la mise en tampon de stdout.

Cela se produit car, normalement, lorsque le processus STDOUT est redirigé vers autre chose qu'un terminal, la sortie est alors stockée dans une mémoire tampon de la taille d'un système d'exploitation (4 ou 8k dans certains cas). Inversement, lors de la sortie vers un terminal, STDOUT sera mis en mémoire de ligne ou pas du tout, de sorte que vous verrez la sortie après chaque \nou pour chaque caractère.

Vous pouvez généralement changer la mise en mémoire tampon STDOUT avec l' stdbufutilitaire:

stdbuf -oL python script.py > log

Maintenant, si vous tail -F log, vous devriez voir chaque ligne sortie immédiatement comme elle est générée.

De même, un vidage explicite du flux de sortie après chaque impression devrait permettre d'obtenir le même résultat. Il semble que cela sys.stdout.flush()devrait atteindre cela en Python. Si vous utilisez Python 3.3 ou plus récent, la printfonction a aussi un flushmot - clé qui fait cela: print('hello', flush=True).

Cela devrait faire le travail:

import time, sys
for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)

Comme Python va mettre le tampon stdoutpar défaut, j'ai utilisé ici sys.stdout.flush()pour vider le tampon.

Une autre solution consisterait à utiliser le -ucommutateur (non tamponné) de python. Donc, ce qui suit fera aussi:

python -u script.py >> log

Une variation sur le thème de l'utilisation de l'option propre de python pour une sortie non tamponnée consisterait à utiliser #!/usr/bin/python -ucomme première ligne.

Avec #!/usr/bin/env pythoncet argument supplémentaire, ça ne marchera pas, alors alternativement, on pourrait courir PYTHONUNBUFFERED=1 ./my_scriipt.py > output.txtou le faire en deux étapes:

$ export PYTHONUNBUFFERED=1
$ ./myscript.py

Vous devriez passer flush=Trueà la printfonction:

import time

for i in range(10):
    print('bla', flush=True)
    time.sleep(5)

Selon la documentation, par défaut, printn'impose rien au nettoyage:

Le choix de la sortie en mémoire tampon est généralement déterminé par fichier, mais si l' flushargument mot clé est true, le flux est vidé de force.

Et la documentation pour sysles strems dit:

Lorsqu'ils sont interactifs, les flux standard sont mis en tampon de ligne. Sinon, ils sont mis en mémoire tampon comme des fichiers texte normaux. Vous pouvez remplacer cette valeur avec l' -uoption de ligne de commande.

Si vous êtes coincé avec une ancienne version de python, vous devez appeler la flushméthode du sys.stdoutflux:

import sys
import time

for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)