Comment désactiver les messages de journal de la bibliothèque de demandes?

Par défaut, la bibliothèque python Requests écrit des messages de journal dans la console, sur le modèle de:

Starting new HTTP connection (1): example.com
http://example.com:80 "GET / HTTP/1.1" 200 606

Je ne suis généralement pas intéressé par ces messages et je voudrais les désactiver. Quelle serait la meilleure façon de faire taire ces messages ou de réduire la verbosité des demandes?

J'ai découvert comment configurer le niveau de journalisation des requêtes , cela se fait via le module de journalisation standard . J'ai décidé de le configurer pour ne pas enregistrer les messages à moins qu'ils ne soient au moins des avertissements:

import logging

logging.getLogger("requests").setLevel(logging.WARNING)

Si vous souhaitez également appliquer ce paramètre à la bibliothèque urllib3 (généralement utilisée par les requêtes), ajoutez ce qui suit:

logging.getLogger("urllib3").setLevel(logging.WARNING)

Si vous êtes venu ici à la recherche d'un moyen de modifier la journalisation de n'importe quel module (éventuellement profondément imbriqué), utilisez logging.Logger.manager.loggerDictpour obtenir un dictionnaire de tous les objets de journalisation. Les noms retournés peuvent ensuite être utilisés comme argument pour logging.getLogger:

import requests
import logging
for key in logging.Logger.manager.loggerDict:
    print(key)
# requests.packages.urllib3.connectionpool
# requests.packages.urllib3.util
# requests.packages
# requests.packages.urllib3
# requests.packages.urllib3.util.retry
# PYREADLINE
# requests
# requests.packages.urllib3.poolmanager

logging.getLogger('requests').setLevel(logging.CRITICAL)
# Could also use the dictionary directly:
# logging.Logger.manager.loggerDict['requests'].setLevel(logging.CRITICAL)

Par utilisateur136036 dans un commentaire, sachez que cette méthode ne vous montre que les enregistreurs qui existent au moment où vous exécutez l'extrait ci-dessus. Si, par exemple, un module crée un nouvel enregistreur lorsque vous instanciez une classe, vous devez mettre cet extrait après avoir créé la classe afin d'imprimer son nom.

import logging
urllib3_logger = logging.getLogger('urllib3')
urllib3_logger.setLevel(logging.CRITICAL)

De cette façon, tous les messages de level = INFO de urllib3 ne seront pas présents dans le fichier journal.

Vous pouvez donc continuer à utiliser le level = INFO pour vos messages de journal ... il suffit de le modifier pour la bibliothèque que vous utilisez.

Permettez-moi de copier / coller la section de documentation que j'ai écrite il y a environ une semaine ou deux, après avoir rencontré un problème similaire au vôtre:

import requests
import logging

# these two lines enable debugging at httplib level (requests->urllib3->httplib)
# you will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# the only thing missing will be the response.body which is not logged.
import httplib
httplib.HTTPConnection.debuglevel = 1

logging.basicConfig() # you need to initialize logging, otherwise you will not see anything from requests
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('http://httpbin.org/headers')

Pour toute personne utilisant, logging.config.dictConfigvous pouvez modifier le niveau de journal de la bibliothèque de demandes dans le dictionnaire comme ceci:

'loggers': {
    '': {
        'handlers': ['file'],
        'level': level,
        'propagate': False
    },
    'requests.packages.urllib3': {
        'handlers': ['file'],
        'level': logging.WARNING
    }
}

Définir le nom de l'enregistreur comme requestsou requests.urllib3ne fonctionnait pas pour moi. J'ai dû spécifier le nom exact de l'enregistreur pour changer le niveau d'enregistrement.

Tout d'abord, voyez quels enregistreurs vous avez définis, pour voir ceux que vous souhaitez supprimer

print(logging.Logger.manager.loggerDict)

Et vous verrez quelque chose comme ça:

{...'urllib3.poolmanager': <logging.Logger object at 0x1070a6e10>, 'django.request': <logging.Logger object at 0x106d61290>, 'django.template': <logging.Logger object at 0x10630dcd0>, 'django.server': <logging.Logger object at 0x106dd6a50>, 'urllib3.connection': <logging.Logger object at 0x10710a350>,'urllib3.connectionpool': <logging.Logger object at 0x106e09690> ...}

Configurez ensuite le niveau pour l'enregistreur exact:

   'loggers': {
    '': {
        'handlers': ['default'],
        'level': 'DEBUG',
        'propagate': True
    },
    'urllib3.connectionpool': {
        'handlers': ['default'],
        'level': 'WARNING',
        'propagate' : False
    },

Si vous avez un fichier de configuration, vous pouvez le configurer.

Ajoutez urllib3 dans la section des enregistreurs:

[loggers]
keys = root, urllib3

Ajouter la section logger_urllib3:

[logger_urllib3]
level = WARNING
handlers =
qualname = requests.packages.urllib3.connectionpool

Cette réponse est ici: Python: comment supprimer les instructions de journalisation des bibliothèques tierces?

Vous pouvez laisser le niveau de journalisation par défaut pour basicConfig, puis vous définissez le niveau DEBUG lorsque vous obtenez l'enregistreur pour votre module.

logging.basicConfig(format='%(asctime)s %(module)s %(filename)s:%(lineno)s - %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)

logger.debug("my debug message")

import logging

# Only show warnings
logging.getLogger("urllib3").setLevel(logging.WARNING)

# Disable all child loggers of urllib3, e.g. urllib3.connectionpool
logging.getLogger("urllib3").propagate = False

Les conseils de Kbrose sur la recherche de l'enregistreur générant des messages de journal ont été extrêmement utiles. Pour mon projet Django, j'ai dû trier 120 journaux différents jusqu'à ce que je trouve que c'était la elasticsearchbibliothèque Python qui me posait des problèmes. Selon les conseils de la plupart des questions, je l'ai désactivé en ajoutant ceci à mes enregistreurs:

      ...
      'elasticsearch': {
          'handlers': ['console'],
          'level': logging.WARNING,
      },     
      ...

Publier ici au cas où quelqu'un d'autre verrait les messages de journal inutiles passer à chaque fois qu'ils exécutent une requête Elasticsearch.

simple: il suffit d'ajouter requests.packages.urllib3.disable_warnings()aprèsimport requests

Je ne sais pas si les approches précédentes ont cessé de fonctionner, mais en tout cas, voici une autre façon de supprimer les avertissements:

PYTHONWARNINGS="ignore:Unverified HTTPS request" ./do-insecure-request.py

Fondamentalement, l'ajout d'une variable d'environnement dans le contexte de l'exécution du script.

De la documentation: https://urllib3.readthedocs.org/en/latest/security.html#disabling-warnings