Laisser l'objet JSON accepter les octets ou laisser urlopen les chaînes de sortie

Avec Python 3, je demande un document json à partir d'une URL.

response = urllib.request.urlopen(request)

L' responseobjet est un objet de type fichier avec des méthodes readet readline. Normalement, un objet JSON peut être créé avec un fichier ouvert en mode texte.

obj = json.load(fp)

Ce que je voudrais faire, c'est:

obj = json.load(response)

Cela ne fonctionne cependant pas car urlopen renvoie un objet fichier en mode binaire.

Un contournement est bien sûr:

str_response = response.read().decode('utf-8')
obj = json.loads(str_response)

mais ça fait du mal ...

Existe-t-il un meilleur moyen de transformer un objet de fichier d'octets en un objet de fichier de chaîne? Ou est-ce que je manque des paramètres pour l'un urlopenou l' autre json.loadpour donner un encodage?

HTTP envoie des octets. Si la ressource en question est du texte, le codage des caractères est normalement spécifié, soit par l'en-tête HTTP Content-Type, soit par un autre mécanisme (un RFC, HTML meta http-equiv, ...).

urllib devrait savoir encoder les octets dans une chaîne, mais c'est trop naïf - c'est une bibliothèque horriblement sous-alimentée et non pythonique.

Dive Into Python 3 donne un aperçu de la situation.

Votre "contournement" est bien - même si cela semble mal, c'est la bonne façon de le faire.

La merveilleuse bibliothèque standard de Python à la rescousse…

import codecs

reader = codecs.getreader("utf-8")
obj = json.load(reader(response))

Fonctionne avec py2 et py3.

Documents: Python 2 , Python3

Je suis arrivé à l'opinion que la question est la meilleure réponse :)

import json
from urllib.request import urlopen

response = urlopen("site.com/api/foo/bar").read().decode('utf8')
obj = json.loads(response)

Pour quiconque essaie de résoudre ce problème en utilisant la requestsbibliothèque:

import json
import requests

r = requests.get('http://localhost/index.json')
r.raise_for_status()
# works for Python2 and Python3
json.loads(r.content.decode('utf-8'))

Celui-ci fonctionne pour moi, j'ai utilisé la bibliothèque de `` demande '' avec json()vérifier le document dans les demandes pour les humains

import requests

url = 'here goes your url'

obj = requests.get(url).json() 

J'ai rencontré des problèmes similaires en utilisant Python 3.4.3 & 3.5.2 et Django 1.11.3. Cependant, lorsque j'ai mis à niveau vers Python 3.6.1, les problèmes ont disparu.

Vous pouvez en savoir plus ici: https://docs.python.org/3/whatsnew/3.6.html#json

Si vous n'êtes pas lié à une version spécifique de Python, envisagez simplement de passer à la version 3.6 ou ultérieure.

Si vous rencontrez ce problème lors de l'utilisation du microframework flask, vous pouvez simplement faire:

data = json.loads(response.get_data(as_text=True))

D'après la documentation : "Si as_text est défini sur True, la valeur de retour sera une chaîne Unicode décodée"

Votre solution de contournement vient de me sauver. J'avais beaucoup de problèmes à traiter la requête en utilisant le framework Falcon. Cela a fonctionné pour moi. req étant le formulaire de demande curl pr httpie

json.loads(req.stream.read().decode('utf-8'))

Cela diffusera les données d'octet dans json.

import io

obj = json.load(io.TextIOWrapper(response))

io.TextIOWrapper est préférable au lecteur de module du codec. https://www.python.org/dev/peps/pep-0400/

Je viens de trouver cette méthode simple pour créer du contenu HttpResponse en tant que json

import json

request = RequestFactory() # ignore this, this just like your request object

response = MyView.as_view()(request) # got response as HttpResponse object

response.render() # call this so we could call response.content after

json_response = json.loads(response.content.decode('utf-8'))

print(json_response) # {"your_json_key": "your json value"}

J'espère que cela vous aide

Depuis Python 3.6, vous pouvez utiliser json.loads()pour désérialiser un bytesobjet directement (l'encodage doit être UTF-8, UTF-16 ou UTF-32). Ainsi, en utilisant uniquement les modules de la bibliothèque standard, vous pouvez faire:

import json
from urllib import request

response = request.urlopen(url).read()
data = json.loads(response)

J'ai utilisé le programme ci-dessous pour utiliser json.loads()

import urllib.request
import json
endpoint = 'https://maps.googleapis.com/maps/api/directions/json?'
api_key = 'AIzaSyABbKiwfzv9vLBR_kCuhO7w13Kseu68lr0'
origin = input('where are you ?').replace(' ','+')
destination = input('where do u want to go').replace(' ','+')
nav_request = 'origin={}&destination={}&key={}'.format(origin,destination,api_key)
request = endpoint + nav_request
response = urllib.request.urlopen(request).read().decode('utf-8')
directions = json.loads(response)
print(directions)