Erreur de codage Python Unicode

Je lis et analyse un fichier XML Amazon et tandis que le fichier XML affiche un ', lorsque j'essaie de l'imprimer, j'obtiens l'erreur suivante:

'ascii' codec can't encode character u'\u2019' in position 16: ordinal not in range(128) 

D'après ce que j'ai lu en ligne jusqu'à présent, l'erreur vient du fait que le fichier XML est en UTF-8, mais Python veut le gérer comme un caractère encodé ASCII. Existe-t-il un moyen simple de faire disparaître l'erreur et de faire imprimer le XML par mon programme au fur et à mesure?

Probablement, votre problème est que vous l'avez bien analysé, et maintenant vous essayez d'imprimer le contenu du XML et vous ne pouvez pas parce qu'il y a des caractères Unicode étrangers. Essayez d'abord d'encoder votre chaîne Unicode en ascii:

unicodeData.encode('ascii', 'ignore')

la partie «ignorer» lui dira de simplement sauter ces caractères. À partir de la documentation Python:

>>> u = unichr(40960) + u'abcd' + unichr(1972)
>>> u.encode('utf-8')
'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
'abcd'
>>> u.encode('ascii', 'replace')
'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
'&#40960;abcd&#1972;'

Vous voudrez peut-être lire cet article: http://www.joelonsoftware.com/articles/Unicode.html , que j'ai trouvé très utile comme tutoriel de base sur ce qui se passe. Après la lecture, vous cesserez de vous sentir comme si vous deviez juste quelles commandes utiliser (ou du moins cela m'est arrivé).

Une meilleure solution:

if type(value) == str:
    # Ignore errors even if the string is not proper UTF-8 or has
    # broken marker bytes.
    # Python built-in function unicode() can do this.
    value = unicode(value, "utf-8", errors="ignore")
else:
    # Assume the value object has proper __unicode__() method
    value = unicode(value)

Si vous souhaitez en savoir plus sur les raisons:

http://docs.plone.org/manage/troubleshooting/unicode.html#id1

Ne codez pas en dur le codage des caractères de votre environnement dans votre script; imprimer le texte Unicode directement à la place:

assert isinstance(text, unicode) # or str on Python 3
print(text)

Si votre sortie est redirigée vers un fichier (ou un tube); vous pouvez utiliser PYTHONIOENCODINGenvvar, pour spécifier le codage des caractères:

$ PYTHONIOENCODING=utf-8 python your_script.py >output.utf8

Dans le cas contraire, python your_script.pydevrait fonctionner comme cela est - vos paramètres régionaux sont utilisés pour coder le texte (à l' enregistrement POSIX: LC_ALL, LC_CTYPE, LANGenvvars - ensemble LANGà un lieu utf-8 si nécessaire).

Pour imprimer Unicode sous Windows, consultez cette réponse qui montre comment imprimer Unicode sur la console Windows, dans un fichier ou en utilisant IDLE .

Excellent article: http://www.carlosble.com/2010/12/understanding-python-and-unicode/

# -*- coding: utf-8 -*-

def __if_number_get_string(number):
    converted_str = number
    if isinstance(number, int) or \
            isinstance(number, float):
        converted_str = str(number)
    return converted_str


def get_unicode(strOrUnicode, encoding='utf-8'):
    strOrUnicode = __if_number_get_string(strOrUnicode)
    if isinstance(strOrUnicode, unicode):
        return strOrUnicode
    return unicode(strOrUnicode, encoding, errors='ignore')


def get_string(strOrUnicode, encoding='utf-8'):
    strOrUnicode = __if_number_get_string(strOrUnicode)
    if isinstance(strOrUnicode, unicode):
        return strOrUnicode.encode(encoding)
    return strOrUnicode

Vous pouvez utiliser quelque chose du formulaire

s.decode('utf-8')

qui convertira une chaîne d'octets encodée en UTF-8 en une chaîne Python Unicode. Mais la procédure exacte à utiliser dépend exactement de la manière dont vous chargez et analysez le fichier XML, par exemple si vous n'accédez jamais directement à la chaîne XML, vous devrez peut-être utiliser un objet décodeur du codecsmodule .

J'ai écrit ce qui suit pour corriger les citations non-ascii nuisibles et forcer la conversion en quelque chose utilisable.

unicodeToAsciiMap = {u'\u2019':"'", u'\u2018':"`", }

def unicodeToAscii(inStr):
    try:
        return str(inStr)
    except:
        pass
    outStr = ""
    for i in inStr:
        try:
            outStr = outStr + str(i)
        except:
            if unicodeToAsciiMap.has_key(i):
                outStr = outStr + unicodeToAsciiMap[i]
            else:
                try:
                    print "unicodeToAscii: add to map:", i, repr(i), "(encoded as _)"
                except:
                    print "unicodeToAscii: unknown code (encoded as _)", repr(i)
                outStr = outStr + "_"
    return outStr

Si vous avez besoin d'imprimer une représentation approximative de la chaîne à l'écran, plutôt que d'ignorer ces caractères non imprimables, veuillez essayer le unidecodepackage ici:

https://pypi.python.org/pypi/Unidecode

L'explication se trouve ici:

https://www.tablix.org/~avian/blog/archives/2009/01/unicode_transliteration_in_python/

C'est mieux que d'utiliser le u.encode('ascii', 'ignore')pour une chaîne donnée u, et peut vous éviter des maux de tête inutiles si la précision des caractères n'est pas ce que vous recherchez, mais que vous souhaitez toujours avoir une lisibilité humaine.

Wirawan

Essayez d'ajouter la ligne suivante en haut de votre script python.

# _*_ coding:utf-8 _*_

Python 3.5, 2018

Si vous ne connaissez pas le codage mais que l'analyseur Unicode a des problèmes, vous pouvez ouvrir le fichier dans Notepad++et dans la barre supérieure, sélectionnez Encoding->Convert to ANSI. Ensuite, vous pouvez écrire votre python comme ça

with open('filepath', 'r', encoding='ANSI') as file:
    for word in file.read().split():
        print(word)