UnicodeDecodeError: le codec 'utf8' ne peut pas décoder l'octet 0x9c

J'ai un serveur de socket qui est censé recevoir des caractères valides UTF-8 des clients.

Le problème est que certains clients (principalement des pirates informatiques) envoient tous les mauvais types de données dessus.

Je peux facilement distinguer le client authentique, mais je me connecte aux fichiers de toutes les données envoyées afin de pouvoir les analyser plus tard.

Parfois, je reçois des caractères comme celui-ci œqui provoquent l' UnicodeDecodeErrorerreur.

J'ai besoin de pouvoir faire la chaîne UTF-8 avec ou sans ces caractères.

Mettre à jour:

Pour mon cas particulier, le service de socket était un MTA et je m'attends donc à recevoir des commandes ASCII telles que:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

J'enregistrais tout cela dans JSON.

Ensuite, des gens sans bonnes intentions ont décidé de vendre toutes sortes de déchets.

C'est pourquoi pour mon cas spécifique, il est parfaitement correct de supprimer les caractères non ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

ou

str = unicode(str, errors='ignore')

Remarque: Cela supprimera (ignorera) les caractères en question en renvoyant la chaîne sans eux.

Pour moi, c'est le cas idéal car je l'utilise comme protection contre les entrées non ASCII qui ne sont pas autorisées par mon application.

Alternativement: Utilisez la méthode ouverte du codecsmodule pour lire le fichier:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Changer le moteur de C en Python a fait l'affaire pour moi.

Le moteur est C:

pd.read_csv(gdp_path, sep='\t', engine='c')

Le codec 'utf-8' ne peut pas décoder l'octet 0x92 en position 18: octet de début invalide

Le moteur est Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Aucune erreur pour moi.

Ce type de problème apparaît pour moi maintenant que je suis passé à Python 3. Je ne savais pas que Python 2 roulait simplement à la vapeur tout problème avec l'encodage de fichiers.

J'ai trouvé cette belle explication des différences et comment trouver une solution après qu'aucune des solutions ci-dessus n'ait fonctionné pour moi.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

En bref, pour que Python 3 se comporte de manière aussi similaire que possible à Python 2, utilisez:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Cependant, lisez l'article, il n'y a pas de solution unique.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

J'ai eu le même problème avec UnicodeDecodeErroret je l'ai résolu avec cette ligne. Je ne sais pas si c'est la meilleure façon mais cela a fonctionné pour moi.

str = str.decode('unicode_escape').encode('utf-8')

le premier, Utilisation de get_encoding_type pour obtenir le type de codage des fichiers:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

la seconde, en ouvrant les fichiers avec le type:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Juste au cas où quelqu'un aurait le même problème. J'utilise vim avec YouCompleteMe , je n'ai pas pu démarrer ycmd avec ce message d'erreur, ce que j'ai fait est:export LC_CTYPE="en_US.UTF-8" le problème a disparu.

Que pouvez-vous faire si vous devez modifier un fichier, mais que vous ne connaissez pas l'encodage du fichier? Si vous savez que l'encodage est compatible ASCII et que vous souhaitez uniquement examiner ou modifier les parties ASCII, vous pouvez ouvrir le fichier avec le gestionnaire d'erreurs de substitution:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

J'ai résolu ce problème simplement en ajoutant

df = pd.read_csv(fileName,encoding='latin1')