Écrire dans un fichier UTF-8 en Python

Je suis vraiment confus avec le codecs.open function. Quand je fais:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

Ça me donne l'erreur

UnicodeDecodeError: le codec 'ascii' ne peut pas décoder l'octet 0xef en position 0: l'ordinal n'est pas dans la plage (128)

Si je fais:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

Ça fonctionne bien.

Question est de savoir pourquoi la première méthode échoue? Et comment insérer la nomenclature?

Si la deuxième méthode est la bonne façon de le faire, quel est l'intérêt d'utiliser codecs.open(filename, "w", "utf-8")?

Je crois que le problème est que codecs.BOM_UTF8 c'est une chaîne d'octets, pas une chaîne Unicode. Je soupçonne que le gestionnaire de fichiers essaie de deviner ce que vous voulez vraiment dire en se basant sur "Je suis censé écrire Unicode sous forme de texte encodé en UTF-8, mais vous m'avez donné une chaîne d'octets!"

Essayez d'écrire directement la chaîne Unicode pour la marque d'ordre des octets (c'est-à-dire Unicode U + FEFF), de sorte que le fichier code simplement cela en UTF-8:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(Cela semble donner la bonne réponse - un fichier avec octets EF BB BF.)

EDIT: La suggestion de S. Lott d'utiliser "utf-8-sig" comme encodage est meilleure que d'écrire explicitement la nomenclature vous-même, mais je vais laisser cette réponse ici car elle explique ce qui n'allait pas auparavant.

Lisez ce qui suit: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Faites ceci

with codecs.open("test_output", "w", "utf-8-sig") as temp:
    temp.write("hi mom\n")
    temp.write(u"This has ♭")

Le fichier résultant est UTF-8 avec la nomenclature attendue.

@ S-Lott donne la bonne procédure, mais en développant les problèmes Unicode , l' interpréteur Python peut fournir plus d'informations.

Jon Skeet a raison (inhabituel) sur le codecsmodule - il contient des chaînes d'octets:

>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>> 

Choisir un autre nit, le BOMa un nom Unicode standard , et il peut être entré comme:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'

Il est également accessible via unicodedata:

>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>> 

J'utilise la commande file * nix pour convertir un fichier de jeu de caractères inconnu en un fichier utf-8

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()