Comment déterminer le codage des fichiers sous OS X?

J'essaie d'entrer des caractères UTF-8 dans un fichier LaTeX dans TextMate (qui dit que son encodage par défaut est UTF-8), mais LaTeX ne semble pas les comprendre.

L'exécution cat my_file.texmontre correctement les caractères dans le terminal. L'exécution ls -almontre quelque chose que je n'ai jamais vu auparavant: un "@" dans la liste des fichiers:

-rw-r--r--@  1 me      users      2021 Feb 11 18:05 my_file.tex

(Et, oui, j'utilise \usepackage[utf8]{inputenc}dans le LaTeX.)

J'ai trouvé iconv, mais cela ne semble pas pouvoir me dire quel est l'encodage - il ne sera converti qu'une fois que je le comprendrai.

Les @moyens que le fichier comporte un fichier d' attributs étendus associés. Vous pouvez les interroger à l'aide de la getxattr()fonction.

Il n'y a pas de moyen défini de détecter l'encodage d'un fichier. Lisez cette réponse, elle explique pourquoi.

Il existe un outil de ligne de commande, enca , qui tente de deviner l'encodage. Vous voudrez peut-être le vérifier.

L'utilisation de l' -Ioption (c'est un i majuscule) sur la commande de fichier semble afficher le codage du fichier.

file -I {filename}

Sous Mac OS X, la commande file -I(i majuscule) vous donnera le jeu de caractères approprié tant que le fichier que vous testez contient des caractères en dehors de la plage ASCII de base.

Par exemple, si vous allez dans Terminal et utilisez vi pour créer un fichier, par exemple. vi test.txt puis insérez quelques caractères et incluez un caractère accentué (essayez ALT-e suivi de e) puis enregistrez le fichier.

Ils tapent file -I text.txtet vous devriez obtenir un résultat comme celui-ci:

test.txt: text/plain; charset=utf-8

vim -c 'execute "silent !echo " . &fileencoding | q' {filename}

alias quelque part dans ma configuration bash comme

alias vic="vim -c 'execute \"silent !echo \" . &fileencoding | q'"

alors je tape juste

vic {filename}

Sur mon OSX Yosemite vanille, il donne des résultats plus précis que "file -I":

$ file -I pdfs/udocument0.pdf
pdfs/udocument0.pdf: application/pdf; charset=binary
$ vic pdfs/udocument0.pdf
latin1
$
$ file -I pdfs/t0.pdf
pdfs/t0.pdf: application/pdf; charset=us-ascii
$ vic pdfs/t0.pdf
utf-8

Vous pouvez également convertir d'un type de fichier à un autre à l'aide de la commande suivante:

iconv -f original_charset -t new_charset originalfile > newfile

par exemple

iconv -f utf-16le -t utf-8 file1.txt > file2.txt

Utilisez simplement:

file -I <filename>

C'est tout.

Utiliser la filecommande avec l' --mime-encodingoption (par exemple file --mime-encoding some_file.txt) au lieu de l'option -I fonctionne sur OS X et a l'avantage supplémentaire d'omettre le type mime, "text / plain", dont vous ne vous souciez probablement pas.

Le LaTeX 8 bits classique est très limité dans les caractères UTF8 qu'il peut utiliser; cela dépend fortement de l'encodage de la police que vous utilisez et des glyphes disponibles pour cette police.

Comme vous ne donnez pas d'exemple spécifique, il est difficile de savoir exactement où se situe le problème - si vous essayez d'utiliser un glyphe que votre police n'a pas ou si vous n'utilisez pas le bon encodage de police dans le premier endroit.

Voici un exemple minimal montrant comment quelques caractères UTF8 peuvent être utilisés dans un document LaTeX:

\documentclass{article}
\usepackage[T1]{fontenc}
\usepackage{lmodern}
\usepackage[utf8]{inputenc}
\begin{document}
‘Héllø—thêrè.’
\end{document}

Vous avez peut-être plus de chance avec l'encodage [utf8x], mais soyez légèrement averti qu'il n'est plus supporté et qu'il a quelques particularités par rapport à [utf8] (pour autant que je me souvienne; ça fait un moment que je ne l'ai pas regardé). Mais si cela fait l'affaire, c'est tout ce qui compte pour vous.

Le signe @ signifie que le fichier a des attributs étendus . xattr filemontre quels attributs il a, xattr -l filemontre aussi les valeurs d'attribut (qui peuvent parfois être grandes - essayez par exemple xattr /System/Library/Fonts/HelveLTMMde voir une police à l'ancienne qui existe dans la fourchette de ressources).

Taper file myfile.texdans un terminal peut parfois vous indiquer le codage et le type de fichier à l'aide d'une série d'algorithmes et de nombres magiques. C'est assez utile mais ne comptez pas sur lui pour fournir des informations concrètes ou fiables.

Un Localizable.stringsfichier (trouvé dans les applications Mac OS X localisées) est généralement signalé comme un fichier source UTF-16 C.

Synalyze It! permet de comparer du texte ou des octets dans tous les encodages proposés par la bibliothèque ICU . En utilisant cette fonctionnalité, vous voyez généralement immédiatement quelle page de codes convient à vos données.

Vous pouvez essayer de charger le fichier dans une fenêtre de Firefox, puis aller dans Affichage - Encodage de caractères. Il doit y avoir une coche à côté du type de codage du fichier.

Quel LaTeX utilisez-vous? Lorsque j'utilisais teTeX, je devais télécharger manuellement le package unicode et l'ajouter à mes fichiers .tex:

% UTF-8 stuff
\usepackage[notipa]{ucs}
\usepackage[utf8x]{inputenc}
\usepackage[T1]{fontenc}

Maintenant, je suis passé à XeTeX depuis le package TeXlive 2008 ( ici ), c'est encore plus simple:

% UTF-8 stuff
\usepackage{fontspec}
\usepackage{xunicode}

Quant à la détection de l'encodage d'un fichier, vous pourriez jouer avec file(1)(mais c'est assez limité) mais comme quelqu'un l'a dit, c'est difficile.

Un moyen brutal de vérifier l'encodage pourrait simplement être de vérifier le fichier dans un éditeur hexadécimal ou similaire. (ou écrivez un programme pour vérifier) ​​Regardez les données binaires dans le fichier. Le format UTF-8 est assez facile à reconnaître. Tous les caractères ASCII sont des octets simples avec des valeurs inférieures à 128 (0x80) Les séquences multi-octets suivent le modèle indiqué dans l' article du wiki

Si vous pouvez trouver un moyen plus simple d'obtenir un programme pour vérifier l'encodage pour vous, c'est évidemment un raccourci, mais si tout le reste échoue, cela ferait l'affaire.

J'ai implémenté le script bash ci-dessous, cela fonctionne pour moi.

Il essaie d'abord de iconvpartir du codage renvoyé par file --mime-encodingto utf-8.

Si cela échoue, il passe par tous les encodages et affiche la différence entre le fichier d'origine et le fichier réencodé. Il saute les encodages qui produisent une sortie diff importante («large» comme défini par la MAX_DIFF_LINESvariable ou le deuxième argument d'entrée), car ceux-ci sont probablement le mauvais encodage.

Si de "mauvaises choses" se produisent à la suite de l'utilisation de ce script, ne me blâmez pas. Il y a un rm -fdedans, donc il y a des monstres. J'ai essayé d'éviter les effets indésirables en l'utilisant sur des fichiers avec un suffixe aléatoire, mais je ne fais aucune promesse.

Testé sur Darwin 15.6.0.

#!/bin/bash

if [[ $# -lt 1 ]]
then
  echo "ERROR: need one input argument: file of which the enconding is to be detected."
  exit 3
fi

if [ ! -e "$1" ]
then
  echo "ERROR: cannot find file '$1'"
  exit 3
fi

if [[ $# -ge 2 ]]
then
  MAX_DIFF_LINES=$2
else
  MAX_DIFF_LINES=10
fi


#try the easy way
ENCOD=$(file --mime-encoding $1 | awk '{print $2}')
#check if this enconding is valid
iconv -f $ENCOD -t utf-8 $1 &> /dev/null
if [ $? -eq 0 ]
then
  echo $ENCOD
  exit 0
fi

#hard way, need the user to visually check the difference between the original and re-encoded files
for i in $(iconv -l | awk '{print $1}')
do
  SINK=$1.$i.$RANDOM
  iconv -f $i -t utf-8 $1 2> /dev/null > $SINK
  if [ $? -eq 0 ]
  then
    DIFF=$(diff $1 $SINK)
    if [ ! -z "$DIFF" ] && [ $(echo "$DIFF" | wc -l) -le $MAX_DIFF_LINES ]
    then
      echo "===== $i ====="
      echo "$DIFF"
      echo "Does that make sense [N/y]"
      read $ANSWER
      if [ "$ANSWER" == "y" ] || [ "$ANSWER" == "Y" ]
      then
        echo $i
        exit 0
      fi
    fi
  fi
  #clean up re-encoded file
  rm -f $SINK
done

echo "None of the encondings worked. You're stuck."
exit 3