Le format de fin de ligne de robots.txt est-il important?

Question simple: dois-je m'assurer d'utiliser les fins de ligne Unix pour mon robots.txt, ou cela n'a-t-il pas d'importance?

Ça n'a pas d'importance. Selon les spécifications:

Le fichier se compose d'un ou plusieurs enregistrements séparés par une ou plusieurs lignes vides (terminées par CR, CR / NL ou NL).

• CR = retour chariot (ie \ r)
• CR / NL = retour chariot / nouvelle ligne (c'est-à-dire \ r \ n)
• NL = Nouvelle ligne (c'est-à-dire \ n)

Cela signifie que vous pouvez utiliser \r. \n, ou \r\net cela fonctionnera.