Pourquoi l'exécution de code Java dans les commentaires avec certains caractères Unicode est-elle autorisée?

Le code suivant produit la sortie "Hello World!" (non vraiment, essayez-le).

public static void main(String... args) {

   // The comment below is not a typo.
   // \u000d System.out.println("Hello World!");
}

La raison en est que le compilateur Java analyse le caractère Unicode \u000dcomme une nouvelle ligne et se transforme en:

public static void main(String... args) {

   // The comment below is not a typo.
   //
   System.out.println("Hello World!");
}

De ce fait, un commentaire est "exécuté".

Puisque cela peut être utilisé pour "cacher" du code malveillant ou tout ce qu'un mauvais programmeur peut concevoir, pourquoi est-il autorisé dans les commentaires ?

Pourquoi cela est-il autorisé par la spécification Java?

Le décodage Unicode a lieu avant toute autre traduction lexicale. Le principal avantage de ceci est qu'il est trivial de faire des allers-retours entre ASCII et tout autre encodage. Vous n'avez même pas besoin de savoir où commencent et finissent les commentaires!

Comme indiqué dans la section 3.3 de JLS, cela permet à tout outil basé sur ASCII de traiter les fichiers source:

[...] Le langage de programmation Java spécifie une manière standard de transformer un programme écrit en Unicode en ASCII qui change un programme en une forme qui peut être traitée par des outils basés sur ASCII. [...]

Cela donne une garantie fondamentale pour l'indépendance de la plate-forme (indépendance des jeux de caractères pris en charge) qui a toujours été un objectif clé pour la plate-forme Java.

La possibilité d'écrire n'importe quel caractère Unicode n'importe où dans le fichier est une fonctionnalité intéressante, et particulièrement importante dans les commentaires, lors de la documentation du code dans des langues non latines. Le fait qu'il puisse interférer avec la sémantique de manière si subtile n'est qu'un effet secondaire (malheureux).

Il existe de nombreux pièges sur ce thème et Java Puzzlers de Joshua Bloch et Neal Gafter comprenait la variante suivante:

S'agit-il d'un programme Java légal? Si oui, qu'imprime-t-il?

\u0070\u0075\u0062\u006c\u0069\u0063\u0020\u0020\u0020\u0020
\u0063\u006c\u0061\u0073\u0073\u0020\u0055\u0067\u006c\u0079
\u007b\u0070\u0075\u0062\u006c\u0069\u0063\u0020\u0020\u0020
\u0020\u0020\u0020\u0020\u0073\u0074\u0061\u0074\u0069\u0063
\u0076\u006f\u0069\u0064\u0020\u006d\u0061\u0069\u006e\u0028
\u0053\u0074\u0072\u0069\u006e\u0067\u005b\u005d\u0020\u0020
\u0020\u0020\u0020\u0020\u0061\u0072\u0067\u0073\u0029\u007b
\u0053\u0079\u0073\u0074\u0065\u006d\u002e\u006f\u0075\u0074
\u002e\u0070\u0072\u0069\u006e\u0074\u006c\u006e\u0028\u0020
\u0022\u0048\u0065\u006c\u006c\u006f\u0020\u0077\u0022\u002b
\u0022\u006f\u0072\u006c\u0064\u0022\u0029\u003b\u007d\u007d

(Ce programme s'avère être un simple programme "Hello World".)

Dans la solution au casse-tête, ils soulignent ce qui suit:

Plus sérieusement, ce puzzle sert à renforcer les leçons des trois précédents: les échappements Unicode sont essentiels lorsque vous devez insérer des caractères qui ne peuvent être représentés d'aucune autre manière dans votre programme. Évitez-les dans tous les autres cas.

Source: Java: exécuter du code dans les commentaires?!

Puisque cela n'a pas encore été résolu, voici une explication, pourquoi la traduction des échappements Unicode se produit avant tout autre traitement de code source:

L'idée derrière cela était qu'il permet des traductions sans perte de code source Java entre différents encodages de caractères. Aujourd'hui, il existe un support Unicode répandu, et cela ne semble pas poser de problème, mais à l'époque, il n'était pas facile pour un développeur d'un pays occidental de recevoir du code source de son collègue asiatique contenant des caractères asiatiques, apportez quelques modifications ( y compris la compilation et le test) et l'envoi du résultat, le tout sans endommager quelque chose.

Ainsi, le code source Java peut être écrit dans n'importe quel encodage et permet une large gamme de caractères dans les identifiants, les caractères et les Stringlittéraux et les commentaires. Ensuite, afin de le transférer sans perte, tous les caractères non pris en charge par l'encodage cible sont remplacés par leurs échappements Unicode.

Il s'agit d'un processus réversible et le point intéressant est que la traduction peut être effectuée par un outil qui n'a pas besoin de connaître la syntaxe du code source Java car la règle de traduction n'en dépend pas. Cela fonctionne car la traduction de leurs caractères Unicode réels à l'intérieur du compilateur s'effectue également indépendamment de la syntaxe du code source Java. Cela implique que vous pouvez effectuer un nombre arbitraire d'étapes de traduction dans les deux sens sans jamais changer la signification du code source.

C'est la raison d'une autre fonctionnalité étrange qui n'a même pas mentionné: la \uuuuuuxxxxsyntaxe:

Lorsqu'un outil de traduction échappe des caractères et rencontre une séquence qui est déjà une séquence échappée, il doit insérer un élément supplémentaire udans la séquence, en le convertissant \ucafeen \uucafe. La signification ne change pas, mais lors de la conversion dans l'autre sens, l'outil doit simplement en supprimer une uet remplacer uniquement les séquences contenant une seule upar leurs caractères Unicode. De cette façon, même les échappements Unicode sont conservés dans leur forme d'origine lors de la conversion dans les deux sens. Je suppose que personne n'a jamais utilisé cette fonctionnalité…

Je vais ajouter complètement inefficacement le point, juste parce que je ne peux pas m'en empêcher et que je ne l'ai pas encore vu, que la question n'est pas valide car elle contient une prémisse cachée qui est erronée, à savoir que le code est en un commentaire!

En Java, le code source \ u000d est à tous égards équivalent à un caractère ASCII CR. C'est une fin de ligne, claire et simple, où qu'elle se produise. La mise en forme de la question est trompeuse, à quoi correspond exactement cette séquence de caractères syntaxiquement:

public static void main(String... args) {
   // The comment below is no typo. 
   // 
 System.out.println("Hello World!");
}

À mon humble avis, la réponse la plus correcte est donc: le code s'exécute parce qu'il n'est pas dans un commentaire; c'est sur la ligne suivante. "Exécuter du code dans les commentaires" n'est pas autorisé en Java, comme vous pouvez vous y attendre.

Une grande partie de la confusion provient du fait que les surligneurs de syntaxe et les IDE ne sont pas suffisamment sophistiqués pour prendre en compte cette situation. Soit ils ne traitent pas du tout les échappements unicode, soit ils le font après avoir analysé le code plutôt qu'avant, comme c'est le javaccas.

L' \u000dévasion termine un commentaire car les \uéchappements sont uniformément convertis en caractères Unicode correspondants avant que le programme ne soit tokenisé. Vous pouvez également utiliser \u0057\u0057au lieu de //pour commencer un commentaire.

Il s'agit d'un bogue dans votre IDE, qui devrait mettre en surbrillance la ligne pour indiquer clairement que \u000dle commentaire se termine.

Il s'agit également d'une erreur de conception dans la langue. Cela ne peut pas être corrigé maintenant, car cela casserait les programmes qui en dépendent. \ules échappements doivent être convertis en caractère Unicode correspondant par le compilateur uniquement dans des contextes où cela "fait sens" (littéraux de chaîne et identificateurs, et probablement nulle part ailleurs) ou ils doivent avoir été interdits pour générer des caractères dans la plage U + 0000–007F , ou les deux. L'une ou l'autre de ces sémantiques aurait empêché le commentaire d'être interrompu par l' \u000dévasion, sans interférer avec les cas où les \uéchappements sont utiles - notez que cela inclut l' utilisation des \uéchappements dans les commentaires comme moyen d'encoder les commentaires dans un script non latin, car le éditeur de texte pourrait avoir une vision plus large de l'endroit où\ules échappements sont significatifs par rapport au compilateur. ( Cependant, je ne connais aucun éditeur ou IDE qui affichera les \uéchappements en tant que caractères correspondants dans n'importe quel contexte.)

Il existe une erreur de conception similaire dans la famille C, ¹ où la barre oblique inversée est traitée avant que les limites des commentaires ne soient déterminées, par exemple

// this is a comment \
   this is still in the comment!

J'apporte cela pour illustrer qu'il se trouve qu'il est facile de faire cette erreur de conception particulière, et de ne pas réaliser que c'est une erreur jusqu'à ce qu'il soit trop tard pour la corriger, si vous avez l'habitude de penser à la tokenisation et à l'analyse de la façon dont les programmeurs du compilateur pensent sur la tokenisation et l'analyse. Fondamentalement, si vous avez déjà défini votre grammaire formelle et que quelqu'un propose un cas spécial syntaxique - trigraphes, barre oblique inversée, encodage de caractères Unicode arbitraires dans des fichiers source limités en ASCII, peu importe - qui doit être coincé, il est plus facile de ajouter un passage de transformation avant le tokenizer que de redéfinir le tokenizer pour faire attention à l'endroit où il est judicieux d'utiliser ce cas spécial.

¹ Pour les pédants: je suis conscient que cet aspect de C était 100% intentionnel, avec la justification - je n'invente rien - qu'il vous permettrait de forcer mécaniquement l'ajustement de code avec des lignes arbitrairement longues sur des cartes perforées. C'était toujours une décision de conception incorrecte.

Il s'agissait d'un choix de conception intentionnel qui remonte à la conception originale de Java.

À ceux qui demandent "qui veut échapper à Unicode dans les commentaires?", Je suppose que ce sont des gens dont la langue maternelle utilise le jeu de caractères latin. En d'autres termes, il est inhérent à la conception originale de Java que les gens puissent utiliser des caractères Unicode arbitraires partout où cela est légal dans un programme Java, le plus souvent dans les commentaires et les chaînes.

Il s'agit sans doute d'une lacune dans les programmes (comme les IDE) utilisés pour afficher le texte source que ces programmes ne peuvent pas interpréter les échappements Unicode et afficher le glyphe correspondant.

Je suis d'accord avec @zwol qu'il s'agit d'une erreur de conception; mais j'en suis encore plus critique.

\uescape est utile dans les littéraux chaîne et char; et c'est le seul endroit où cela devrait exister. Il doit être traité de la même manière que les autres évasions comme \n; et "\u000A" devrait signifier exactement "\n".

Il est absolument inutile d'avoir des \uxxxxcommentaires - personne ne peut le lire.

De même, il est inutile d'utiliser \uxxxxdans une autre partie du programme. La seule exception est probablement dans les API publiques qui sont contraintes de contenir des caractères non ascii - quelle est la dernière fois que nous avons vu cela?

Les concepteurs ont eu leurs raisons en 1995, mais 20 ans plus tard, cela semble être un mauvais choix.

(question aux lecteurs - pourquoi cette question continue-t-elle d'obtenir de nouveaux votes? cette question est-elle liée d'un endroit populaire?)

Les seules personnes qui peuvent expliquer pourquoi les échappements Unicode ont été implémentés tels quels sont les personnes qui ont écrit la spécification.

Une raison plausible à cela est qu'il y avait le désir d'autoriser l'ensemble du BMP en tant que caractères possibles du code source Java. Cela pose cependant un problème:

• Vous voulez pouvoir utiliser n'importe quel caractère BMP.
• Vous voulez pouvoir saisir n'importe quel caractère BMP assez facilement. Un moyen de le faire est d'utiliser les échappements Unicode.
• Vous voulez que la spécification lexicale soit facile à lire et à écrire pour les humains, et relativement facile à mettre en œuvre également.

C'est incroyablement difficile lorsque les échappements Unicode entrent dans la mêlée: cela crée toute une série de nouvelles règles de lexer.

La solution la plus simple consiste à effectuer une lexing en deux étapes: recherchez et remplacez d'abord tous les échappements Unicode par le caractère qu'il représente, puis analysez le document résultant comme si les échappements Unicode n'existaient pas.

L'avantage est qu'il est facile à spécifier, il simplifie donc la spécification et est facile à mettre en œuvre.

L'inconvénient est bien votre exemple.