Pourquoi le classificateur bayésien naïf est-il optimal pour une perte de 0-1?

Le classificateur Naive Bayes est le classificateur qui attribue les éléments à une classe fonction de la maximisation du postérieur pour l'appartenance à la classe, et suppose que les caractéristiques des éléments sont indépendantes.C P ( C | x $x$$C$$P(C|x)$

La perte 0-1 est la perte qui attribue à tout classement manquant une perte de "1" et une perte de "0" à tout classement correct.

J'ai souvent lu (1) que le classificateur "Naive Bayes", est optimal pour la perte 0-1. Pourquoi est-ce vrai?

(1) Une source exemplaire: classificateur de Bayes et erreur de Bayes

En fait, c'est assez simple: le classificateur de Bayes choisit la classe qui a la plus grande probabilité d'occurrence a posteriori (appelée estimation maximale a posteriori ). La fonction de perte 0-1 pénalise les erreurs de classification, c'est-à-dire qu'elle affecte la plus petite perte à la solution qui a le plus grand nombre de classifications correctes. Donc, dans les deux cas, nous parlons du mode d' estimation . Rappelez-vous que le mode est la valeur la plus courante dans l'ensemble de données, ou la valeur la plus probable , donc à la fois maximiser la probabilité postérieure et minimiser la perte 0-1 conduit à estimer le mode.

Si vous avez besoin d'une preuve formelle, celle-ci est donnée dans le document Introduction à la théorie de la décision bayésienne d'Angela J. Yu:

La fonction de perte binaire 0-1 a la forme suivante:

$$l_\boldsymbol{x}(\hat s, s^*) = 1 - \delta_{\hat ss^*} = \begin{cases} 1 & \text{if} \quad \hat s \ne s^* \\ 0 & \text{otherwise} \end{cases}$$

où est la fonction Kronecker Delta. (...) la perte attendue est:$\delta$

$$\begin{align} \mathcal{L}_\boldsymbol{x}(\hat s) &= \sum_{s^*} l_\boldsymbol{x}(\hat s, s^*) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} (1 - \delta_{\hat ss^*}) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} P(s = s^* \mid \boldsymbol{x}) ds^* - \sum_{s^*} \delta_{\hat ss^*} P(s = s^* \mid \boldsymbol{x}) \\ &= 1 - P(s = s^* \mid \boldsymbol{x}) \end{align}$$

Cela est vrai pour l'estimation maximale a posteriori en général. Donc, si vous connaissez la distribution postérieure, alors en supposant une perte de 0-1, la règle de classification la plus optimale est de prendre le mode de la distribution postérieure, nous l'appelons un classificateur bayésien optimal . Dans la vie réelle, nous ne connaissons généralement pas la distribution postérieure, mais nous l'estimons plutôt. Le classificateur Naive Bayes se rapproche du classificateur optimal en examinant la distribution empirique et en supposant l'indépendance des prédicteurs. Le classificateur Bayes naïf n'est donc pas lui-même optimal, mais il se rapproche de la solution optimale. Dans votre question, vous semblez confondre ces deux choses.