Pourquoi les modèles d'analyse «discriminants» gaussiens sont-ils appelés ainsi?

Les modèles d'analyse discriminants gaussiens apprennent puis appliquent la règle de Bayes pour évaluer P ( y | x ) = P ( x | y ) P p r i o r ( y $P(x|y)$Ce sont donc des modèles génératifs. Pourquoi alors cela s'appelle-t-il analyse discriminante? Si c'est parce que nous dérivons finalement une courbe discriminante entre les classes, alors cela se produit pour tous les modèles génératifs.

$$P(y|x) = \frac{P(x|y)P_{prior}(y)}{\Sigma_{g \in Y} P(x|g) P_{prior}(g) }.$$

Si vous voulez dire LDA, je dirais que le nom, analyse discriminante linéaire, peut être expliqué historiquement, remontant au moins à l'article de Fisher de 1936 , qui, à ma connaissance, précède la terminologie et la distinction actuelles dans l'apprentissage automatique entre une discrimination et une un modèle génératif. Non pas que Fisher l'appelle directement l'analyse discriminante linéaire, mais il a explicitement demandé une fonction linéaire pour la discrimination. Comme remarque secondaire curieuse, Fisher a envisagé la discrimination pour le célèbre ensemble de données Iris dans le document.

Soit dit en passant, Fisher n'a pas présenté la méthode linéaire de discrimination en termes de modèle génératif. Il a cherché une combinaison linéaire (pour deux classes) qui maximise le rapport de la variance intergroupe à la variance intra-groupe , qui ne nécessite pas une hypothèse de normalité. Les détails, et comment elle se rapporte à LDA en tant que règle de Bayes pour un modèle génératif, peuvent être trouvés dans le chapitre 3 du livre de Brian Ripley "Pattern Recognition and Neural Networks".

$(Y=0 , Y=1)$

1. $P(X|Y=0) \sim \mathcal{N}(\mu_0,\Sigma_0)$
2. $P(X|Y=1) \sim \mathcal{N}(\mu_1,\Sigma_1)$
3. $P(Y=1)=1-P(Y=0)=\Phi$

$(\mu_0,\Sigma_0,\mu_1,\Sigma_1,\Phi)$

Il est donc gaussien car il utilise une hypothèse gaussienne pour la distribution intra-groupe (vous voudrez peut-être utiliser plutôt uniforme pour ex) et discriminant car il vise à séparer les données en groupes.

Vous pouvez trouver plus d'informations ici .