J'ai vu l'autre fil ici, mais je ne pense pas que la réponse ait satisfait la question réelle. Ce que j'ai continuellement lu, c'est que Naive Bayes est un classificateur linéaire (ex: ici ) (tel qu'il trace une frontière de décision linéaire) en utilisant la démonstration des cotes logarithmiques.
Cependant, j'ai simulé deux nuages gaussiens et ajusté une frontière de décision et obtenu les résultats en tant que tels (bibliothèque e1071 dans r, en utilisant naiveBayes ())
Comme nous pouvons le voir, la frontière de décision est non linéaire. Essaie-t-il de dire que les paramètres (probabilités conditionnelles) sont une combinaison linéaire dans l'espace logarithmique plutôt que de dire que le classificateur lui-même sépare les données de façon linéaire?
la source
Réponses:
En général, le classificateur Bayes naïf n'est pas linéaire, mais si les facteurs de vraisemblance sont issus de familles exponentielles , le classificateur Bayes naïf correspond à un classificateur linéaire dans un espace d'entités particulier. Voici comment voir cela.p ( xje∣ c )
Vous pouvez écrire n'importe quel classificateur Bayes naïf comme *
où est la fonction logistique . Si est issu d'une famille exponentielle, on peut l'écrire commep ( x i ∣ c )σ p ( xje∣ c )
et donc
où
Notez que ceci est similaire à la régression logistique - un classifieur linéaire - dans l'espace d'entité défini par le . Pour plus de deux classes, nous obtenons de manière analogue une régression logistique multinomiale (ou softmax) .ϕje
Si est gaussien, alors et nous aurions dû ϕ i ( x i ) = ( x i , x 2 i ) w i 1p ( xje∣ c ) ϕje( xje) = ( xje, x2je)
en supposant que .p ( c = 1 ) = p ( c = 0 ) = 12
* Voici comment dériver ce résultat:
la source
Il n'est linéaire que si les matrices de variance conditionnelle de classe sont les mêmes pour les deux classes. Pour voir cela, notez la ration des logarithmes postérieurs et vous n'en obtiendrez une fonction linéaire que si les variances correspondantes sont les mêmes. Sinon, c'est quadratique.
la source
Je voudrais ajouter un point supplémentaire: la raison d'une partie de la confusion réside dans ce que signifie effectuer la "classification Naive Bayes".
Sous le thème général de "l'analyse discriminante gaussienne (GDA)", il existe plusieurs techniques: QDA, LDA, GNB et DLDA (DA quadratique, DA linéaire, bayes naïfs gaussiennes, LDA diagonale). [MISE À JOUR] LDA et DLDA doivent être linéaires dans l'espace des prédicteurs donnés. (Voir, par exemple, Murphy , 4.2, p. 101 pour DA et p. 82 pour NB. Remarque: GNB n'est pas nécessairement linéaire. NB discret (qui utilise une distribution multinomiale sous le capot) est linéaire. Vous pouvez également consulter Duda , Hart & Stork section 2.6). QDA est quadratique comme d'autres réponses l'ont souligné (et je pense que c'est ce qui se passe dans votre graphique - voir ci-dessous).
Bien que les documents pour e1071 prétendent qu'il suppose une indépendance conditionnelle de classe (c'est-à-dire GNB), je soupçonne qu'il fait réellement QDA. Certaines personnes confondent «Bayes naïfs» (faisant des hypothèses d'indépendance) avec «règle de classification bayésienne simple». Toutes les méthodes GDA sont dérivées de la dernière; mais seuls GNB et DLDA utilisent le premier.
Un gros avertissement, je n'ai pas lu le code source e1071 pour confirmer ce qu'il fait.
la source