Différence entre les Bayes naïfs et les Bayes naïfs multinomiaux

J'ai déjà traité du classificateur Naive Bayes . J'ai lu récemment sur Multinomial Naive Bayes .

Également probabilité postérieure = (probabilité * antérieure) / (preuve) .

La seule différence principale (lors de la programmation de ces classificateurs) que j'ai trouvée entre Naive Bayes et Multinomial Naive Bayes est que

Multinomial Naive Bayes calcule la probabilité d'être compté d'un mot / jeton (variable aléatoire) et Naive Bayes calcule la probabilité d'être le suivant:

Corrige moi si je me trompe!

Le terme général Naive Bayes fait référence aux fortes hypothèses d'indépendance du modèle, plutôt qu'à la distribution particulière de chaque caractéristique. Un modèle Naive Bayes suppose que chacune des fonctionnalités qu'il utilise est conditionnellement indépendante les unes des autres compte tenu d'une certaine classe. Plus formellement, si je veux calculer la probabilité d'observer les entités à , étant donné une classe c, sous l'hypothèse de Naive Bayes, les conditions suivantes sont réunies:f $f_1$$f_n$

Cela signifie que lorsque je veux utiliser un modèle Naive Bayes pour classer un nouvel exemple, la probabilité postérieure est beaucoup plus simple à utiliser:

Bien sûr, ces hypothèses d'indépendance sont rarement vraies, ce qui peut expliquer pourquoi certains ont appelé le modèle "Idiot Bayes", mais dans la pratique, les modèles Naive Bayes ont étonnamment bien fonctionné, même sur des tâches complexes où il est clair que la forte les hypothèses d'indépendance sont fausses.

Jusqu'à présent, nous n'avons rien dit sur la distribution de chaque fonctionnalité. En d'autres termes, nous avons laissé indéfini. Le terme Bayes naïfs multinomiaux nous fait simplement savoir que chaque est une distribution multinomiale, plutôt qu'une autre distribution. Cela fonctionne bien pour les données qui peuvent facilement être transformées en nombres, tels que les nombres de mots dans le texte.p ( f i | c $p(f_i|c)$$p(f_i|c)$

La distribution que vous utilisiez avec votre classificateur Naive Bayes est un pdf guassien, donc je suppose que vous pourriez l'appeler un classificateur guassien Naive Bayes.

En résumé, le classificateur Naive Bayes est un terme général qui fait référence à l'indépendance conditionnelle de chacune des fonctionnalités du modèle, tandis que le classificateur multinomial Naive Bayes est une instance spécifique d'un classificateur Naive Bayes qui utilise une distribution multinomiale pour chacune des fonctionnalités.

Les références:

Stuart J. Russell et Peter Norvig. 2003. Intelligence artificielle: une approche moderne (2 éd.). Éducation Pearson. Voir p. 499 pour référence à "idiot Bayes" ainsi que la définition générale du modèle Naive Bayes et ses hypothèses d'indépendance

En général, pour former les Naive Bayes aux données à n dimensions et aux classes k, vous devez estimer pour chaque , . Vous pouvez supposer n'importe quelle distribution de probabilité pour n'importe quelle paire (bien qu'il soit préférable de ne pas supposer une distribution discrète pour et continue pour ). Vous pouvez avoir une distribution gaussienne sur une variable, Poisson sur une autre et discrète sur une autre variable.1 ≤ i ≤ n 1 ≤ j ≤ k ( i , j ) P ( x i | c j 1 ) P ( x i | c j 2$P(x_i | c_j)$$1 \leq i \leq n$$1 \leq j \leq k$$(i,j)$$P(x_i|c_{j_1})$$P(x_i | c_{j_2})$

Multinomial Naive Bayes suppose simplement une distribution multinomiale pour toutes les paires, ce qui semble être une hypothèse raisonnable dans certains cas, c'est-à-dire pour le nombre de mots dans les documents.