Je travaille avec de nombreux algorithmes: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear et rbf), KNN, LDA et XGBoost. Tous étaient assez rapides à l'exception de SVM. C'est à ce moment que j'ai appris qu'il avait besoin d'une mise à l'échelle des fonctionnalités pour fonctionner...
Dans un petit problème de classification de texte que je regardais, Naive Bayes a présenté une performance similaire ou supérieure à un SVM et j'étais très confus. Je me demandais quels facteurs décident du triomphe d'un algorithme sur l'autre. Y a-t-il des situations où il est inutile d'utiliser...
D'après ce que j'ai vu, la formule de lissage (de second ordre) de Kneser-Ney est d'une manière ou d'une autre donnée comme P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &=...
Ainsi, dans la modélisation de texte (non supervisée), l'allocation de Dirichlet latent (LDA) est une version bayésienne de l'analyse sémantique probabiliste latente (PLSA). Essentiellement, LDA = PLSA + Dirichlet prioritaire sur ses paramètres. Ma compréhension est que LDA est maintenant...
Je pense qu'un bon moyen de se souvenir de la formule est de penser à la formule comme ceci: La probabilité qu'un événement A ait un résultat particulier étant donné le résultat d'un événement indépendant B = la probabilité que les deux résultats se produisent simultanément / quoi que nous disions,...
J'étudie ce tutoriel sur les encodeurs automatiques variationnels de Carl Doersch . Dans la deuxième page, il indique: L'un des frameworks les plus populaires est le Variational Autoencoder [1, 3], le sujet de ce tutoriel. Les hypothèses de ce modèle sont faibles et la formation est rapide par...
Je suis nouveau dans le Machine Learning. En ce moment, j'utilise un classifieur Naive Bayes (NB) pour classer les petits textes en 3 classes comme positifs, négatifs ou neutres, en utilisant NLTK et python. Après avoir effectué quelques tests, avec un ensemble de données composé de 300 000...
À ma connaissance (très basique), Naive Bayes estime les probabilités en fonction des fréquences de classe de chaque caractéristique des données d'entraînement. Mais comment calcule-t-il la fréquence des variables continues? Et lors de la prédiction, comment classe-t-elle une nouvelle observation...
Je dois faire face à un problème de classification de texte. Un robot d'indexation analyse des pages Web d'un certain domaine et pour chaque page Web, je veux savoir si elle appartient à une seule classe spécifique ou non. Autrement dit, si j'appelle cette classe positive , chaque page Web analysée...
J'ai lu à propos de l'astuce log-sum-exp à de nombreux endroits (par exemple ici et ici ) mais je n'ai jamais vu un exemple de la façon dont il est appliqué spécifiquement au classifieur Naive Bayes (par exemple avec des fonctionnalités discrètes et deux classes) Comment éviterait-on exactement le...
Existe-t-il un moyen d'effectuer une régression de processus gaussienne sur une sortie multidimensionnelle (éventuellement corrélée) à l'aide de GPML ? Dans le script de démonstration, je ne pouvais trouver qu'un exemple 1D. Une question similaire sur le CV qui aborde le cas de l'entrée...
Le classificateur Naive Bayes est le classificateur qui attribue les éléments à une classe fonction de la maximisation du postérieur pour l'appartenance à la classe, et suppose que les caractéristiques des éléments sont indépendantes.C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) La perte 0-1 est la perte...
Je ne comprends pas comment cette équation a été dérivée. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Cette équation est tirée de l'étude...
Quelle est la relation entre l'analyse discriminante linéaire et la règle de Bayes? Je comprends que la LDA est utilisée dans la classification en essayant de minimiser le rapport entre la variance intra-groupe et entre la variance entre groupes, mais je ne sais pas comment la règle de Bayes...
Contexte: Je suis un programmeur avec une expérience (à moitié oubliée) en statistiques de cours uni. Récemment, je suis tombé sur http://akinator.com et j'ai passé un certain temps à essayer de le faire échouer. Et qui ne l'était pas? :) J'ai décidé de découvrir comment cela pouvait fonctionner....
J'ai récemment lu des articles sur les Bayes empiriques (Casella, 1985, Introduction à l'analyse des données empiriques de Bayes) et cela ressemblait beaucoup au modèle à effets aléatoires; en ce que les deux ont des estimations réduites à la moyenne mondiale. Mais je ne l'ai pas lu attentivement...
Je lis sur l'inférence bayésienne et je suis tombé sur l'expression "l'intégration numérique de la probabilité marginale est trop chère" Je n'ai pas de formation en mathématiques et je me demandais ce que signifie exactement cher ici? Est-ce juste en termes de puissance de calcul ou y a-t-il...
Considérez-vous le HBM vs EB comme deux alternatives dans lesquelles les hyperparamètres sont "dans le jeu" d'être échantillonnés / estimés / etc.? Il y a clairement un lien entre ces deux. Considérez-vous HBM plus "pleinement bayésien" qu'EB? Y a-t-il un endroit où je peux voir quelles sont les...
Pouvons-nous interpréter la probabilité a posteriori obtenue à partir d'un classificateur qui génère une valeur de classe prédite et une probabilité (par exemple, régression logistique ou Naive Bayes) comme une sorte de score de confiance attribué à cette valeur de classe...
Je suis en train de prototyper mon propre modèle Naive Bayes bag o 'words, et j'avais une question sur le calcul des probabilités de fonctionnalité. Disons que j'ai deux classes, je vais juste utiliser le spam et non-spam car c'est ce que tout le monde utilise. Et prenons le mot "viagra" comme...