Un algorithme d'optimisation souvent utilisé pour l'estimation du maximum de vraisemblance en présence de données manquantes.
J'essaie de bien comprendre l'algorithme EM, de pouvoir l'implémenter et de l'utiliser. J'ai passé une journée entière à lire la théorie et un article dans lesquels EM est utilisé pour suivre un avion en utilisant les informations de position provenant d'un radar. Honnêtement, je ne pense pas...
J'ai étudié des algorithmes permettant de regrouper des données (apprentissage non supervisé): EM et k-means. Je continue à lire ce qui suit: k-means est une variante de EM, avec l'hypothèse que les grappes sont sphériques. Quelqu'un peut-il expliquer la phrase ci-dessus? Je ne comprends pas ce que...
Quelle est la différence entre les algorithmes EM (Expectation Maximization) et Gradient Ascent (or descente)? Y a-t-il une condition sous laquelle ils sont
J'ai lu quelque part que la méthode variationnelle de Bayes est une généralisation de l'algorithme EM. En effet, les parties itératives des algorithmes sont très similaires. Afin de tester si l'algorithme EM est une version spéciale des Bayes variationnels, j'ai essayé ce qui suit: YYY est des...
Remarque: Je poste une question d'un ancien élève qui ne peut pas publier seul pour des raisons techniques. Étant donné un échantillon iid d'une distribution de Weibull avec pdf y a-t-il une représentation de variable manquante utile et donc un algorithme EM (expectation-maximization) associé qui...
J'ai lu quelques explications sur l'algorithme EM (par exemple de Bishop's Pattern Recognition and Machine Learning et de Roger and Gerolami First Course on Machine Learning). La dérivation de EM est ok, je le comprends. Je comprends également pourquoi l'algorithme couvre quelque chose: à chaque...
D'après le peu que je connais, l'algorithme EM peut être utilisé pour trouver la probabilité maximale lorsque la mise à zéro des dérivées partielles par rapport aux paramètres de la probabilité donne un ensemble d'équations qui ne peuvent pas être résolues analytiquement. Mais l'algorithme EM...
Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon...
Dans l'approche de l'algorithme EM, nous utilisons l'inégalité de Jensen pour arriver àlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log...
Je veux implémenter l'algorithme EM manuellement, puis le comparer aux résultats normalmixEMdu mixtoolspackage. Bien sûr, je serais heureux si les deux aboutissaient aux mêmes résultats. La référence principale est Geoffrey McLachlan (2000), Finite Mixture Models . J'ai une densité de mélange de...
Considérez la probabilité logarithmique d'un mélange de gaussiens: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i...
La procédure EM apparaît, pour les non-initiés, comme une magie plus ou moins noire. Estimer les paramètres d'un HMM (par exemple) à l'aide de données supervisées. Décodez ensuite les données non marquées, en utilisant le sens avant-arrière pour «compter» les événements comme si les données étaient...
J'essaie d'apprendre à utiliser les champs aléatoires de Markov pour segmenter des régions dans une image. Je ne comprends pas certains des paramètres du MRF ni pourquoi la maximisation des attentes que j'effectue ne parvient pas parfois à converger vers une solution. En partant du théorème de...
De nombreuses publications mettent l'accent sur la méthode de maximisation des attentes sur les modèles de mélange (mélange de gaussien, modèle de Markov caché, etc.). Pourquoi l'EM est important? EM est juste un moyen d'optimisation et n'est pas largement utilisé comme méthode basée sur un...
Je sais que k-means est généralement optimisé à l'aide de la maximisation des attentes . Cependant, nous pourrions optimiser sa fonction de perte de la même manière que nous optimisons les autres! J'ai trouvé des articles qui utilisent réellement la descente de gradient stochastique pour les...
Existe-t-il des alternatives rapides à l'algorithme EM pour l'apprentissage de modèles avec des variables latentes (en particulier pLSA)? Je suis prêt à sacrifier la précision au profit de la
Disons que j'ai une population de 50 millions de choses uniques, et je prends 10 millions d'échantillons (avec remplacement) ... Le premier graphique que j'ai joint montre combien de fois j'échantillonne la même "chose", ce qui est relativement rare que le la population est plus grande que mon...
J'essaie de séparer deux groupes de valeurs d'un même ensemble de données. Je peux supposer que l'une des populations est normalement distribuée et représente au moins la moitié de la taille de l'échantillon. Les valeurs du second sont à la fois inférieures ou supérieures aux valeurs du premier (la...
J'ai quelques questions conceptuelles simples que j'aimerais clarifier concernant MLE (Maximum Lik vraisemblable Estimation), et quel lien il a, le cas échéant, avec EM (Expectation Maximization). Si je comprends bien, si quelqu'un dit "Nous avons utilisé le MLE", cela signifie-t-il automatiquement...
Quels sont les avantages de donner certaines valeurs initiales aux probabilités de transition dans un modèle de Markov caché? Finalement, le système les apprendra, alors quel est l'intérêt de donner des valeurs autres que aléatoires? L'algorithme sous-jacent fait-il une différence comme Baum –...