Pourquoi l'algorithme de maximisation des attentes est-il utilisé?

D'après le peu que je connais, l'algorithme EM peut être utilisé pour trouver la probabilité maximale lorsque la mise à zéro des dérivées partielles par rapport aux paramètres de la probabilité donne un ensemble d'équations qui ne peuvent pas être résolues analytiquement. Mais l'algorithme EM est-il nécessaire au lieu d'utiliser une technique numérique pour essayer de trouver un maximum de vraisemblance par rapport à la contrainte de l'ensemble des équations mentionnées.

La question est légitime et j'ai eu la même confusion lorsque j'ai appris l'algorithme EM pour la première fois.

De manière générale, l'algorithme EM définit un processus itératif qui permet de maximiser la fonction de vraisemblance d'un modèle paramétrique dans le cas où certaines variables du modèle sont (ou sont traitées comme) «latentes» ou inconnues.

En théorie, dans le même but, vous pouvez utiliser un algorithme de minimisation pour trouver numériquement le maximum de la fonction de vraisemblance pour tous les paramètres. Cependant en situation réelle, cette minimisation serait:

1. beaucoup plus de calculs
2. moins robuste

Une application très courante de la méthode EM est l'ajustement d'un modèle de mélange. Dans ce cas, si l'on considère la variable qui affecte chaque échantillon à l'une des composantes en tant que variables "latentes", le problème est grandement simplifié.

Regardons un exemple. Nous avons N échantillons extraits d'un mélange de 2 distributions normales. Pour trouver les paramètres sans EM, nous devons minimiser:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

Au contraire, en utilisant l'algorithme EM, nous "assignons" d'abord chaque échantillon à un composant ( étape E ), puis nous ajustons (ou maximisons la probabilité de) chaque composant séparément ( étape M ). Dans cet exemple, l' étape M est simplement une moyenne pondérée pour trouver et . Itérer sur ces deux étapes est un moyen plus simple et plus robuste de minimiser .σ k - log L ( x , θ $\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

EM n'est pas nécessaire au lieu d'utiliser une technique numérique car EM est également une méthode numérique. Ce n'est donc pas un substitut à Newton-Raphson. EM est pour le cas spécifique où il manque des valeurs dans votre matrice de données. Considérons un échantillon qui a une densité conditionnelle . Alors, la probabilité logarithmique de ceci est Supposons maintenant que vous n'avez pas un ensemble de données complet tel que est composé de données observées et les variables manquantes (ou latentes) , telles que . Ensuite, la log-vraisemblance pour les données observées est $X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ En général, vous ne pouvez pas calculer directement cette intégrale et vous n'obtiendrez pas une solution de forme fermée pour . Pour cela, vous utilisez la méthode EM. Il y a deux étapes qui sont répétées pour fois. Dans cette étape , il s'agit de l'étape d'attente dans laquelle vous calculez où est l'estimation de à l' étape . Ensuite, calculez l'étape de maximisation dans laquelle vous maximisez par rapport à et set$l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$ . Vous répétez ensuite ces étapes jusqu'à ce que la méthode converge vers une valeur qui sera votre estimation.

Si vous avez besoin de plus d'informations sur la méthode, ses propriétés, ses preuves ou ses applications, jetez un œil à l' article Wiki correspondant .

EM est utilisé car il est souvent impossible ou impossible de calculer directement les paramètres d'un modèle qui maximise la probabilité d'un ensemble de données compte tenu de ce modèle.