Quelles distributions ont des solutions de forme fermée pour l'estimation du maximum de vraisemblance?

Quelles distributions ont des solutions sous forme fermée pour les estimations du maximum de vraisemblance des paramètres à partir d'un échantillon d'observations indépendantes?

Sans perte de généralité appréciable, nous pouvons supposer que la densité de probabilité (ou masse) pour toute observation (sur observations) est strictement positive, ce qui nous permet de l'écrire comme exponentiellex i$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

pour un vecteur de paramètre .$\theta = (\theta_j)$

L'égalisation du gradient de la fonction log de vraisemblance à zéro (qui trouve les points stationnaires de la vraisemblance, parmi lesquels seront tous les maxima globaux intérieurs s'il en existe un) donne un ensemble d'équations de la forme

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

un pour chaque . Pour l'un de ces d'avoir une solution prête, nous voudrions pouvoir séparer les termes de la termes . (Tout découle de cette idée clé, motivée par le principe de la paresse mathématique : faites le moins de travail possible; réfléchissez avant de calculer; abordez d'abord les versions faciles des problèmes difficiles.) La façon la plus générale de le faire est de prendre les équations la formex i θ$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

pour les fonctions connues , et , car alors la solution est obtenue en résolvant les équations simultanéesτ j α $\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

pour . En général, ceux-ci seront difficiles à résoudre, mais à condition que l'ensemble des valeurs de donne des informations complètes sur , nous pourrions utilisez simplement ce vecteur à la place de lui-même (généralisant ainsi quelque peu l'idée d'une solution de "forme fermée", mais d'une manière très productive). Dans un tel cas, l'intégration en ce qui rendements( n α j ( θ $\theta$θθθ$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(où représente tous les composants de sauf ). Parce que le côté gauche est fonctionnellement indépendant de , nous devons avoir cela pour une fonction fixe ; que ne doit pas du tout dépendre de ; et les sont des dérivés d'une fonction et les sont des dérivés d'une autre fonction , tous deux fonctionnellement indépendants des données. D'où θ θ j θ j τ j ( x ) = T ( x ) T B θ η j H ( θ ) α j A ( θ $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

Les densités qui peuvent être écrites sous cette forme constituent la fameuse famille Koopman-Pitman-Darmois , ou exponentielle . Il comprend d'importantes familles paramétriques, à la fois continues et discrètes, y compris Gamma, Normal, Chi-carré, Poisson, Multinomial et bien d'autres .

Je ne sais pas si je pourrais tous les énumérer. Les exponentielles, normales et binomiales viennent à l'esprit et elles entrent toutes dans la classe des familles exponentielles. La famille exponentielle a sa statistique suffisante dans l'exposant et le mle est souvent une belle fonction de cette statistique suffisante.