Famille exponentielle: statistiques suffisantes observées et attendues

Ma question découle de la lecture de la lecture de «L'estimation d'une distribution de Dirichlet» de Minka , qui énonce ce qui suit sans preuve dans le contexte de la dérivation d'un estimateur du maximum de vraisemblance pour une distribution de Dirichlet basée sur des observations de vecteurs aléatoires:

Comme toujours avec la famille exponentielle, lorsque le gradient est nul, les statistiques suffisantes attendues sont égales aux statistiques suffisantes observées.

Je n'ai pas vu d'estimation du maximum de vraisemblance dans la famille exponentielle présentée de cette façon, et je n'ai trouvé aucune explication appropriée dans ma recherche. Quelqu'un peut-il donner un aperçu de la relation entre les statistiques suffisantes observées et attendues et peut-être aider à comprendre l'estimation du maximum de vraisemblance comme minimisant leur différence?

C'est une affirmation habituelle sur la famille exponentielle, mais à mon avis, la plupart du temps, elle est énoncée d'une manière qui peut dérouter le lecteur moins expérimenté. Parce que, pris à leur valeur nominale, il pourrait être interprété comme disant "si notre variable aléatoire suit une distribution dans la famille exponentielle, alors si nous prenons un échantillon et l'insérons dans la statistique suffisante, nous obtiendrons la vraie valeur attendue de la statistique ". Si seulement il en était ainsi ... De plus, il ne prend pas en compte la taille de l'échantillon, ce qui peut créer encore plus de confusion.

La fonction de densité exponentielle est

$$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$$

où est la statistique suffisante.$T(x)$

Puisque c'est une densité, elle doit s'intégrer à l'unité, donc ( est le support de )$S_x$$X$

$$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$$

Eq. est valable pour tous les afin que nous puissions différencier les deux côtés par rapport à lui:$(2)$$\theta$

$$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$$

En échangeant l'ordre de différenciation et d'intégration, on obtient

$$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$$

Effectuer la différenciation que nous avons

$$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$$

En insérant dans on obtient$(5)$$(4)$

$$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$$

$$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$$

Maintenant, nous demandons: le côté gauche de est un nombre réel. Ainsi, le côté droit doit également être un nombre réel et non une fonction . Par conséquent, il doit être évalué à un spécifique , et ce devrait être le "vrai" , sinon dans le côté gauche, nous n'aurions pas la vraie valeur attendue de . Pour souligner cela, nous notons la vraie valeur par , et nous réécrivons comme$(6)$$\theta$$\theta$$T(X)$$\theta_0$$(6)$

$$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$$

Nous passons maintenant à l' estimation du maximum de vraisemblance . La log-vraisemblance pour un échantillon de taille est$n$

$$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$$

En fixant sa dérivée par rapport à égale à nous obtenons le MLE$\theta$$0$

$$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$$

Comparez avec . Les côtés droits ne sont pas égaux, car nous ne pouvons pas affirmer que l'estimateur MLE a atteint la vraie valeur. Il en va de même pour la gauche. Mais rappelez-vous que l'éq. vaut pour tous les et donc pour également. Ainsi, les étapes de l'éq. peut être pris par rapport à et nous pouvons donc écrire eq. pour :( 6 a ) 2 θ θ 3 , 4 , 5 , 6 θ 6 a $(7)$$(6a)$$2$ $\theta$$\hat \theta$$3,4,5,6$$\hat \theta$$6a$$\hat \theta$

$$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$$

ce qui, combiné avec , nous conduit à la relation valide$(7)$

$$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$$

c'est ce que dit réellement l'assertion à l'examen: la valeur attendue de la statistique suffisante sous le MLE pour les paramètres inconnus (en d'autres termes, la valeur du premier moment brut de la distribution que nous obtiendrons si nous utilisons à la place de ), est égal (et il n'est pas simplement approximé par) la moyenne de la statistique suffisante calculée à partir de l'échantillon . $\hat \theta(x)$$\theta$$\mathbf x$

De plus, seulement si la taille de l'échantillon est alors nous pourrions dire avec précision que "la valeur attendue de la statistique suffisante sous le MLE est égale à la statistique suffisante".$n=1$