Estimateurs du maximum de vraisemblance pour une distribution tronquée

Considérons échantillons indépendants obtenus à partir d'une variable aléatoire qui est supposée suivre une distribution tronquée (par exemple une distribution normale tronquée ) de valeurs minimales et maximales connues (finies) et mais de paramètres inconnus et . Si suivait une distribution non tronquée, les estimateurs du maximum de vraisemblance et pour et de seraient la moyenne de l'échantillon $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ $\widehat\mu = \frac{1}{N} \sum_i S_i$ et la variance de l'échantillon . Cependant, pour une distribution tronquée, la variance d'échantillon ainsi définie est limitée par , ce n'est donc pas toujours un estimateur cohérent: pour , elle ne peut pas converger en probabilité vers lorsque va à l'infini. Il semble donc que et ne soient pas les estimateurs à maximum de vraisemblance de et pour une distribution tronquée. Bien sûr, cela est normal car les et $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ les paramètres d'une distribution normale tronquée ne sont pas sa moyenne et sa variance.

Alors, quels sont les estimateurs du maximum de vraisemblance des paramètres et d'une distribution tronquée de valeurs minimales et maximales connues? $\mu$ $\sigma$

distributions estimation mathematical-statistics maximum-likelihood truncation a3nm
la source

Êtes-vous sûr de votre analyse? Je pense que vous faites une hypothèse invalide: pour la situation tronquée, le MLE de n'est plus la variance de l'échantillon (et, en général, le MLE de n'est plus la moyenne de l'échantillon)!

σ^{2}

$\sigma^2$

μ

$\mu$

whuber

whuber: Je sais, c'est précisément ma question: quels sont les MLE de et dans le cas tronqué? Ajout d'une phrase pour insister là-dessus.

σ^{2}

$\sigma^2$

μ

$\mu$

a3nm

Il n'y a pas de solution de formulaire fermé. Tout ce que vous pouvez faire est de minimiser numériquement la probabilité du journal. Mais cela n'est pas qualitativement différent de nombreux autres modèles, tels que la régression logistique, qui n'ont pas non plus de solution sous forme fermée.

whuber

whuber: Si c'est vrai, c'est assez décevant. Avez-vous des références sur le manque de solutions sous forme fermée? Existe-t-il des estimateurs sous forme fermée qui ne sont pas du maximum de vraisemblance mais qui sont au moins cohérents (et éventuellement non biaisés?).

a3nm

@whuber: Pouvez-vous au moins simplifier vos échantillons en statistiques suffisantes pour que la minimisation soit rapide?

Neil G

Considérons toute famille d'échelle d' emplacement déterminée par une distribution "standard" , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

En supposant que différenciable, nous trouvons facilement que les fichiers PDF sont . $F$ $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

La troncature de ces distributions pour restreindre leur prise en charge entre et , , signifie que les PDF sont remplacés par $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(et sont nuls pour toutes les autres valeurs de ) où est le facteur de normalisation nécessaire pour garantir que s'intègre à l'unité. (Notez que est identique à en l'absence de troncature.) La probabilité logarithmique pour les données iid est donc $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

Les points critiques (y compris les minima globaux) se trouvent là où soit (un cas spécial que j'ignorerai ici) soit le gradient disparaît. En utilisant des indices pour désigner des dérivées, nous pouvons calculer formellement le gradient et écrire les équations de vraisemblance comme $\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

Parce et sont fixes, supprimez-les de la notation et écrivez comme et comme . (Sans troncature, les deux fonctions seraient identiques à zéro.) La séparation des termes impliquant les données des autres donne $a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

En les comparant à la situation sans troncature, il est évident que

Toutes les statistiques suffisantes pour le problème d'origine sont suffisantes pour le problème tronqué (car les côtés droits n'ont pas changé).
Notre capacité à trouver des solutions de forme fermée repose sur la docilité de et . Si celles-ci n'impliquent pas et de manière simple, nous ne pouvons pas espérer obtenir des solutions de forme fermée en général. $A$ $B$ $\mu$ $\sigma$

Dans le cas d'une famille normale, est bien sûr donné par le PDF normal cumulatif, qui est une différence de fonctions d'erreur: il n'y a aucune chance qu'une solution de forme fermée puisse être obtenu en général. Cependant, il n'y a que deux statistiques suffisantes (la moyenne et la variance de l'échantillon feront l'affaire) et le CDF est aussi lisse que possible, de sorte que les solutions numériques seront relativement faciles à obtenir. $C(\mu,\sigma,a,b)$

whuber
la source

Merci beaucoup pour cette réponse très détaillée! Je ne suis pas sûr d'obtenir ce que sont , , et , pourriez-vous les définir? De plus, c'est évident, mais pour être précis, vous pourriez peut-être dire que votre expression pour le pdf est pour (et le pdf est nul en dehors de cela). Merci encore!

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

a3nm

La notation plus longue habituelle est , etc: comme annoncé, c'est un dérivé. Je vais apporter le deuxième changement que vous proposez car c'est une clarification importante, merci.

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

whuber

De plus, comme votre réponse est plus générale que celle à laquelle je m'attendais, j'ai modifié ma question pour insister moins sur le cas des distributions normales. Merci encore pour vos efforts.

a3nm

Il était plus facile d'expliquer à ce niveau de généralité que de se concentrer sur les distributions normales! Calculer les dérivées et montrer la forme précise du CDF sont des distractions inutiles (bien que utiles lorsque vous commencez réellement à coder la solution numérique).

whuber

Merci d'avoir réparé! Vous en avez manqué un; pourriez-vous revoir ma modification?

a3nm

Estimateurs du maximum de vraisemblance pour une distribution tronquée

Réponses: