Estimation du maximum de vraisemblance EM pour la distribution de Weibull

24

Remarque: Je poste une question d'un ancien élève qui ne peut pas publier seul pour des raisons techniques.

Étant donné un échantillon iid d'une distribution de Weibull avec pdf y a-t-il une représentation de variable manquante utile et donc un algorithme EM (expectation-maximization) associé qui pourrait être utilisé pour trouver le MLE de , au lieu d'utiliser directement optimisation numérique? $x_1,\ldots,x_n$

F_{k} (X) = k X^{k - 1} e^{- X^{k}} X > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

F_{k} (X) = \int_{Z} g_{k} (X, z) ré z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

optimization missing-data expectation-maximization weibull gumbel Xi'an
la source

2

Y a-t-il une censure?

ocram

2

Quel est le problème avec newton rhapson?

Probabilislogic

2

@probabilityislogic: rien de mal à quoi que ce soit! Mon élève aimerait savoir s'il existe une version EM, c'est tout ...

Xi'an

1

Pourriez-vous donner un exemple de ce que vous recherchez dans un contexte différent et plus simple, par exemple avec des observations d'une variable aléatoire gaussienne ou uniforme? Lorsque toutes les données sont observées, je (et certaines des autres affiches, sur la base de leurs commentaires) ne vois pas comment la SE est pertinente pour votre question.

ahfoss

1

@probabilityislogic Je pense que vous auriez dû dire: "Oh, tu veux dire que tu veux UTILISER Newton Raphson?". Les Weibulls sont des familles régulières ... Je pense que les solutions ML sont donc uniques. Par conséquent, EM n'a rien à "E", donc vous êtes juste "M" ing ... et trouver les racines des équations de score est la meilleure façon de le faire!

AdamO

7

Je pense que la réponse est oui, si j'ai bien compris la question.

Écrivez $z_i = x_i^k$ . Ensuite, un type d'itération de l'algorithme EM, commençant par exemple par $\hat k = 1$ , est

Étape E: ${\hat z}_i = x_i^{\hat k}$
Étape M: $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

Il s'agit d'un cas spécial (le cas sans censure et sans covariables) de l'itération suggérée pour les modèles de risques proportionnels de Weibull par Aitkin et Clayton (1980). Il peut également être trouvé dans la section 6.11 d'Aitkin et al (1989).

Aitkin, M. et Clayton, D., 1980. L'ajustement de distributions exponentielles, de Weibull et de valeurs extrêmes à des données de survie complexes censurées à l'aide de GLIM. Statistiques appliquées , pp.156-163.
Aitkin, M., Anderson, D., Francis, B. et Hinde, J., 1989. Modélisation statistique dans GLIM . Oxford University Press. New York.

DavidF
la source

Merci beaucoup David! Traiter comme la variable manquante ne m'a jamais traversé l'esprit ...!

x_{i}^{k}

$x_i^k$

Xi'an

7

Le Weibull MLE est uniquement résoluble numériquement:

Soit with .

F_{λ, β} (X) = {\begin{cases} \frac{β}{λ} {(\frac{X}{λ})}^{β - 1} e^{- {(\frac{X}{λ})}^{β}} & , X \geq 0 \\ 0 & , X < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

β, λ > 0

$\beta,\,\lambda>0$

1) Fonction de vraisemblance :

L_{\hat{X}} (λ, β) = \prod_{je = 1}^{N} F_{λ, β} (X_{je}) = \prod_{je = 1}^{N} \frac{β}{λ} {(\frac{X_{je}}{λ})}^{β - 1} e^{- {(\frac{X_{je}}{λ})}^{β}} = \frac{β^{N}}{λ^{N β}} e^{- \sum_{je = 1}^{N} {(\frac{X_{je}}{λ})}^{β}} \prod_{je = 1}^{N} X_{je}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

fonction log-vraisemblance :

ℓ_{\hat{X}} (λ, β) : = \ln L_{\hat{X}} (λ, β) = N \ln β - N β \ln λ - \sum_{je = 1}^{N} {(\frac{X_{je}}{λ})}^{β} + (β - 1) \sum_{je = 1}^{N} \ln X_{je}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) Problème MLE : 3) Maximisation par -gradients: Il s'ensuit:

\begin{aligned} max_{(λ, β) \in R^{2}} & ℓ_{\hat{X}} (λ, β) \\ st λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

\begin{aligned} \frac{\partial l}{\partial λ} & = - N β \frac{1}{λ} + β \sum_{je = 1}^{N} X_{je}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial l}{\partial β} & = \frac{N}{β} - N \ln λ - \sum_{je = 1}^{N} \ln (\frac{X_{je}}{λ}) e^{β \ln (\frac{X_{je}}{λ})} + \sum_{je = 1}^{N} \ln X_{je} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N β \frac{1}{λ} + β \sum_{je = 1}^{N} X_{je}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N + β \frac{1}{λ} \sum_{je = 1}^{N} X_{je}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N} \sum_{je = 1}^{N} X_{je}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N} \sum_{je = 1}^{N} X_{je}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{N} \sum_{je = 1}^{N} X_{je}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

Brancher dans la deuxième condition de gradient 0: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{\sum_{je = 1}^{N} X_{je}^{β^{*}} \ln X_{je}}{\sum_{je = 1}^{N} X_{je}^{β^{*}}} - \bar{\ln X}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

Cette équation est uniquement résoluble numériquement, par exemple l'algorithme de Newton-Raphson. peut ensuite être placé dans pour compléter l'estimateur ML pour la distribution de Weibull. $\hat{\beta}^*$ $\lambda^*$

emcor
la source

11

Malheureusement, cela ne semble pas répondre à la question de manière discernable. Le PO connaît très clairement Newton-Raphson et les approches connexes. La faisabilité de NR n'exclut nullement l'existence d'une représentation de variable manquante ou d'un algorithme EM associé. À mon avis , la question ne se préoccupe pas du tout avec des solutions numériques, mais est sondait pour un aperçu qui pourrait devenir évident si une approche variable manquante intéressante a été démontrée.

Cardinal

@cardinal C'est une chose de dire qu'il n'y avait qu'une solution numérique, et c'est une autre chose de montrer qu'il n'y a qu'une solution numérique.

emcor

5

Cher @emcor, je pense que vous vous méprenez peut-être sur la question. Il serait peut-être utile d'examiner l'autre réponse et le flux de commentaires associé. À votre santé.

Cardinal

@cardinal Je suis d'accord que ce n'est pas une réponse directe, mais ce sont les expressions exactes des MLE, par exemple, qui peuvent être utilisées pour vérifier l'EM.

emcor

4

Bien que ce soit une vieille question, il semble qu'il y ait une réponse dans un article publié ici: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

Dans ce travail, l'analyse des données à censure d'intervalle, avec la distribution de Weibull comme la distribution de durée de vie sous-jacente a été considérée. On suppose que le mécanisme de censure est indépendant et non informatif. Comme prévu, les estimateurs du maximum de vraisemblance ne peuvent pas être obtenus sous forme fermée. Dans nos expériences de simulation, il est observé que la méthode de Newton-Raphson peut ne pas converger plusieurs fois. Un algorithme de maximisation des attentes a été suggéré pour calculer les estimateurs du maximum de vraisemblance, et il converge presque tout le temps.

user3204720
la source

1

Pouvez-vous publier une citation complète du document sur le lien, au cas où il disparaîtrait?

gung - Rétablir Monica

1

Ceci est un algorithme EM, mais ne fait pas ce que je pense que l'OP veut. Au contraire, l'étape E impute les données censurées, après quoi l'étape M utilise un algorithme à virgule fixe avec l'ensemble de données complet. Donc, l'étape M n'est pas sous forme fermée (ce qui, je pense, est ce que l'OP recherche).

Cliff AB

1

@CliffAB: merci pour le lien (+1) mais en effet l'EM est naturellement induit dans cet article par la partie censure. Mon ancien étudiant recherchait une optimisation de vraisemblance de Weibull iid non censurée via EM.

Xi'an

-1

Dans ce cas, les estimateurs MLE et EM sont équivalents, car l'estimateur MLE n'est en fait qu'un cas spécial de l'estimateur EM. (Je suppose un cadre fréquentiste dans ma réponse; ce n'est pas vrai pour EM dans un contexte bayésien dans lequel nous parlons de MAP). Puisqu'il n'y a pas de données manquantes (juste un paramètre inconnu), l'étape E renvoie simplement la vraisemblance logarithmique, quel que soit votre choix de . L'étape M maximise ensuite la probabilité logarithmique, ce qui donne le MLE. $k^{(t)}$

EM serait applicable, par exemple, si vous aviez observé des données à partir d'un mélange de deux distributions de Weibull avec les paramètres et , mais vous ne saviez pas de laquelle de ces deux distributions venait chaque observation. $k_1$ $k_2$

ahfoss
la source

6

Je pense que vous avez peut-être mal interprété le point de la question, qui est: existe-t-il une interprétation des variables manquantes à partir de laquelle on obtiendrait la probabilité de Weibull donnée (et qui permettrait d'appliquer un algorithme de type EM)?

cardinal

4

La déclaration de question dans le message de @ Xi'an est assez claire. Je pense que la raison pour laquelle il n'a pas été répondu est parce que toute réponse est probablement non triviale. (C'est intéressant, donc j'aurais aimé avoir plus de temps pour y réfléchir.) Quoi qu'il en soit, votre commentaire semble trahir une mauvaise compréhension de l'algorithme EM. Peut-être que ce qui suit servira d'antidote:

cardinal

6

Soit où est la fonction de densité normale standard. Soit . Avec iid uniforme standard, prenez . Ensuite, est un échantillon d'un modèle de mélange gaussien. Nous pouvons estimer les paramètres par maximum de vraisemblance (force brute). Y a-t-il des données manquantes dans notre processus de génération de données? Non . A-t-il une représentation à variable latente permettant l'utilisation d'un algorithme EM? Oui, absolument .

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

Cardinal

4

Mes excuses @cardinal; Je pense que j'ai mal compris deux choses à propos de votre dernier article. Oui, dans le problème GMM, vous pouvez rechercher via une approche ML par force brute. De plus, je vois maintenant que le problème d'origine cherche une solution qui implique l'introduction d'une variable latente qui permet une approche EM pour estimer le paramètre dans la densité donnée . Un problème intéressant. Y a-t-il des exemples d'utilisation d'EM comme celui-ci dans un contexte aussi simple? La majeure partie de mon exposition à l'EM a été dans le contexte de problèmes de mélange et d'imputation de données.

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

ahfoss

3

@ahfoss: (+1) à votre dernier commentaire. Oui! Tu l'as eu. Comme pour les exemples: (i) il apparaît dans les problèmes de données censurées, (ii) les applications classiques comme les modèles de Markov cachés, (iii) les modèles de seuil simples comme les modèles probit (par exemple, imaginez observer le latent au lieu de Bernoulli ), (iv) estimer les composantes de la variance dans des modèles à effets aléatoires unidirectionnels (et des modèles mixtes beaucoup plus complexes), et (v) trouver le mode postérieur dans un modèle hiérarchique bayésien. Le plus simple est probablement (i) suivi de (iii).

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$

Cardinal

Estimation du maximum de vraisemblance EM pour la distribution de Weibull

Réponses: