Pourquoi la moyenne arithmétique est-elle plus petite que la moyenne de distribution dans une distribution log-normale?

Donc, j'ai un processus aléatoire générant distribution log-normale des variables aléatoires . Voici la fonction de densité de probabilité correspondante: $X$

Je voulais estimer la distribution de quelques instants de cette distribution d'origine, disons le 1er moment: la moyenne arithmétique. Pour ce faire, j'ai dessiné 100 variables aléatoires 10000 fois afin de pouvoir calculer 10000 estimation de la moyenne arithmétique.

Il y a deux façons différentes d'estimer cette moyenne (du moins, c'est ce que j'ai compris: je peux me tromper):

en calculant clairement la moyenne arithmétique de la manière habituelle: $\bar{X} = \sum_{i = 1}^{N} \frac{X_{i}}{N} .$ $\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$
ou en estimant d'abord et partir de la distribution normale sous-jacente: puis la moyenne sous la forme $\sigma$ $\mu$ $μ = \sum_{i = 1}^{N} \frac{\log (X_{i})}{N} σ^{2} = \sum_{i = 1}^{N} \frac{{(\log (X_{i}) - μ)}^{2}}{N}$ $\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$ $\bar{X} = \exp (μ + \frac{1}{2} σ^{2}) .$ $\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$

Le problème est que les distributions correspondant à chacune de ces estimations sont systématiquement différentes:

La moyenne «simple» (représentée par la ligne pointillée rouge) fournit des valeurs généralement inférieures à celle dérivée de la forme exponentielle (ligne simple verte). Bien que les deux moyennes soient calculées sur le même ensemble de données exact. Veuillez noter que cette différence est systématique.

Pourquoi ces distributions ne sont-elles pas égales?

estimation bias fitting lognormal moments JohnW
la source

quels sont vos vrais paramètres pour et ?

μ

$\mu$

σ

$\sigma$

Christoph Hanck

μ = 3

$\mu = 3$ et , mais veuillez noter que je suis intéressé par l'estimation de ces paramètres, d'où l'approche Monte-Carlo au lieu de calculer la chose à partir de ces nombres bruts.

σ = 1.5

$\sigma = 1.5$

JohnW

bien sûr, c'est pour la réplication de vos résultats.

Christoph Hanck

Fait intéressant, ce phénomène n'a rien à voir avec la lognormalité. Étant donné des nombres positifs avec des logarithmes , il est bien connu que leur moyenne arithmétique (AM) n'est jamais inférieure à leur moyenne géométrique (GM) . Dans l'autre sens, l'AM n'est jamais supérieur au GM multiplié par où est la variance de . Ainsi, la courbe rouge en pointillés doit se situer à gauche de la courbe verte continue pour toute distribution parentale (décrivant des nombres aléatoires positifs).

x_{i}

$x_i$

y_{i}

$y_i$

\sum x_{i} / n

$\sum x_i/n$

\exp (\sum y_{i} / n)

$\exp(\sum y_i/n)$

\exp (s_{y}^{2} / 2)

$\exp(s_y^2/2)$

s_{y}^{2}

$s_y^2$

y_{i}

$y_i$

whuber

Si une grande partie de la moyenne provient d'une faible probabilité de nombres énormes, une moyenne arithmétique d'échantillon fini peut sous-estimer la moyenne de la population avec une probabilité élevée. (Dans l'attente, c'est non biaisé, mais il y a une grande probabilité d'une petite sous-estimation et une petite probabilité d'une grande surestimation.) Cette question peut également se rapporter à celle-ci: stats.stackexchange.com/questions/214733/…

Matthew Gunn

Les deux estimateurs que vous comparez sont l'estimateur de méthode des moments (1.) et le MLE (2.), voir ici . Les deux sont cohérents (donc pour les grands , ils sont dans un certain sens susceptibles d'être proches de la vraie valeur ). $N$ $\exp[\mu+1/2\sigma^2]$

Pour l'estimateur MM, c'est une conséquence directe de la loi des grands nombres, qui dit que . Pour le MLE, le théorème de mappage continu implique que comme et . $\bar X\to_pE(X_i)$

\exp [\hat{μ} + 1 / 2 {\hat{σ}}^{2}] \to_{p} \exp [μ + 1 / 2 σ^{2}],

$\exp[\hat\mu+1/2\hat\sigma^2]\to_p\exp[\mu+1/2\sigma^2],$

\hat{μ} \to_{p} μ

$\hat\mu\to_p\mu$

{\hat{σ}}^{2} \to_{p} σ^{2}

$\hat\sigma^2\to_p\sigma^2$

Le MLE n'est cependant pas impartial.

En fait, l'inégalité de Jensen nous dit que, pour petit, le MLE devrait être biaisé vers le haut (voir aussi la simulation ci-dessous): et are (dans ce dernier cas, presque , mais avec un biais négligeable pour , car l'estimateur sans biais divise par ) bien connu pour être des estimateurs sans biais des paramètres d'une distribution normale et (j'utilise des chapeaux pour indiquer les estimateurs). $N$ $\hat\mu$ $\hat\sigma^2$ $N=100$ $N-1$ $\mu$ $\sigma^2$

Par conséquent, . Étant donné que l'exponentielle est une fonction convexe, cela implique que $E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

E [\exp (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] > \exp [E (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] \approx \exp [μ + 1 / 2 σ^{2}]

$E[\exp(\hat\mu+1/2\hat\sigma^2)]>\exp[E(\hat\mu+1/2\hat\sigma^2)]\approx \exp[\mu+1/2\sigma^2]$

Essayez d'augmenter à un plus grand nombre, ce qui devrait centrer les deux distributions autour de la valeur réelle. $N=100$

Voir cette illustration de Monte Carlo pour dans R: $N=1000$

Créé avec:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

Nous notons que si les deux distributions sont maintenant (plus ou moins) centrées autour de la vraie valeur , le MLE, comme c'est souvent le cas, est plus efficace. $\exp(\mu+\sigma^2/2)$

On peut en effet montrer explicitement qu'il doit en être ainsi en comparant les variances asymptotiques. Cette très belle réponse CV nous dit que la variance asymptotique du MLE est tandis que celui de l'estimateur MM, par une application directe du CLT appliqué aux moyennes d'échantillons est celui de la variance de la distribution log-normale, Le second est plus grand que le premier car aset .

V_{t} = (σ^{2} + σ^{4} / 2) \cdot \exp {2 (μ + \frac{1}{2} σ^{2})},

$V_t = (\sigma^2 + \sigma^4/2)\cdot \exp\left\{2(\mu + \frac 12\sigma^2)\right\},$

\exp {2 (μ + \frac{1}{2} σ^{2})} (\exp {σ^{2}} - 1)

$\exp\left\{2(\mu + \frac 12\sigma^2)\right\}(\exp\{\sigma^2\}-1)$

\exp {σ^{2}} > 1 + σ^{2} + σ^{4} / 2,

$\exp\{\sigma^2\}>1+\sigma^2 + \sigma^4/2,$

\exp (x) = \sum_{i = 0}^{\infty} x^{i} / i!

$\exp(x)=\sum_{i=0}^\infty x^i/i!$

σ^{2} > 0

$\sigma^2>0$

Pour voir que le MLE est en effet biaisé pour les petits , je répète la simulation pour et 50 000 réplications et j'obtiens un biais simulé comme suit: $N$ N <- c(50,100,200,500,1000,2000,3000,5000)

On voit que la MLE est en effet sérieusement biaisé pour les petits . Je suis un peu surpris du comportement quelque peu erratique du biais de l'estimateur MM en fonction de . Le biais simulé pour un petit pour MM est probablement causé par des valeurs aberrantes qui affectent plus fortement l'estimateur MM non enregistré que le MLE. Dans une simulation, les estimations les plus importantes se sont avérées être $N$ $N$ $N=50$

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727

Christoph Hanck
la source

Ah ok. Il ne m'est vraiment pas venu à l'esprit qu'une méthode pourrait être plus efficace que l'autre étant donné les mêmes données. Je pourrais donc dire que la solution MLE converge plus rapidement par rapport à que l'autre méthode si j'ai bien compris. Merci!

N

$N$

JohnW

J'ai fait un petit montage sur le biais. Pour le biais est en effet négatif pour l'estimateur MM, mais cela ne semble pas un résultat général, voir le tracé du biais en fonction de .

N = 100

$N=100$

N

$N$

Christoph Hanck

Eh bien, je suis aussi surpris qu'il y ait une si grande différence entre les deux méthodes, mais cet exemple est absolument parfait pour montrer pourquoi "simplement faire la moyenne des choses" peut être horrible!

JohnW

@JohnW, j'ai ajouté une petite explication analytique des raisons pour lesquelles le MLE a une variance plus petite.

Christoph Hanck

L'écart vient du fait que le biais est un problème d'échantillon fini, c'est-à-dire qu'il disparaît lorsque part à l'infini. La comparaison de la variance asymptotique (comme son nom l'indique) ne montre que ce qui se passe dans la limite, comme .

N

$N$

N \to \infty

$N\to\infty$

Christoph Hanck

Pourquoi la moyenne arithmétique est-elle plus petite que la moyenne de distribution dans une distribution log-normale?

Réponses: