Existe-t-il des exemples où le théorème de la limite centrale ne tient pas?

Wikipedia dit -

Dans la théorie des probabilités, le théorème central limite (CLT) établit que, dans la plupart des situations , lorsque des variables aléatoires indépendantes sont ajoutées, leur somme correctement normalisée tend vers une distribution normale (de manière informelle une "courbe en cloche"), même si les variables d'origine ne sont pas elles-mêmes. normalement distribué...

Quand il est dit "dans la plupart des situations", dans quelles situations le théorème de la limite centrale ne fonctionne-t-il pas?

Pour comprendre cela, vous devez d'abord énoncer une version du théorème de la limite centrale. Voici l'énoncé "typique" du théorème de la limite centrale:

CLT de Lindeberg – Lévy. Supposons que est une séquence de variables aléatoires iid avec et . Soit . Alors que approche de l’infini, les variables aléatoires convergent dans la distribution vers un normal c’est-à-dire${X_1, X_2, \dots}$$E[X_i] = \mu$$Var[X_i] = \sigma^2 < \infty$$S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$$n$$\sqrt{n}(S_n − \mu)$$N(0,\sigma^2)$

$${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$$

Alors, en quoi cela diffère-t-il de la description informelle et quelles sont les lacunes? Il y a plusieurs différences entre votre description informelle et cette description, dont certaines ont été discutées dans d'autres réponses, mais pas complètement. Nous pouvons donc transformer cela en trois questions spécifiques:

• Que se passe-t-il si les variables ne sont pas identiquement distribuées?
• Et si les variables ont une variance infinie ou une moyenne infinie?
• Quelle est l'importance de l'indépendance?

Prenant ceux-ci un à la fois,

Non répartis de manière identique , les meilleurs résultats généraux sont les versions de Lindeberg et de Lyaponov du théorème de la limite centrale. Fondamentalement, tant que les écarts-types ne grandissent pas trop, vous pouvez en tirer un théorème de la limite centrale décent.

Lyapunov CLT. [5] Supposons que est une séquence de variables aléatoires indépendantes, chacune avec une valeur attendue finie et une variance Définissez:μ i σ 2 s 2 n = ∑ n i = 1 σ 2 ${X_1, X_2, \dots}$$\mu_i$$\sigma^2$$s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Si, pour certains , la condition de Lyapunov est satisfaite, puis une somme de distribution de converge vers une variable aléatoire normale standard, n allant à l'infini:$\delta > 0$Xi-µi/s${\displaystyle \lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0}$$X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Des théorèmes de variance infinie similaires au théorème de la limite centrale existent pour les variables à variance infinie, mais les conditions sont nettement plus étroites que pour le théorème de la limite centrale habituel. Essentiellement, la queue de la distribution de probabilité doit être asymptotique à pour . Dans ce cas, les sommets mis à l'échelle appropriés convergent vers une distribution stable Levy-Alpha . 0 < α < $|x|^{-\alpha-1}$$0 < \alpha < 2$

Importance de l'indépendance Il existe de nombreux théorèmes limites centraux différents pour les séquences non indépendantes de . Ils sont tous hautement contextuels. Comme Batman le fait remarquer, il y en a un pour Martingales. Cette question est un domaine de recherche en cours, avec de nombreuses variantes selon le contexte d’intérêt spécifique. Cette question sur Math Exchange est un autre article lié à cette question.$X_i$

Bien que je sois à peu près sûr d’avoir déjà répondu à cette question, en voici une autre:

Il existe plusieurs versions du théorème central limite, la plus générale étant que, étant donné des fonctions de densité de probabilité arbitraires, la somme des variables sera distribuée normalement avec une valeur moyenne égale à la somme des valeurs moyennes, ainsi que la variance étant la somme. des variances individuelles.

Une contrainte très importante et pertinente est que la moyenne et la variance des fichiers PDF donnés doivent exister et être finies.

Donc, prenez n'importe quel pdf sans valeur moyenne ni variance - et le théorème de la limite centrale ne sera plus valable. Alors prenons une distribution lorentzienne par exemple.

Non, CLT est toujours valable lorsque ses hypothèses sont vérifiées. Les qualifications telles que "dans la plupart des situations" sont des références informelles aux conditions dans lesquelles le CLT devrait être appliqué.

Par exemple, une combinaison linéaire de variables indépendantes de la distribution de Cauchy ne correspondra pas à une variable distribuée normale . Une des raisons est que la variance n'est pas définie pour la distribution de Cauchy , alors que CLT pose certaines conditions à la variance, par exemple qu'elle doit être finie. Une implication intéressante est que, puisque les simulations de Monte Carlo sont motivées par le CLT, vous devez être prudent avec les simulations de Monte Carlo lorsque vous utilisez des distributions à queue épaisse, telles que Cauchy.

Notez qu'il existe une version généralisée de CLT. Cela fonctionne pour des variances infinies ou non définies, telles que la distribution de Cauchy. Contrairement à beaucoup de distributions qui se comportent bien, la somme correctement calculée des nombres de Cauchy reste celle de Cauchy. Cela ne converge pas vers le gaussien.

En passant, non seulement la distribution gaussienne, mais de nombreuses autres distributions ont des PDF en forme de cloche, par exemple Student t. C'est pourquoi la description que vous avez citée est assez libérale et imprécise, peut-être délibérément.

Voici une illustration de la réponse d'un chérubin, un histogramme de 1e5 est tiré de la moyenne des échantillons mis à l'échelle (par ) des distributions t à deux degrés de liberté, de sorte que la variance n'existe pas .$\sqrt{n}$

Si le CLT s’applique, l’histogramme pour aussi grand que devrait ressembler à la densité d’une distribution normale standard (qui, par exemple, a une densité de à son maximum), ce qui n'est évidemment pas le cas.n = 1000 1 / $n$$n=1000$$1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

Un cas simple où le CLT ne peut pas tenir pour des raisons très pratiques, est lorsque la séquence de variables aléatoires s'approche de sa limite de probabilité strictement d'un côté . Cela se produit par exemple dans les estimateurs qui estiment quelque chose qui se trouve sur une frontière.

L’exemple type ici est peut-être l’estimation de dans un échantillon d’iid Uniforms . L'estimateur de vraisemblance maximum sera la statistique d'ordre maximum, et il s'approchera nécessairement de uniquement d'en bas: pensant naïvement, puisque sa limite de probabilité sera , l'estimateur ne peut pas avoir une distribution "autour de" - et le CLT est disparu.U ( 0 , θ ) θ θ $\theta$$U(0,\theta)$$\theta$$\theta$$\theta$

L'estimateur correctement mis à l'échelle a une distribution limite - mais pas de la "variété CLT".

Vous pouvez trouver une solution rapide ici.

Des exceptions au théorème de la limite centrale apparaissent

1. Quand il y a plusieurs maxima de la même hauteur, et
2. Où la dérivée seconde disparaît au maximum.

Il existe certaines autres exceptions qui sont décrites dans la réponse de @cherub.

La même question a déjà été posée sur math.stackexchange . Vous pouvez vérifier les réponses ici.