Quand la loi des grands nombres échoue-t-elle?

La question est simplement ce qui est énoncé dans le titre: quand la loi des grands nombres échoue-t-elle? Ce que je veux dire, c'est dans quels cas la fréquence d'un événement ne tendra-t-elle pas vers la probabilité théorique?

Il existe deux théorèmes (de Kolmogorov) et tous deux exigent que la valeur attendue soit finie. La première tient lorsque les variables sont IID, la seconde, lorsque l'échantillonnage est indépendant et la variance du satisfait$X_n$

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} < \infty$$

Disons que tous les ont la valeur attendue 0, mais leur variance est sorte que la condition échoue évidemment. Que se passe-t-il alors? Vous pouvez toujours calculer une moyenne estimée, mais cette moyenne n'aura pas tendance à 0 lorsque vous échantillonnez de plus en plus. Il aura tendance à dévier de plus en plus à mesure que vous continuez à échantillonner.n $X_n$$n^2$

Donnons un exemple. Disons que est uniforme sorte que la condition ci-dessus échoue de façon épique. U ( - n 2 n , n 2 n$X_n$$U(-n2^n , n2^n)$

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} = \sum_{n=1}^\infty \frac{n^2 2^{2n+2}}{12}\frac{1}{n^2} = \frac{1}{3} \sum_{n=1}^\infty 4^n = \infty.$$

En notant que

$$\bar{X}_n = \frac{X_n}{n} + \frac{n-1}{n}\bar{X}_{n-1},$$

on voit par induction que la moyenne calculée est toujours dans l'intervalle ( - 2 n , 2 n ) . En utilisant la même formule pour n + 1 , on voit aussi qu'il ya toujours une plus grande chance que 1 / 8 que ˉ X n + 1 se situe en dehors ( - 2 n , 2 n ) . En effet, est uniforme et se trouve à l'extérieur$\bar{X}_n$$(-2^n, 2^n)$$n+1$$1/8$$\bar{X}_{n+1}$$(-2^n, 2^n)$ U(-2n+1,2n+1)(-2n,2n$\frac{X_{n+1}}{n+1}$$U(-2^{n+1},2^{n+1})$$(-2^n, 2^n)$avec probabilité . Par contre, est dans par induction, et par symétrie il est positif avec une probabilité . De ces observations, il résulte immédiatement que est supérieur à ou inférieur à , chacun avec une probabilité supérieure à . Depuis la probabilité que est supérieur à , il ne peut y avoir de convergence vers 0 car va vers l'infini.$1/4$$\frac{n}{n+1}\bar{X}_n$$(-2^n, 2^n)$$1/2$$\bar{X}_{n+1}$$2^n$$-2^n$$1/16$$|\bar{X}_{n+1}| > 2^n$$1/8$$n$

Maintenant, pour répondre précisément à votre question, pensez à un événement . Si j'ai bien compris, vous demandez "dans quelles conditions la déclaration suivante est-elle fausse?"$A$

$$\lim_{n \rightarrow \infty} \frac{1}{n}\sum_{k = 1}^{n} 1_A(X_k) = P(X \in A), \; [P]\;a.s.$$

où est la fonction indicatrice de l'événement , c'est -à- dire si et sinon et les sont distribués de manière identique (et distribués comme ).$1_A$$A$ $1_A(X_k) = 1$$X_k \in A$$0$$X_k$$X$

Nous voyons que la condition ci-dessus tiendra, car la variance d'une fonction d'indicateur est limitée au-dessus de 1/4, qui est la variance maximale d'une variable de Bernouilli 0-1. Pourtant, ce qui peut mal tourner, c'est la deuxième hypothèse de la loi forte des grands nombres, à savoir l'échantillonnage indépendant . Si les variables aléatoires ne sont pas échantillonnées indépendamment, la convergence n'est pas assurée.$X_k$

Par exemple, si = pour tout alors le rapport sera soit 1 ou 0, quelle que soit la valeur de , donc la convergence ne se produit pas (sauf si a une probabilité 0 ou 1 bien sûr). Ceci est un faux et extrême exemple. Je ne connais pas de cas pratiques où la convergence vers la probabilité théorique ne se produira pas. Pourtant, la potentialité existe si l'échantillonnage n'est pas indépendant.$X_k$$X_1$$k$$n$$A$