Loi de la variance totale comme théorème de Pythagore

Supposons que et ont un second moment fini. Dans l'espace de Hilbert de variables aléatoires de second moment fini (avec le produit interne de défini par , ), nous pouvons interpréter comme la projection de sur l'espace des fonctions de .$X$$Y$$T_1,T_2$$E(T_1T_2)$$||T||^2=E(T^2)$$E(Y|X)$$Y$$X$

Nous savons également que la loi de la variance totale lit

$$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$$

Y a-t-il un moyen d'interpréter cette loi en termes de l'image géométrique ci-dessus? On m'a dit que la loi est la même que le théorème de Pythagore pour le triangle rectangle avec les côtés . Je comprends pourquoi le triangle est à angle droit, mais pas comment le théorème de Pythagore capture la loi de la variance totale.$Y, E(Y|X), Y-E(Y|X)$

Je suppose que vous êtes à l'aise avec le fait de considérer le triangle rectangle comme signifiant que et sont des variables aléatoires non corrélées . Pour les variables aléatoires non corrélées et , et donc si nous définissons et pour que , nous obtenons que Il reste à montrer que est le même que $E[Y\mid X]$$Y - E[Y\mid X]$$A$$B$

$$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$$ $A = Y - E[Y\mid X]$$B = E[Y\mid X]$$A+B = Y$ $$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$$ $\operatorname{var}(Y-E[Y\mid X])$$E[\operatorname{var}(Y\mid X)]$ afin que nous puissions reformuler comme qui est la formule de variance totale.$(2)$ $$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$$

Il est bien connu que la valeur attendue de la variable aléatoire est , c'est-à-dire . Nous voyons donc que d'où il s'ensuit que , c'est-à-dire Soit la variable aléatoire pour que nous puissions écrire ce Mais, où E [ Y ] E [ E [ Y ∣ X ] ] = E [ Y ] E [ A ] = E [ Y - E [ Y ∣ X ] ] = E [ Y ] - E [ E [ Y ∣ X ] ] = 0 , var ( $E[Y\mid X]$$E[Y]$$E\biggr[E[Y\mid X]\biggr] = E[Y]$

$$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$$ var ( Y - E [ Y ∣ X ] ) = E [ ( Y - E [ Y ∣ X ] ) 2 ] . C ( Y - E [ Y ∣ X ] ) 2 var ( Y - E [ Y ∣ X ] ) = E [ $\operatorname{var}(A) = E[A^2]$ $$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$$ $C$$(Y-E[Y\mid X])^2$E[C]=E [ E[C∣X] ] E[C∣X]=E [ (Y-E[Y∣X])2 | X ] . X=xYE[Y∣X=x]E [ (Y-E[Y $$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$$ $E[C] = E\biggr[E[C\mid X]\biggr]$$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$ Maintenant, étant donné que , la distribution conditionnelle de a la moyenne et donc En d'autres termes, sorte que la variable aléatoire soit juste . Par conséquent, qui lors de la substitution en montre cette $X = x$$Y$$E[Y\mid X=x]$E [ C ∣ X = x ] = var ( Y ∣ X = x $$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$$ $E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$ var ( Y ∣ X ) E [ C ] = E [ E [ C ∣ X ] ] = E [ var ( Y ∣ X ) ] , ( 5 ) var ( Y - E [ Y ∣ X ] ) = E [ var ( Y ∣ X $E[C\mid X]$$\operatorname{var}(Y\mid X)$ $$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$$ $(5)$ $$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$$ Cela rend le côté droit de exactement ce dont nous avons besoin et nous avons donc prouvé la formule de variance totale .( 3 $(2)$$(3)$

Déclaration:

Le théorème de Pythagore dit, pour tout élément et d'un espace de produit intérieur avec des normes finies telles que , En d'autres termes, pour les vecteurs orthogonaux, la longueur au carré de la somme est la somme des longueurs au carré.$T_1$$T_2$$\langle T_1,T_2\rangle = 0$

$$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$$

Notre cas:

Dans notre cas, et sont des variables aléatoires, la norme au carré est et le produit intérieur . La traduction en langage statistique nous donne: car . Nous pouvons faire en sorte que cela ressemble davantage à votre loi de variance totale si nous changeons en ...$T_1 = E(Y|X)$$T_2 = Y - E[Y|X]$$||T_i||^2 = E[T_i^2]$$\langle T_1,T_2\rangle = E[T_1T_2]$$(1)$

$$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$$ $E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$$(2)$

1. Soustrayez des deux côtés, en faisant le côté gauche ,$(E[Y])^2$$\operatorname{Var}[Y]$

2. Notant à droite que ,$E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$

3. Notant que .$E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$

Pour plus de détails sur ces trois points, voir le post de @ DilipSarwate. Il explique tout cela plus en détail que moi.