La linéarité de la variance

16

Je pense que les deux formules suivantes sont vraies:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ tandis que a est un nombre constant si ,

sont indépendants

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$

X

$X$

Y

$Y$

Cependant, je ne suis pas sûr de ce qui ne va pas avec ce qui suit:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ qui n'est pas égal à

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$ , soit

4 V a r (X)

$4\mathrm{Var}(X)$ .

Si on suppose que $X$ est l'échantillon prélevé dans une population, je pense que nous pouvons toujours supposer $X$ pour être indépendant des autres $X$ s.

Alors, quel est le problème avec ma confusion?

variance linearity fallacy lanselibai
la source

8

La variance n'est pas linéaire - votre première affirmation le montre (si c'était le cas, vous auriez

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$ . La covariance d'autre part est bilinéaire.

Batman

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

Le problème avec votre raisonnement est

"Je pense que nous pouvons toujours supposer que est indépendant des autres " $X$ $X$

$X$ n'est pas indépendant de . Le symbole est utilisé ici pour faire référence à la même variable aléatoire. Une fois que vous connaissez la valeur du premier à apparaître dans votre formule, cela corrige également la valeur du second à apparaître. Si vous voulez qu'ils se réfèrent à des variables aléatoires distinctes (et potentiellement indépendantes), vous devez les désigner avec des lettres différentes (par exemple et ) ou en utilisant des indices (par exemple et ); cette dernière est souvent (mais pas toujours) utilisée pour désigner des variables tirées de la même distribution. $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

Si deux variables et sont indépendantes alors est le même que : connaître la valeur de ne nous donne pas d'informations supplémentaires sur la valeur de . Mais est si et autrement: connaître la valeur de vous donne des informations sur la valeur de . [Vous pouvez remplacer les probabilités dans ce paragraphe par des fonctions de distribution cumulative, ou, le cas échéant, des fonctions de densité de probabilité, pour essentiellement le même effet.] $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ $X$

Une autre façon de voir les choses est que si deux variables sont indépendantes alors elles ont une corrélation nulle (bien que la corrélation nulle n'implique pas l'indépendance !) Mais est parfaitement corrélé avec lui-même, donc ne peut pas être indépendant de lui-même. Notez que puisque la covariance est donnée par , alors $X$ $\Corr(X,X)=1$ $X$ $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

La formule plus générale de la variance d'une somme de deux variables aléatoires est

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

En particulier, , donc $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

qui est le même que vous auriez déduit de l'application de la règle

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Si vous êtes intéressé par la linéarité, alors vous pourriez être intéressé par la bilinéarité de la covariance. Pour les variables aléatoires , , et (qu'elles soient dépendantes ou indépendantes) et les constantes , , et nous avons $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

et dans l'ensemble,

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

Vous pouvez ensuite l'utiliser pour prouver les résultats (non linéaires) de la variance que vous avez écrits dans votre message:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

Ce dernier donne, comme cas particulier lorsque , $a=b=1$

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Lorsque et sont pas corrélés (ce qui inclut le cas où ils sont indépendants), cela se réduit à . Donc, si vous voulez manipuler les variances de manière "linéaire" (ce qui est souvent une bonne façon de travailler algébriquement), utilisez plutôt les covariances et exploitez leur bilinéarité. $X$ $Y$ $\Var(X+Y) = \Var(X) + \Var(Y)$

Silverfish
la source

1

Oui! Je pense que vous avez mis en évidence au début que la confusion était essentiellement une notion. Je l'ai trouvé très utile lorsqu'un livre (très explicitement, certains pourraient dire laborieusement) expliquait l'interprétation et les règles d'évaluation d'une déclaration probabiliste (de sorte que, par exemple, même si vous savez ce que vous entendez par où , il est techniquement incorrect si vous envisagez de lancer un dans le craps (et ne donnerait jamais un résultat impair); l'événement serait correctement exprimée en utilisant iid).

Pr (X + X = n)

$\Pr (X+X=n)$

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$

n

$n$

X + X = 2 X

$X+X=2X$

X_{1}, X_{2}

$X_1,X_2$

Vandermonde

1

Ceci est en contraste (et je pense que mon erreur aurait pu découlé de) combien 2+PRNG(6)+PRNG(6)souvent est comment vous lancer les dés comme ci - dessus et / ou notation / conventions telles que dans lequel différentes instances sont véritablement destinées à être indépendantes.

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$

Vandermonde

@Vandermonde C'est un point intéressant. J'ai d'abord envisagé de mentionner l'utilisation d'indices pour faire la distinction entre « différents », mais je n'ai pas pris la peine - je pense que je pourrais le modifier maintenant. L'argument selon lequel «vous n'obtiendriez jamais un score total impair si la somme était » est très clair et convaincant pour quelqu'un qui ne voit pas la nécessité de distinguer: merci de le partager.

X

$X$

2 X

$2X$

Silverfish

0

Une autre façon de penser à ce sujet est que , avec des variables aléatoires . $2X \neq X + X$

$2X$ signifierait deux fois la valeur des résultats de , alors que signifierait deux essais de . En d'autres termes, c'est la différence entre lancer un dé une fois et doubler le résultat, vs lancer un dé deux fois. $X$ $X + X$ $X$

Benjamin
la source

+1 C'est une réponse parfaitement claire et correcte. Bienvenue sur notre site!

whuber

Merci @whuber!

Benjamin

La linéarité de la variance

Réponses: