Pourquoi le dénominateur de l'estimateur de covariance ne serait-il pas n-2 plutôt que n-1?

Le dénominateur de l'estimateur de variance (non biaisé) est car il y a observations et un seul paramètre est estimé.$n-1$$n$

Dans le même esprit, je me demande pourquoi le dénominateur de la covariance ne serait pas lorsque deux paramètres sont estimés?$n-2$

Les covariances sont des variances.

Depuis par l' identité de polarisation

les dénominateurs doivent être les mêmes.

Un cas particulier devrait vous donner une intuition; Pensez à ce qui suit:

Vous êtes heureux que ce dernier soit raison de la Correction de Bessel.$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Mais remplacer par dans pour le premier donne , alors que pensez-vous qu'il serait préférable de compléter?X ^ C o v ( X , Y ) Σ n i = 1 ( X i - ¯ X ) ( X i - ¯ X$Y$$X$$\hat{\mathbb{Cov}}\left(X, Y\right)$$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

Une réponse rapide et sale ... Considérons d’abord ; si vous aviez observations dont la valeur attendue était connue vous utiliseriez pour estimer la variance.n E ( X ) = 0 $\text{var}(X)$$n$ $E(X) = 0$${1\over n}\sum_{i=1}^n X_i^2$

La valeur attendue étant inconnue, vous pouvez transformer vos observations en observations avec une valeur attendue connue en prenant pour . Vous obtiendrez une formule avec un dans le dénominateur - mais les ne sont pas indépendants et vous devrez en tenir compte; à la fin, vous retrouveriez la formule habituelle.n - 1 A i = X i - X 1 i = 2 , … , n n - 1 A $n$$n-1$$A_i = X_i - X_1$$i = 2, \dots,n$$n-1$$A_i$

Maintenant, pour la covariance, vous pouvez utiliser la même idée: si la valeur attendue de était , vous auriez eu un dans la formule. En soustrayant à toutes les autres valeurs observées, vous obtenez observations dont la valeur attendue est connue ... et un dans la formule - une fois encore, cela introduit une certaine dépendance à prendre en compte. Compte.( 0 , 0 ) $(X,Y)$$(0,0)$ (X1,Y1)n-1${1\over n}$$(X_1,Y_1)$$n-1$${1\over n-1}$

PS La méthode la plus simple consiste à choisir une base orthonormale de , c’est-à-dire vecteurs tel que n-1c1,...,c n - 1 ∈ R$\big\langle (1, \dots, 1)' \big\rangle^{\perp}$$n-1$$c_1, \dots, c_{n-1} \in \mathbb R^n$

• $\sum_j c_{ij}^2 = 1$ pour tout ,$i$
• $\sum_j c_{ij} = 0$ pour tout ,$i$
• i 1 ≠ i $\sum_j c_{i_1j} c_{i_2j} = 0$ pour tous les .$i_1 \ne i_2$

Vous pouvez ensuite définir variables et . Les sont indépendants, ont une valeur attendue et ont la même variance / covariance que les variables d'origine.$n-1$$A_i = \sum_j c_{ij} X_j$$B_i = \sum_j c_{ij} Y_j$$(A_i,B_i)$$(0,0)$

Tout ce qui compte, c’est que si vous voulez vous débarrasser de l’attente inconnue, vous laissez tomber une (et une seule) observation. Cela fonctionne de la même manière dans les deux cas.

Voici une preuve que l'estimateur de covariance d'échantillon p-variable avec le dénominateur est un estimateur sans biais de la matrice de covariance:$\frac{1}{n-1}$

$x' = (x_1,...,x_p)$ .

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

Pour afficher:$E(S) = \frac{n-1}{n}\Sigma$

Preuve:$S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Prochain:

(1)$E(x_ix_i') = \Sigma + \mu\mu'$

(2)$E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Par conséquent,$E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

Et ainsi , avec le dénominateur final , est non biaisé. Les éléments non diagonaux de sont vos échantillons de covariance.$S_u = \frac{n}{n-1}S$$\frac{1}{n-1}$$S_u$

Remarque additionnelle:

1. Les tirages n sont indépendants. Ceci est utilisé dans (2) pour calculer la covariance de la moyenne de l'échantillon.

2. Les étapes (1) et (2) utilisent le fait que$Cov(x)= E[xx']-\mu\mu'$

3. L’étape (2) utilise le fait que$Cov(\bar{x})= \frac{1}{n}\Sigma$

Je suppose qu’une façon de construire l’intuition derrière l’utilisation de 'n-1' et non de 'n-2' est - que pour calculer la co-variance, nous n’avons pas besoin de dé-signifier X et Y, mais l’un ou l’autre, à savoir

1) Commencez .$df=2n$

2) covariance d' échantillon est proportionnelle à . Perdre deux d f ; une de ˉ X , un de ˉ Y résultant en d f = 2 ( n - 1 ) .$\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$df$$\bar{X}$$\bar{Y}$$df=2(n-1)$

3) Toutefois, ne contient que des n termes distincts, un pour chaque produit. Lorsque deux nombres sont multipliés ensemble, les informations indépendantes de chaque numéro séparé disparaissent.$\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$n$

Par exemple, considérons que

,$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$

et cela n'inclut pas les irrationnels et les fractions, par exemple , de sorte que lorsque nous multiplions deux séries de nombres ensemble et examinions leur produit, nous ne voyons que ledf=n-1d’une série de chiffres, car nous avons perdu la moitié de l’information originale, c’est-à-dire quels étaient ces deux nombres. avant que le regroupement par paires en un seul nombre (c’est-à-dire la multiplication) ait été effectué.$24=2\sqrt{6}*2\sqrt{6}$$df=n-1$

En d'autres termes, sans perte de généralité, nous pouvons écrire

pour certains z i et ˉ z ,$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$$z_i$$\bar{z}$

ie, , et, ˉ z = ˉ X ˉ Y . À partir des z , qui ont alors clairement d f = n - 1 , la formule de covariance devient$z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$$\bar{z}=\bar{X}\bar{Y}$$z$$df=n-1$

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$

$df$