Lors de l'estimation des moindres carrés (en supposant une composante aléatoire normale), les estimations des paramètres de régression sont normalement distribuées avec une moyenne égale au paramètre de régression réel et à la matrice de covariance où s 2 est la variance résiduelle et X T X est la matrice de conception. X T est la transposée de X et X est défini par l'équation du modèle Y = X β + ϵ avec βΣ=s2⋅(XTX)−1s2XTXXTXXY=Xβ+ϵβles paramètres de régression et est le terme d'erreur. L'écart type estimé d'un paramètre bêta est obtenu en prenant le terme correspondant dans ( X T X ) - 1 en le multipliant par l'estimation de l'échantillon de la variance résiduelle, puis en prenant la racine carrée. Ce n'est pas un calcul très simple, mais tout logiciel le calculera pour vous et le fournira dans la sortie.ϵ(XTX)−1
Exemple
À la page 134 de Draper et Smith (référencé dans mon commentaire), ils fournissent les données suivantes pour ajuster par moindres carrés un modèle où ε ∼ N ( 0 , I σ 2 ) .Y=β0+β1X+εε∼N(0,Iσ2)
X Y XY
0 -2 0
2 0 0
2 2 4
5 1 5
5 3 15
9 1 9
9 0 0
9 0 0
9 1 9
10 -1 -10
--- -- ---
Sum 60 5 32
Sum of Squares 482 21 528
Ressemble à un exemple où la pente doit être proche de 0.
Xt=(101212151519191919110).
Donc
XtX=(n∑Xi∑Xi∑X2i)=(106060482)
et
(XtX)−1=⎛⎝⎜⎜∑X2in∑(Xi−X¯)2−X¯∑(Xi−X¯)2−X¯∑(Xi−X¯)21∑(Xi−X¯)2⎞⎠⎟⎟=(48210(122)−6122−61221122)=(0.395−0.049−0.0490.008)
X¯=∑Xi/n=60/10=6
β=(XTX)−1XTY
b1 = 1/61 = 0,0163 et b0 = 0,5 à 0,0163 (6) = 0,402
(XTX)−1
Désolé que les équations ne comportent pas d'indice et d'exposant lorsque je les coupe et les colle. La table ne s'est pas bien reproduite non plus car les espaces ont été ignorés. La première chaîne de 3 nombres correspond aux premières valeurs de XY et XY et de même pour les chaînes suivantes de trois. Après Sum vient les sommes pour XY et XY respectivement, puis la somme des carrés pour XY et XY respectivement. Les matrices 2x2 ont également été gâchées. Les valeurs après les crochets doivent être entre crochets sous les chiffres à gauche.