Définition des poids moindres carrés pondérés: fonction R lm vs.

Quelqu'un pourrait-il me dire pourquoi j'obtiens des résultats différents à partir des Rmoindres carrés pondérés et de la solution manuelle par opération matricielle ?

Plus précisément, j'essaie de résoudre manuellement , où est la matrice diagonale des poids, est la matrice de données, est la réponse vecteur. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

J'essaie de comparer les résultats avec la R lmfonction en utilisant l' weightsargument.

r regression least-squares weighted-regression weighted-data Haitao Du
la source

J'ai édité des tags: ce n'était certainement pas [auto-apprentissage]. Il ne s'agit pas non plus vraiment de GLS (mais d'un cas très spécial), j'ai donc supprimé celui-ci également.

amoeba

Comme vous pouvez le voir dans les expressions mathématiques pour vos calculs, vous obtenez

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

De toute évidence vos poids sont , pas . Ainsi, vous devriez comparer votre réponse à la sortie de $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

L'accord est parfait (pour une erreur en virgule flottante - en interne, Rutilise un algorithme numériquement plus stable.)

whuber
la source

Sans doute, nous ne parlons ici que des conventions logicielles: là où le logiciel attend des «pondérations», veut-il que vous lui donniez ou ? Je pensais que c'était une question précieuse car le problème pouvait affecter n'importe quel progiciel statistique. Quelles que soient les conventions, la brève analyse de cette réponse suggère quelles interprétations alternatives des "poids" pourraient être raisonnables et méritent d'être expérimentées en toutes circonstances.

W

$W$

W^{2}

$W^2$

whuber

Oui, je pense que c'est déroutant, j'ai obtenu l'expression du livre d'algèbre linéaire de Gilbert Strang, chapitre 8.6, où il dit que le moindre carré pondéré n'est qu'un ajustement de à

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

Haitao Du

Strang a raison, mais il a une orientation pédagogique à l'envers: il commence par la réponse plutôt que par le problème. Le problème concerne la façon d'effectuer l'analogue d'une procédure des moindres carrés lorsque les variances des résidus ont des valeurs connues mais différentes . Pour diverses raisons théoriques (mais simples), les données doivent être pondérées par les variances inverses (parfois appelées «précisions»). On peut en déduire que doit être la racine carrée des poids.

W

$W$

whuber

Définition des poids moindres carrés pondérés: fonction R lm vs.

Réponses: