Peut-on utiliser des coefficients

J'essaie d'interpréter les résultats d'un article, où ils ont appliqué une régression multiple pour prédire divers résultats. Cependant les (coefficients B normalisés définis comme où est la personne à charge variable et est un prédicteur) rapporté ne semble pas correspondre au rapporté :β x 1 = B x 1 ⋅ S D x $\beta$ yx1R$\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$$y$$x_1$$R^2$

Malgré les de -0,83, -0,29, -0,16, -0,43, 0,25 et -0,29, le rapporté n'est que de 0,20.R $\beta$$R^2$

De plus, les trois prédicteurs: poids, IMC et% de graisse sont multi-colinéaires, corrélés autour de r = 0,8-0,9 les uns avec les autres au sein des sexes.

La valeur est-elle plausible avec ces , ou n'y a-t-il pas de relation directe entre les et le ? β β R $R^2$$\beta$$\beta$$R^2$

De plus, des problèmes avec les prédicteurs multicollinéaires pourraient-ils affecter la d'un quatrième prédicteur (VO2max), qui est corrélée autour de r = 0,4 avec les trois variables susmentionnées?$\beta$

L' interprétation géométrique de la régression des moindres carrés ordinaires fournit la perspicacité requise.

La plupart de ce que nous devons savoir peut être vu dans le cas de deux régresseurs et x 2 avec la réponse y . Les coefficients normalisés, ou «bêtas», surviennent lorsque les trois vecteurs sont normalisés à une longueur commune (que nous pouvons considérer comme étant l'unité). Ainsi, x 1 et x 2 sont des vecteurs unitaires dans un plan E 2 - ils sont situés sur le cercle unitaire - et y est un vecteur unitaire dans un espace euclidien tridimensionnel E 3 contenant ce plan. La valeur ajustée y est la projection orthogonale (perpendiculaire) de$x_1$$x_2$$y$$x_1$$x_2$$E^2$$y$$E^3$$\hat y$ sur E 2 . Parce que R 2 est simplement la longueurcarré de y , nous ne devons pas visualiser même les trois dimensions: toutes les informations nécessaires peuvent être tirées dans ce plan.$y$$E^2$$R^2$$\hat y$

Régresseurs orthogonaux

La situation la plus agréable est lorsque les régresseurs sont orthogonaux, comme dans la première figure.

Dans ceci et le reste des figures, je dessine systématiquement le disque de l'unité en blanc et les régresseurs sous forme de flèches noires. pointera toujours directement vers la droite. Les flèches rouges épais représentent les composantes de y dans les x 1 et x 2 directions: qui est, β 1 x 1 et β 2 x 2 . La longueur de y est le rayon du cercle gris sur laquelle il se trouve - mais se rappeler que R 2 est le$x_1$$\hat y$$x_1$$x_2$$\beta_1 x_1$$\beta_2 x_2$$\hat y$$R^2$ carré de cette longueur.

Le théorème de Pythagore affirme

$$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$$

Parce que le théorème de Pythagore tient dans n'importe quel nombre de dimensions, ce raisonnement se généralise à n'importe quel nombre de régresseurs, donnant notre premier résultat:

Lorsque les régresseurs sont orthogonaux, est égal à la somme des carrés des bêtas.$R^2$

Un corollaire immédiat est que lorsqu'il n'y a qu'un seul régresseur - régression univariée - est le carré de la pente normalisée.$R^2$

Corrélé

Les régresseurs à corrélation négative se rencontrent à des angles supérieurs à un angle droit.

Il apparaît visuellement sur cette image que la somme des carrés des bêtas est strictement supérieure à . Cela peut être prouvé algébriquement en utilisant la loi des cosinus ou en travaillant avec une solution matricielle des équations normales.$R^2$

En rendant les deux régresseurs presque parallèle, on peut positionner y près de l'origine (pour R 2 près 0 ) alors qu'elle continue d'avoir de grands composants de la x 1 et x 2 direction. Ainsi, il n'y a pas de limite à la taille du R 2 .$\hat y$$R^2$$0$$x_1$$x_2$$R^2$

Mémorisons ce résultat évident, notre deuxième généralité:

Lorsque régresseurs sont corrélées, peut être arbitrairement petite que la somme des carrés des bêtas.$R^2$

Cependant, ce n'est pas une relation universelle, comme le montre la figure suivante.

Maintenant, dépasse strictement la somme des carrés des bêtas. En tirant les deux régresseurs rapprochés et en gardant y entre eux, nous pouvons faire à la fois approche les bêtas 1 / 2 , même lorsque R 2 est proche de 1 . Une analyse plus approfondie peut nécessiter une algèbre: je prends cela en compte ci-dessous.$R^2$$\hat y$$1/2$$R^2$$1$

Je laisse à votre imagination le soin de construire des exemples similaires avec des régresseurs positivement corrélés, qui se rencontrent ainsi sous des angles aigus.

Notez que ces conclusions sont incomplètes: il y a des limites à combien moins de peut être comparé à la somme des carrés des bêtas. En particulier, en examinant attentivement les possibilités, vous pouvez conclure (pour une régression avec deux régresseurs) que$R^2$

Lorsque les régresseurs sont positivement corrélés et les bêtas ont un signe commun, ou lorsque les régresseurs sont négativement corrélés et les bêtas ont des signes différents, doit être au moins aussi grande que la somme des carrés des bêtas. $R^2$

---

Résultats algébriques

Généralement, que les régresseurs soient (vecteurs colonnes) et la réponse soit y . Les moyens de normalisation (a) sont chacun orthogonaux au vecteur ( 1 , 1 , … , 1 ) ' et (b) ils ont des longueurs unitaires:$x_1, x_2, \ldots, x_p$$y$$(1,1,\ldots,1)^\prime$

$$|x_i|^2 = |y|^2 = 1.$$

Assembler les vecteurs colonnes dans un n × p matrice X . Les règles de multiplication matricielle impliquent que$x_i$$n\times p$$X$

$$\Sigma = X^\prime X$$

est la matrice de corrélation des . Les bêtas sont donnés par les équations normales,$x_i$

$$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$$

De plus, par définition, l'ajustement est

$$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$$

Sa longueur au carré donne par définition:$R^2$

$$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$$

$R^2$

$$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$$

$L_2$$A$$p^2$

$$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$$

L'inégalité de Cauchy-Schwarz implique

$$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$$

$1$$p^2$$p\times p$$\Sigma$$|\Sigma|_2$$\sqrt{1\times p^2} = p$

$$R^2 \le p\, \beta^\prime \beta.$$

$x_i$

$R^2$$R^2/p$

---

Conclusions

$R^2$$\hat y$$R^2$

$1.1301$$R^2$$1$

$-0.83$$0.69$$R^2$$0.20$$\text{VO}_{2\,\text{max}}$

$R^2$$x_1$$x_2$$\hat y$$x_1$$x_2$$y$par des quantités inconnues (en fonction de la façon dont ces trois éléments sont liés aux covariables), ne nous laissant presque rien savoir de la taille réelle des vecteurs avec lesquels nous travaillons.