Intuition derrière

10

La forme fermée de w dans la régression linéaire peut s'écrire

$\hat{w}=(X^TX)^{-1}X^Ty$

Comment expliquer intuitivement le rôle de $(X^TX)^{-1}$ dans cette équation?

regression least-squares matrix intuition matrix-inverse Darshak
la source

2

Pourriez-vous préciser ce que vous entendez par "intuitivement"? Par exemple, il y a une explication merveilleusement intuitive en termes d'espaces de produits internes présentée dans les réponses planes de Christensen aux questions complexes, mais tout le monde n'appréciera pas cette approche. Comme autre exemple, il y a une explication géométrique dans ma réponse sur stats.stackexchange.com/a/62147/919 , mais tout le monde ne considère pas les relations géométriques comme "intuitives".

whuber

Intuitivement, qu'est-ce que signifie $ (X ^ TX) ^ {- 1}? Est-ce une sorte de calcul de distance ou quelque chose, je ne le comprends pas.

Darshak

1

Cela est expliqué en détail dans la réponse que j'ai liée.

whuber

Cette question existe déjà ici, mais peut-être pas avec une réponse satisfaisante math.stackexchange.com/questions/2624986/…

Sextus Empiricus

5

J'ai trouvé ces messages particulièrement utiles:

Comment dériver l'estimateur des moindres carrés pour la régression linéaire multiple?

Relation entre SVD et PCA. Comment utiliser SVD pour effectuer PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Si est un matrice alors la matrice définit une projection sur l'espace de colonne de . Intuitivement, vous avez un système d'équations surdéterminé, mais vous voulez toujours l'utiliser pour définir une carte linéaire qui mappera les lignes de à quelque chose de proche des valeurs , $X$ $n \times p$ $X(X^TX)^{-1}X^T$ $X$ $\mathbb{R}^p \rightarrow \mathbb{R}$ $x_i$ $X$ $y_i$ $i\in \{1,\dots,n\}$ . Nous nous contentons donc d'envoyer à la chose la plus proche de qui peut être exprimée comme une combinaison linéaire de vos caractéristiques (les colonnes de ). $X$ $y$ $X$

En ce qui concerne une interprétation de , je n'ai pas encore de réponse étonnante. Je sais que vous pouvez considérer comme étant essentiellement la matrice de covariance de l'ensemble de données. $(X^TX)^{-1}$ $(X^TX)$

James McKeown
la source

(X^{T} X)

$(X^T X)$

4

Point de vue géométrique

$y$ $X\beta$ $V$ $X\hat\beta$ $W$ $x_1, x_2, \cdots, x_m$

Deux types de coordonnées

$W$

Les $\boldsymbol{\beta}$ sont comme des coordonnées pour un espace de coordonnées régulier. Le vecteur dans l'espace est la combinaison linéaire des vecteurs $z$ $W$ $\mathbf{x_i}$ $z = β_{1} x_{1} + β_{2} x_{1} + . . . . β_{m} x_{m}$ $z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$
Le $\boldsymbol{\alpha}$ ne sont pas coordonnées au sens régulier, mais ils définissent un point dans le sous - espace . Chaque rapporte aux projections perpendiculaires sur les vecteurs . Si nous utilisons des vecteurs unitaires (pour simplifier), alors les "coordonnées" pour un vecteur peuvent être exprimées comme: $W$ $\alpha_i$ $x_i$ $x_i$ $\alpha_i$ $z$

$α_{i} = x_{i}^{T} z$ $\alpha_i = \mathbf{x_i^T} \mathbf{z}$
et l'ensemble de toutes les coordonnées comme:

α = X^{T} z

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$

Cartographie entre les coordonnées et $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

pour l'expression de "coordonnées" devient une conversion de coordonnées en "coordonnées" $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$ $\alpha$ $\beta$ $\alpha$

α = X^{T} X β

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$

Vous pouvez voir comme exprimant combien chaque projette sur l'autre $(\mathbf{X^T} \mathbf{X})_{ij}$ $x_i$ $x_j$

L'interprétation géométrique de peut alors être vue comme la carte des "coordonnées" de projection vectorielle aux coordonnées linéaires . $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

β = (X^{T} X)^{- 1} α

$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$

L'expression donne les "coordonnées" de projection de et transforme en . $\mathbf{X^Ty}$ $\mathbf{y}$ $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\beta}$

Remarque : les "coordonnées" de projection de sont les mêmes que les "coordonnées" de projection de puisque . $\mathbf{y}$ $\mathbf{\hat{y}}$ $(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Sextus Empiricus
la source

Un compte très similaire du sujet stats.stackexchange.com/a/124892/3277 .

ttnphns

En effet très similaire. Pour moi, cette vue est très nouvelle et j'ai dû prendre une nuit pour y penser. J'ai toujours vu la régression des moindres carrés en termes de projection mais dans ce point de vue, je n'ai jamais essayé de donner une signification intuitive à la partie ou je l'ai toujours vue dans l'expression plus indirecte .

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

X^{T} y = X^{T} X β

$X^T y = X^TX\beta$

Sextus Empiricus

3

En supposant que vous connaissez la régression linéaire simple: et sa solution :

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha+\beta x_i+\varepsilon_i$

β = \frac{c o v [x_{i}, y_{i}]}{v a r [x_{i}]}

$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$

Il est facile de voir comment correspond au numérateur ci-dessus et correspond au dénominateur. Puisque nous avons affaire à des matrices, l'ordre est important. est une matrice KxK et est un vecteur Kx1. Par conséquent, l'ordre est: $X'y$ $X'X$ $X'X$ $X'y$ $(X'X)^{-1}X'y$

Aksakal
la source

Mais cette analogie elle-même ne vous dit pas si vous pré- ou postmultipliez avec l'inverse.

kjetil b halvorsen

@kjetilbhalvorsen, j'ai mis l'ordre des opérations

Aksakal

Intuition derrière

Réponses:

Point de vue géométrique

Deux types de coordonnées

Cartographie entre les coordonnées etαα\boldsymbol{\alpha}ββ\boldsymbol{\beta}

Cartographie entre les coordonnées et $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$