Appliquer une régression de crête pour un système d'équations sous-déterminé?

Lorsque , le problème des moindres carrés qui impose une restriction sphérique à la valeur de peut être écrit comme pour un système surdéterminé. \ | \ cdot \ | _2 est la norme euclidienne d'un vecteur.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

La solution correspondante à $\beta$ est donnée par

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ qui peut être dérivée de la méthode des multiplicateurs de Lagrange ( $\lambda$ est le multiplicateur): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Je comprends qu'il existe une propriété qui

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ Le côté droit ressemble au pseudo-inverse de la matrice de régresseur $X$ dans le cas sous-déterminé (avec le paramètre de régularisation ajouté, $\lambda$ ). Est-ce à dire que la même expression peut être utilisée pour approximer $\beta$ pour le cas sous-déterminé? Existe-t-il une dérivation distincte pour l'expression correspondante dans le cas sous-déterminé, car la contrainte de restriction sphérique est redondante avec la fonction objectif (norme minimale de $\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

En commençant par la formulation du problème de régression des crêtes comme

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

vous pouvez écrire le problème comme

$\min \| A\beta - b \|_{2}^{2}$

où

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

et

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

La matrice est de rang complet de la colonne à cause de la partie. Ainsi, le problème des moindres carrés comme solution unique$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

En écrivant ceci en termes de et , et en simplifiant beaucoup de 0, nous obtenons$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Rien dans cette dérivation ne dépend si a plus de lignes ou de colonnes, ou même si a un rang complet. Cette formule est donc applicable au cas indéterminé. $X$$X$

C'est un fait algébrique que pour ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Ainsi, nous avons également la possibilité d'utiliser

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Pour répondre à vos questions spécifiques:

1. Oui, les deux formules fonctionnent pour le cas indéterminé ainsi que pour le cas surdéterminé. Ils ont également le travail si est inférieur au minimum du nombre de lignes et de colonnes de . La deuxième version peut être plus efficace pour les problèmes indéterminés car est plus petit que dans ce cas. $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Je ne suis au courant d'aucune dérivation de la version alternative de la formule qui commence par un autre problème des moindres carrés amortis et utilise les équations normales. Dans tous les cas, vous pouvez le dériver de manière simple en utilisant un peu d'algèbre.

Il est possible que vous pensiez au problème de régression des crêtes sous la forme

$\min \| \beta \|_{2}^{2}$

sujet à

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Cependant, cette version du problème de régression des crêtes conduit simplement au même problème des moindres carrés amortis .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$