Comment estimer les erreurs standard des coefficients lors de l'utilisation de la régression de crête?

J'utilise la régression de crête sur des données hautement multicollinéaires. En utilisant OLS, j'obtiens de grandes erreurs standard sur les coefficients en raison de la multicolinéarité. Je sais que la régression de crête est un moyen de résoudre ce problème, mais dans toutes les implémentations de régression de crête que j'ai examinées, aucune erreur standard n'a été signalée pour les coefficients. Je voudrais un moyen d'estimer à quel point la régression de crête aide en voyant combien elle diminue les erreurs-types de coefficients spécifiques. Existe-t-il un moyen de les estimer par régression de crête?

Je pense que boostrap serait la meilleure option pour obtenir des SE robustes. Cela a été fait dans certains travaux appliqués en utilisant des méthodes de retrait, par exemple l' analyse des données du North American Rheumatoid Arthritis Consortium en utilisant une approche de régression logistique pénalisée (BMC Proceedings 2009). Il y a aussi un bon article de Casella sur le calcul SE avec le modèle pénalisé, la régression pénalisée, les erreurs standard et les lassos bayésiens (Bayesian Analysis 2010 5 (2)). Mais ils s'intéressent davantage à la pénalisation du lasso et de l' élastique .

J'ai toujours pensé à la régression des crêtes comme un moyen d'obtenir de meilleures prévisions que l'OLS standard, où le modèle n'est généralement pas parcimonieux. Pour la sélection des variables, les critères du lasso ou du filet élastique sont plus appropriés, mais il est alors difficile d'appliquer une procédure de bootstrap (car les variables sélectionnées changeraient d'un échantillon à l'autre, et même dans la boucle intérieure fold utilisée pour optimiser le ℓ $k$$\ell_1$ / paramètres); ce n'est pas le cas avec la régression de crête, puisque vous considérez toujours toutes les variables.$\ell_2$

Je n'ai aucune idée des packages R qui donneraient ces informations. Il ne semble pas être disponible dans le package glmnet (voir l'article de Friedman dans JSS, Regularization Paths for Generalized Linear Models via Coordinate Descent ). Cependant, Jelle Goeman qui est l'auteur du paquet pénalisé discute également de ce point. Impossible de trouver le PDF original sur le Web, je cite donc simplement ses mots:

Il est très naturel de demander des erreurs types de coefficients de régression ou d'autres quantités estimées. En principe, ces erreurs standard peuvent être facilement calculées, par exemple en utilisant le bootstrap.

Pourtant, ce paquet ne les fournit pas délibérément. La raison en est que les erreurs-types ne sont pas très significatives pour les estimations fortement biaisées telles que celles résultant des méthodes d'estimation pénalisées. L'estimation pénalisée est une procédure qui réduit la variance des estimateurs en introduisant un biais substantiel. Le biais de chaque estimateur est donc une composante majeure de son erreur quadratique moyenne, tandis que sa variance ne peut contribuer qu’une petite partie.

Malheureusement, dans la plupart des applications de régression pénalisée, il est impossible d'obtenir une estimation suffisamment précise du biais. Tout calcul basé sur le bootstrap ne peut donner qu'une évaluation de la variance des estimations. Des estimations fiables du biais ne sont disponibles que si des estimations fiables non biaisées sont disponibles, ce qui n'est généralement pas le cas dans les situations où des estimations pénalisées sont utilisées.

Signaler une erreur standard d'une estimation pénalisée ne raconte donc qu'une partie de l'histoire. Il peut donner une impression erronée d'une grande précision, ignorant complètement l'inexactitude causée par le biais. C'est certainement une erreur de faire des déclarations de confiance qui ne sont basées que sur une évaluation de la variance des estimations, comme le font les intervalles de confiance basés sur le bootstrap.

En supposant que le processus de génération de données suit les hypothèses standard derrière OLS, les erreurs standard pour la régression de crête sont données par:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

La notation ci-dessus suit la notation wiki pour la régression de crête . Plus précisément,

$A$

$\sigma^2$

$\Gamma$

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$intégrales et autres problèmes inverses. "Un problème inverse en science est le processus de calcul à partir d'un ensemble d'observations des facteurs causaux qui les ont produits: par exemple, le calcul d'une image en tomographie par ordinateur, la reconstruction d'une source en acoustique, ou le calcul de la densité de la Terre à partir des mesures de sa gravité champ .ici "SPSS contient un code supplémentaire qui donne l'écart-type de tous les paramètres et des paramètres supplémentaires peuvent être dérivés en utilisant la propagation d'erreur comme dans l'annexe à cet article

Ce qui est généralement mal compris au sujet de la régularisation de Tikhonov, c'est que la quantité de lissage a très peu à voir avec l'ajustement de la courbe, le facteur de lissage doit être utilisé pour minimiser l'erreur des paramètres d'intérêt. Vous devrez expliquer beaucoup plus sur le problème spécifique que vous essayez de résoudre pour utiliser correctement la régression de crête dans un contexte de problème inverse valide, et de nombreux articles sur la sélection des facteurs de lissage, et de nombreuses utilisations publiées de la régularisation de Tikhonov sont un peu heuristique.

De plus, la régularisation de Tikhonov n'est qu'un traitement du problème inverse parmi tant d'autres. Suivez le lien vers la revue Inverse Problems .