Un article historiquement important qui, je crois, a d'abord démontré que les estimateurs de biais peuvent entraîner une amélioration des estimations pour les modèles linéaires ordinaires:
- Stein, C., 1956, janvier. Inadmissibilité de l'estimateur habituel pour la moyenne d'une distribution normale multivariée. Dans Actes du troisième symposium de Berkeley sur les statistiques mathématiques et les probabilités (Vol. 1, n ° 399, pp. 197-206).
Quelques sanctions plus modernes et importantes incluent SCAD et MCP:
- Fan, J. et Li, R., 2001. Sélection de variables via la vraisemblance pénalisée non concave et ses propriétés oracle. Journal de l'American Statistics Association, 96 (456), pp.1348-1360.
- Zhang, CH, 2010. Sélection de variables presque sans biais sous pénalité concave minimax. The Annals of statistics, 38 (2), pp.894-942.
Et un peu plus sur de très bons algorithmes pour obtenir des estimations en utilisant ces méthodes:
- Breheny, P. et Huang, J., 2011. Algorithmes de descente de coordonnées pour la régression pénalisée non convexe, avec des applications à la sélection des caractéristiques biologiques. Les annales des statistiques appliquées, 5 (1), p.232.
- Mazumder, R., Friedman, JH et Hastie, T., 2011. Sparsenet: Coordonner la descente avec des pénalités non convexes. Journal de l'American Statistical Association, 106 (495), pp.1125-1138.
Il convient également de regarder cet article sur le sélecteur de Dantzig qui est très étroitement lié au LASSO, mais (je crois) il introduit l'idée d'inégalités oracle pour les estimateurs statistiques qui sont une idée assez puissante
- Candes, E. et Tao, T., 2007. Le sélecteur de Dantzig: estimation statistique lorsque p est beaucoup plus grand que n. The Annals of Statistics, pp.2313-2351.
