OLS est BLEU. Mais que se passe-t-il si je me fiche de l'impartialité et de la linéarité?

Le théorème de Gauss-Markov nous dit que l'estimateur OLS est le meilleur estimateur linéaire sans biais pour le modèle de régression linéaire.

Mais supposons que je ne me soucie pas de la linéarité et de l'impartialité. Existe-t-il alors un autre estimateur (non linéaire / biaisé possible) pour le modèle de régression linéaire qui est le plus efficace sous les hypothèses de Gauss-Markov ou un autre ensemble général d'hypothèses?

Il y a bien sûr un résultat standard: OLS lui-même est le meilleur estimateur sans biais si, en plus des hypothèses de Gauss-Markov, nous supposons également que les erreurs sont normalement distribuées. Pour une autre distribution particulière des erreurs, j'ai pu calculer l'estimateur de vraisemblance maximale correspondant.

Mais je me demandais s'il y avait un estimateur qui est meilleur que l'OLS dans un ensemble de circonstances relativement générales?

Les estimations impartiales sont typiques des cours d'introduction à la statistique car elles sont: 1) classiques, 2) faciles à analyser mathématiquement. La borne inférieure de Cramer-Rao est l'un des principaux outils pour 2). En dehors des estimations impartiales, une amélioration est possible. Le compromis biais-variance est un concept important dans les statistiques pour comprendre comment les estimations biaisées peuvent être meilleures que les estimations non biaisées.

Malheureusement, les estimateurs biaisés sont généralement plus difficiles à analyser. En régression, une grande partie de la recherche au cours des 40 dernières années a porté sur l'estimation biaisée. Cela a commencé par la régression des crêtes (Hoerl et Kennard, 1970). Voir Frank et Friedman (1996) et Burr et Fry (2005) pour un examen et des idées.

Le compromis biais-variance devient plus important dans les dimensions élevées, où le nombre de variables est important. Charles Stein a surpris tout le monde en prouvant que dans le problème des moyennes normales, la moyenne de l'échantillon n'est plus admissible si (voir Stein, 1956). L'estimateur de James-Stein (James et Stein, 1961) a été le premier exemple d'estimateur qui domine la moyenne de l'échantillon. Mais elle est également inadmissible.$p \geq 3$

Une partie importante du problème de la variance du biais consiste à déterminer comment le biais doit être compromis. Il n'y a pas de «meilleur» estimateur unique . La rareté a été un élément important de la recherche au cours de la dernière décennie. Voir Hesterberg et al. (2008) pour une revue partielle.

La plupart des estimateurs mentionnés ci - dessus ne sont pas linéaires dans . Même la régression de crête n'est pas linéaire une fois que les données sont utilisées pour déterminer le paramètre de crête.$Y$

Je ne sais pas si vous êtes d'accord avec l'estimation Bayes? Si oui, en fonction de la fonction de perte, vous pouvez obtenir différentes estimations de Bayes. Un théorème de Blackwell déclare que les estimations de Bayes ne sont jamais sans biais. Un argument de théorie de la décision déclare que toute règle admissible ((c'est-à-dire ou toute autre règle à laquelle elle est comparée, il y a une valeur du paramètre pour laquelle le risque de la règle actuelle est (strictement) inférieur à celui de la règle à laquelle elle est comparée)) est une règle de Bayes (généralisée).

Les estimateurs de James-Stein sont une autre classe d'estimateurs (qui peuvent être dérivés asymptotiquement par des méthodes bayésiennes) qui sont meilleurs que l'OLS dans de nombreux cas.

L'OLS peut être inadmissible dans de nombreuses situations et James-Stein Estimator en est un exemple. (aussi appelé paradoxe de Stein).

Kay et Eldar ont publié un bon article sur l'estimation biaisée dans le but de trouver des estimateurs avec une erreur quadratique moyenne minimale.