Quelle est la propriété oracle d'un estimateur?

Quelle est la propriété oracle d'un estimateur?
Pour quels objectifs de modélisation la propriété oracle est-elle pertinente (prédictive, explicative, ...)?

Des explications théoriquement rigoureuses et (surtout) intuitives sont les bienvenues.

feature-selection model-selection estimators oracle Richard Hardy
la source

Ce serait bien d'avoir une réponse unique et solide à la question. Quelques documents associés: Zou "Le LASSO adaptatif et ses propriétés oracle" , p. 1 (p. 1418).

Richard Hardy

Réponses:

Un oracle connaît la vérité: il connaît le vrai sous-ensemble et est disposé à agir en conséquence. La propriété oracle est que la distribution asymptotique de l'estimateur est la même que la distribution asymptotique du MLE sur le support réel uniquement. Autrement dit, l'estimateur s'adapte pour connaître le véritable support sans payer de prix (en termes de distribution asymptotique.)

Par les propriétés d'optimalité asymptotique du MLE discutées, par exemple, dans les statistiques théoriques de Keener dans le théorème 9.14, nous savons, dans certaines conditions techniques qui tiennent lorsque, par exemple, l'erreur est gaussienne, que oùon suppose que est le coefficient vrai sur le véritable support. Notez que la variance de la distribution asymptotique est l'inverse de l'informationFisher, montrant queest asymptotiquement efficace. Étant donné que le MLE connaissant le véritable support y parvient, il est également requis dans le cadre de la propriété oracle.

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, {je}^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Cependant, nous payons un prix élevé non asymptotique: voir, par exemple,

Hannes Leeb, Benedikt M. Pötscher, Sparse estimators and the oracle property, or the return of Hodges 'estimator, Journal of Econometrics, Volume 142, Issue 1, 2008, Pages 201-211,

ce qui montre que le risque de tout «estimateur d'oracle» (au sens de Fan et Li, 2001) a un supremum qui diverge à l'infini.

user795305
la source

-Ainsi, la propriété oracle pour le lasso énonce ce qui suit: la propriété oracle est que la distribution asymptotique de l'estimateur est la même que la distribution asymptotique de la régression logistique LASSO sur uniquement le vrai support

Annalise Azzopardi

La définition de la propriété Oracle est étroitement liée au contexte. La réponse très courte mais précise en régression linéaire (précisément de haute dimension) est la suivante:

un estimateur Oracle doit être cohérent dans l'estimation des paramètres et la sélection des variables.

Notez qu'un estimateur cohérent dans la sélection des variables n'est pas nécessairement cohérent dans l'estimation des paramètres. Voir le papier lasso adaptatif pour les définitions mathématiques ou simplement voir ces diapositives .

TPArrow
la source

Dans l'article adaLASSO (lié dans mon commentaire), ils disent que le taux de convergence doit également être optimal (extra à une estimation cohérente). C'est un concept important et un peu difficile. Pouvez-vous développer sur ce sujet?

Richard Hardy

\sqrt{n}

$\sqrt{n}$

n

$n$

Suggérez-vous donc de supprimer l'exigence d'un taux optimal dans la définition de la propriété oracle?

Richard Hardy

Dans les définitions générales, je ne vois aucune obligation de mentionner la vitesse. Mais en théorie, nous devons évidemment connaître / déterminer la vitesse optimale.

TPArrow

Merci. Je reprends cela parce que nous parlons d'une définition ici, alors j'essaie d'être précis.

Richard Hardy