L'estimateur de Bayes est immunisé contre le biais de sélection

Les estimateurs bayésiens sont-ils à l'abri du biais de sélection?

La plupart des articles qui traitent de l'estimation en haute dimension, par exemple, les données de séquence du génome entier, soulèvent souvent la question du biais de sélection. Le biais de sélection provient du fait que, bien que nous ayons des milliers de prédicteurs potentiels, seuls quelques-uns seront sélectionnés et une inférence sera faite sur quelques-uns sélectionnés. Le processus se déroule donc en deux étapes: (1) sélectionner un sous-ensemble de prédicteurs (2) effectuer une inférence sur les ensembles sélectionnés, par exemple, estimer les rapports de cotes. Dans son article paradoxal de 1994, Dawid s'est concentré sur les estimateurs sans biais et les estimateurs de Bayes. Il simplifie le problème en sélectionnant le plus grand effet, qui pourrait être un effet de traitement. Il ajoute ensuite que les estimateurs non biaisés sont affectés par le biais de sélection. Il a utilisé l'exemple: supposons puis chacun

Z_{je} \sim N (δ_{je}, 1), je = 1, \dots, N

$Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N$

Z_{i}

$Z_i$ est sans biais pour

δ_{i}

$\delta_i$ . Soit

Z = (Z_{1}, Z_{2}, \dots, Z_{N})^{T}

$\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^T$ , l'estimateur

γ_{1} (Z) = max {Z_{1}, Z_{2}, \dots, Z_{N}}

$\gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\}$ est cependant biaisé ( positivement) pour

max {δ_{1}, δ_{2}, \dots, δ_{N}}

$\max\{\delta_1,\delta_2,\ldots,\delta_N\}$ . Cette affirmation peut être facilement prouvée par l'inégalité de Jensen. Par conséquent, si nous connaissions

i_{max}

$i_{\max}$ , l'indice du plus grand

δ_{i}

$\delta_i$ , nous utiliserons simplement

Z_{i_{max}}

$Z_{i_{\max}}$ comme estimateur qui est sans biais. Mais parce que nous ne le savons pas, nous utilisons à la place

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$ qui devient biaisé (positivement).

Mais la déclaration inquiétante de Dawid, Efron et d'autres auteurs est que les estimateurs de Bayes sont immunisés contre les biais de sélection. Si je vais maintenant mettre en avant , disons , Alors l'estimateur de Bayes de est donné par où , avec le gaussien standard. $\delta_i$ $\delta_i\sim g(.)$ $\delta_i$

E {δ_{je} ∣ Z_{je}} = z_{je} + \frac{ré}{ré z_{je}} m (z_{je})

$\text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i)$

m (z_{i}) = \int φ (z_{i} - δ_{i}) g (δ_{i}) d δ_{i}

$m(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_i$

φ (.)

$\varphi(.)$

Si nous définissons le nouvel estimateur de comme tout ce que sélectionne pour estimer avec , sera le même si la sélection était basée sur . Ceci suit parce que est monotone dans . Nous savons aussi que shrinkes vers zéro avec le terme, $\delta_{i_{\max}}$

γ_{2} (Z) = max {E {δ_{1} ∣ Z_{1}}, E {δ_{2} ∣ Z_{2}}, \dots, E {δ_{N} ∣ Z_{N}}},

$\gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\},$

i

$i$

δ_{i_{max}}

$\delta_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

i

$i$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

Z_{i}

$Z_i$

E {δ_{i} ∣ Z_{i}}

$\text{E}\{\delta_i\mid Z_i\}$

Z_{i}

$Z_i$

\frac{d}{d z_{i}} m (z_{i})

$\frac{d}{dz_i}m(z_i)$ ce qui réduit une partie du biais positif dans . Mais comment conclure que les estimateurs de Bayes sont immunisés contre le biais de sélection. Je ne comprends vraiment pas.

Z_{i}

$Z_i$

bayesian feature-selection bias unbiased-estimator conjugate-prior Chamberlain Foncha
la source

Étant donné que vous référez une revendication dans un document, pouvez-vous s'il vous plaît donner une situation complète et une référence de page, afin que nous puissions lire le contexte complet de cette revendication.

Ben - Réintègre Monica

La définition d'un estimateur comme étant le maximum d'estimateurs Bayes est-elle toujours un estimateur Bayes?

Xi'an

Exemple 1 dans l'article.

Chamberlain Foncha

Réponses:

Comme décrit ci-dessus, le problème tient au fait de tirer une inférence sur l'indice et la valeur, (i⁰, μ⁰), de la plus grande moyenne d'un échantillon de RV normaux. Ce que je trouve surprenant dans la présentation de Dawid, c'est que l'analyse bayésienne ne sonne pas tellement bayésienne. Si on donne l'échantillon entier, une approche bayésienne devrait produire une distribution postérieure sur (i⁰, μ⁰), plutôt que de suivre des étapes d'estimation, de l'estimation de i⁰ à l'estimation de la moyenne associée. Et si nécessaire, les estimateurs devraient provenir de la définition d'une fonction de perte particulière. Lorsque, au lieu de cela, étant donné le point le plus grand de l'échantillon, et seulement ce point, sa distribution change, je suis donc assez perplexe par l'affirmation qu'aucun ajustement n'est nécessaire.

La modélisation antérieure est également assez surprenante dans la mesure où les a priori sur les moyennes devraient être conjoints plutôt que le produit de normales indépendantes, puisque ces moyennes sont comparées et donc comparables. Par exemple, un a priori hiérarchique semble plus approprié, l'emplacement et l'échelle devant être estimés à partir de l'ensemble des données. Créer un lien entre les moyens ... Une objection pertinente à l'utilisation de prieurs impropres indépendants est que la moyenne maximale μ⁰ n'a alors pas de mesure bien définie. Cependant, je ne pense pas qu'une critique de certains prieurs contre d'autres soit une attaque pertinente contre ce "paradoxe".

Xi'an
la source

Il me semble que toute la protection nécessaire doit être codée dans le préalable qui relie tous les moyens inconnus. Si le prieur fait de grandes différences entre les moyens très peu probables, cela se reflétera dans le postérieur le rendant parfait.

Frank Harrell

@ Xi'an pouvez-vous donner un exemple de la façon dont vous placerez un prior sur ?

(i, μ)

$(i,\mu)$

Chamberlain Foncha

@Frank Harrel, considérons par exemple et . L'estimateur sans biais de est . L'estimateur bayésien de est . Si est le plus grand il en est de même pour , car l'estimateur de Bayes est monotone dans . Peu importe à quel point le prieur est informatif, cela ne changera pas. Cependant, réduit les Bayes positifs dans . Mais si le mauvais été choisi, l'estimateur de Bayes ne peut pas corriger cela.

δ_{i} \sim N (a, 1)

$\delta_i \sim N(a,1)$

Z_{i} \sim N (δ_{i}, 1)

$Z_i\sim N(\delta_i,1)$

δ_{i}

$\delta_i$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

E (δ_{i} | Z_{i})

$E(\delta_i|Z_i)$

Z_{i^{0}}

$Z_{i^0}$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i^{0}}

$Z_{i^0}$

i^{0}

$i^0$

Chamberlain Foncha

@ChamberlainFoncha: L'estimateur de Bayes n'est lorsque les sont a priori indépendants. Un a priori conjoint sur et les les rend réellement dépendants.

E [δ_{i} | Z_{i}]

$\mathbb{E}[\delta_i|Z_i]$

δ_{i}

$\delta_i$

i

$i$

μ_{i}

$\mu_i$

Xi'an

Et tout a priori est acceptable d'un point de vue bayésien, par exemple une distribution uniforme sur l'index et un a priori hiérarchique sur les .

μ_{i}

$\mu_i$

Xi'an

Même si c'est un peu contre-intuitif, l'énoncé est correct. Supposons que pour cette expérience, alors la partie postérieure de est vraiment . Ce fait contre-intuitif est un peu similaire au fait que Bayes est immunisé contre un arrêt précoce (secret) (qui est également très contre-intuitif). $i^*=5$ $\mu_5$ $N(x_5,\sigma^2)$

Le raisonnement bayésien conduirait à de fausses conclusions si pour chacune de ces expériences (imaginez que vous le répétiez plusieurs fois), seuls les résultats pour la meilleure variété seraient conservés. Il y aurait sélection des données et les méthodes bayésiennes ne sont clairement pas à l'abri de la sélection (secrète) des données. En fait, aucune méthode statistique n'est à l'abri de la sélection des données.

Si une telle sélection était effectuée, un raisonnement bayésien complet tenant compte de cette sélection corrigerait facilement l'illusion.

Cependant, la phrase "L'estimateur bayesien est immunisé contre le biais de sélection" est un peu dangereux. Il est facile d'imaginer des situations où "sélection" signifie autre chose, comme par exemple la sélection de variables explicatives ou la sélection de données. Bayes n'est pas clairement immunisé contre cela.

Benoit Sanchez
la source