Estimateur impartial de l'exponentielle de mesure d'un ensemble?

Supposons que nous ayons un ensemble (mesurable et convenablement bien comporté) $S\subseteq B\subset\mathbb R^n$ , où $B$ est compact. De plus, supposons que nous puissions tirer des échantillons de la distribution uniforme sur $B$ rapport à la mesure de Lebesgue $\lambda(\cdot)$ et que nous connaissons la mesure $\lambda(B)$ . Par exemple, peut - être $B$ est une boîte $[-c,c]^n$ contenant $S$ .

Pour $\alpha\in\mathbb R$ fixe , existe-t-il un moyen simple non biaisé d'estimer $e^{-\alpha \lambda(S)}$ en échantillonnant uniformément les points dans $B$ et en vérifiant s'ils sont à l'intérieur ou à l'extérieur de $S$ ?

Comme exemple de quelque chose qui ne fonctionne pas tout à fait, supposons que nous échantillonnons $k$ points $p_1,\ldots,p_k\sim\textrm{Uniform}(B)$ . Ensuite , nous pouvons utiliser l'estimation Monte Carlo

λ (S) \approx \hat{λ} := \frac{# {p_{i} \in S}}{k} λ (B) .

$\lambda(S)\approx \hat\lambda:= \frac{\#\{p_i\in S\}}{k}\lambda(B).$ Mais, alors que

est un estimateur sans biais de

, je ne pense pas que ce soit le cas que

est un estimateur sans biais de

. Existe-t-il un moyen de modifier cet algorithme?

\hat{λ}

$\hat\lambda$

λ (S)

$\lambda(S)$

e^{- α \hat{λ}}

$e^{-\alpha\hat\lambda}$

e^{- α λ (S)}

$e^{-\alpha\lambda(S)}$

probability monte-carlo unbiased-estimator measure-theory Justin Solomon
la source

Réponses:

Supposons que vous disposez des ressources suivantes:

Vous avez accès à un estimateur . $\hat{\lambda}$
$\hat{\lambda}$ est biaisé pour $\lambda ( S )$ .
$\hat{\lambda}$ est limitée presque sûrementdessus par $C$ .
Vous connaissez la constante $C$ , et
Vous pouvez former des réalisations indépendantes de autant de fois que vous le souhaitez. $\hat{\lambda}$

Maintenant, notez que pour tout $u > 0$ , ce qui suit tient (par l'expansion de Taylor de $\exp x$ ):

\begin{aligned} e^{- α λ (S)} & = e^{- α C} \cdot e^{α (C - λ (S))} \\ = e^{- α C} \cdot \sum_{k ⩾ 0} \frac{{(α [C - λ (S)])}^{k}}{k!} \\ = e^{- α C} \cdot e^{u} \cdot \sum_{k ⩾ 0} \frac{e^{- u} \cdot {(α [C - λ (S)])}^{k}}{k!} \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} \frac{u^{k} e^{- u}}{k!} {(\frac{α [C - λ (S)]}{u})}^{k} \end{aligned}

$\begin{align} e^{-\alpha \lambda ( S ) } &= e^{-\alpha C} \cdot e^{\alpha \left( C - \lambda ( S ) \right)} \\ &= e^{- \alpha C} \cdot \sum_{k \geqslant 0} \frac{ \left( \alpha \left[ C - \lambda ( S ) \right] \right)^k}{ k! } \\ &= e^{- \alpha C} \cdot e^u \cdot \sum_{k \geqslant 0} \frac{ e^{-u} \cdot \left( \alpha \left[ C - \lambda ( S ) \right] \right)^k}{ k! } \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \frac{ u^k e^{-u} }{ k! } \left(\frac{ \alpha \left[ C - \lambda ( S ) \right]}{u} \right)^k \end{align}$

Maintenant, procédez comme suit:

Exemple . $K \sim \text{Poisson} ( u )$
Forme comme estimateurs sans biais iid de . $\hat{\lambda}_1, \cdots, \hat{\lambda}_K$ $\lambda(S)$
Renvoyer l'estimateur

\hat{Λ} = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \cdot \prod_{i = 1}^{K} {C - {\hat{λ}}_{i}} .

$\hat{\Lambda} = e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \cdot \prod_{i = 1}^K \left\{ C - \hat{\lambda}_i \right\}.$

$\hat{\Lambda}$ est alors un estimateur non négatif et non biaisé de . Ceci est dû au fait $\lambda(S)$

\begin{aligned} E [\hat{Λ} | K] & = e^{u - α C} \cdot {(\frac{α}{u})}^{K} E [\prod_{i = 1}^{K} {C - {\hat{λ}}_{i}} | K] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \prod_{i = 1}^{K} E [C - {\hat{λ}}_{i}] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \prod_{i = 1}^{K} [C - λ (S)] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K} \end{aligned}

$\begin{align} \mathbf{E} \left[ \hat{\Lambda} | K \right] &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \mathbf{E} \left[ \prod_{i = 1}^K \left\{ C - \hat{\lambda}_i \right\} | K \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \prod_{i = 1}^K \mathbf{E} \left[ C - \hat{\lambda}_i \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \prod_{i = 1}^K \left[ C - \lambda ( S ) \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \end{align}$

Et ainsi

\begin{aligned} E [\hat{Λ}] & = E_{K} [E [\hat{Λ} | K]] \\ = E_{K} [e^{u - α C} \cdot {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K}] \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} P (K = k) {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K} \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} \frac{u^{k} e^{- u}}{k!} {(\frac{α [C - λ (S)]}{u})}^{k} \\ = e^{- α λ (S)} \end{aligned}

$\begin{align} \mathbf{E} \left[ \hat{\Lambda} \right] &= \mathbf{E}_K \left[ \mathbf{E} \left[ \hat{\Lambda} | K \right] \right] \\ &= \mathbf{E}_K \left[ e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \right] \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \mathbf{P} ( K = k ) \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \frac{ u^k e^{-u} }{ k! } \left(\frac{ \alpha \left[ C - \lambda ( S ) \right]}{u} \right)^k \\ &= e^{-\alpha \lambda ( S ) } \end{align}$

par le calcul précédent.

πr8
la source

Intéressant! L'estimateur de décrit dans la question ne fonctionne-t-il pas ici, car il est délimité ci-dessus par ? De plus, comment se fait-il que cela ne contredit pas la réponse de @whuber ci-dessous? Y a-t-il un argument simple pour expliquer pourquoi cela est impartial? Désolé pour de nombreuses questions, ma théorie des probabilités est faible :-)

\hat{λ}

$\hat\lambda$

λ (B) < \infty

$\lambda(B)<\infty$

Justin Solomon

L'estimateur que vous décrivez fonctionne, puisque vous connaissez . Je pense que cela ne contredit pas l'autre réponse en raison de l'hypothèse ; étant donné l'accès limité à des estimateurs non biaisés, je ne pense pas que cette construction fonctionnerait. L'impartialité vient en comparant l'attente de à la série de puissances ci-dessus; Je vais clarifier cela dans la réponse.

λ (B)

$\lambda (B)$

5

$5$

\hat{Λ}

$\hat{\Lambda}$

πr8

Êtes-vous sûr de pouvoir échanger le produit et les attentes dans la deuxième ligne de la preuve d'impartialité?

jbowman

On dirait que c'est ok parce qu'ils sont calculés iid, non?

Justin Solomon

+1 Je pense que c'est un exemple intéressant et instructif. Il réussit en ne faisant pas d'hypothèse implicite à ma réponse: que la taille de l'échantillon est soit spécifiée, soit au moins limitée.

whuber

La réponse est négative.

Une statistique suffisante pour un échantillon uniforme est le compte des points observés se situant dans Ce compte a une distribution binomiale . Écrivez et $X$ $S.$ $(n,\lambda(S)/\lambda(B))$ $p=\lambda(S)/\lambda(B)$ $\alpha^\prime = \alpha\lambda(B).$

Pour un échantillon de soit tout estimateur (non randomisé) de L'attente est $n,$ $t_n$ $\exp(-\alpha \lambda(S)) = \exp(-(\alpha\lambda(B)) p) = \exp(-\alpha^\prime p).$

E [t_{n} (X)] = \sum_{x = 0}^{n} (\binom{n}{x}) p^{x} (1 - p)^{n - x} t_{n} (x),

$E[t_n(X)] = \sum_{x=0}^n \binom{n}{x}p^x (1-p)^{n-x}\, t_n(x),$

ce qui équivaut à un polynôme de degré au plus en Mais si l'exponentielle ne peut pas être exprimée comme un polynôme en (Une preuve: prendre dérivées. Le résultat de l'espérance sera nul mais la dérivée de l'exponentielle, qui est elle-même une exponentielle en ne peut pas être nulle.) $n$ $p.$ $\alpha^\prime p \ne 0,$ $\exp(-\alpha^\prime p)$ $p.$ $n+1$ $p,$

La démonstration pour les estimateurs randomisés est à peu près la même: en prenant les attentes, on obtient à nouveau un polynôme en $p.$

Par conséquent, aucun estimateur non biaisé n'existe.

whuber
la source

Ah, c'est un point négatif! Merci pour la belle preuve. Mais, la série de Taylor pour converge assez rapidement --- peut-être existe-t-il un estimateur "approximativement sans biais"? Je ne sais pas ce que cela signifie (je ne suis pas un statisticien :-))

\exp (t)

$\exp(t)$

Justin Solomon

À quelle vitesse, exactement? La réponse dépend de la valeur de - et c'est là que réside votre problème, car vous ne savez pas quelle est cette valeur. Vous savez seulement qu'il se situe entre et Vous pouvez l'utiliser pour établir une limite sur le biais si vous le souhaitez.

α^{'} p

$\alpha^\prime p$

0

$0$

α .

$\alpha.$

whuber

Dans ma demande , je pense d'occuper une grande partie de . J'aimerais utiliser cette valeur dans un rapport d'acceptation pseudo-marginal Metropolis-Hastings, je ne sais pas si cette méthode peut gérer même des niveaux de biais contrôlables ...

S

$S$

B

$B$

Justin Solomon

BTW J'apprécierais vraiment vos pensées sur l'autre réponse à cette question!

Justin Solomon