Comment répartir de manière optimale les tirages lors du calcul de plusieurs attentes

Supposons que nous voulons calculer une certaine attente:

$$E_YE_{X|Y}[f(X,Y)]$$

Supposons que nous voulions l'approcher en utilisant la simulation de Monte Carlo.

$$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$$

Mais supposons qu'il est coûteux de prélever des échantillons des deux distributions, de sorte que nous ne pouvons nous permettre de tirer un nombre fixe . $K$

Comment devrions-nous allouer ? Les exemples incluent dessine à chaque distribution, ou à l'extrême, un tirage à l'extérieur et dessine à l'intérieur, vice versa etc .....K / 2 K - $K$$K/2$$K-1$

Mon intuition me dit que cela aura à voir avec la variance / entropie des distributions les unes par rapport aux autres. Supposons que l'une externe est un point de masse, puis la division de qui minimise l' erreur MC serait dessiner une de l' et dessiner du . Y K - 1 X | $K$$Y$$K-1$$X|Y$

J'espère que c'était clair.

C'est une question très intéressante avec peu de documentation dans la littérature de Monte Carlo, sauf en rapport avec la stratification et la Rao-Blackwellisation . Cela est peut-être dû au fait que les calculs de la variance conditionnelle attendue et de la variance de l'espérance conditionnelle sont rarement réalisables.

Supposons d'abord que vous exécutez des simulations partir de π X , x 1 , … , x R et que pour chaque x r simulé , vous exécutez des simulations S à partir de π Y | X = x r , y 1 r , … , y s r . Votre estimation de Monte Carlo est alors δ ( R , S ) = $R$$\pi_X$$x_1,\ldots,x_R$$x_r$$S$$\pi_{Y|X=x_r}$$y_{1r},\ldots,y_{sr}$ La variance de cette estimation se décompose comme suit var { δ ( R , S )

$$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$$ conséquentsion veut minimiser cet écart le choix optimal estR=K. Cela implique queS=1. Sauf lorsque le premier terme de variance est nul, auquel cas cela n'a pas d'importance. Cependant, comme discuté dans les commentaires, l'hypothèseK=RSest irréaliste car elle ne tient pas compte de la production d'unxr[ou suppose que cela vient gratuitement]. $$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$$ $R=K$$S=1$$K=RS$$x_r$

Maintenant , supposons différents coûts de simulation et la contrainte budgétaire , ce qui signifie que les y r s « coût s une fois de plus pour simuler que le x r » s. La décomposition ci-dessus de la variance est alors $R+aRS=b$$y_{rs}$$a$$x_r$ qui peut être minimisé dansRcomme R∗=b/1+{aEX[varY| X{f(xr,Y)| x

$$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$$ $R$ [le nombre entierplus proche sous les contraintes R ≥ 1 et S ≥ 1 ], sauf lorsque la première variance est égale à zéro, auquel cas R = 1 . Lorsque E X [ var Y | X { f ( x r $$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$$ $R\ge 1$$S\ge 1$$R=1$ , la variance minimale correspond à un maximum R , ce qui conduit à S = 1 dans le formalisme actuel.$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$$R$$S=1$

Notez également que cette solution doit être comparée à la solution symétrique lorsque l'intégrale interne est dans étant donné Y et l'intégrale externe est contre la marginale dans Y (en supposant que les simulations sont également réalisables dans cet ordre).$X$$Y$$Y$

$S(x_r)$$x_r$$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$