Qu'est-ce que l'échantillonnage d'importance?

J'essaie d'apprendre l'apprentissage par renforcement et ce sujet me dérange vraiment. J'ai fait une introduction aux statistiques, mais je ne pouvais tout simplement pas comprendre ce sujet de manière intuitive.

L'échantillonnage d'importance est une forme d'échantillonnage à partir d'une distribution différente de la distribution d'intérêt afin d'obtenir plus facilement de meilleures estimations d'un paramètre à partir de la distribution d'intérêt. Généralement, cela fournira des estimations du paramètre avec une variance inférieure à celle qui serait obtenue en échantillonnant directement à partir de la distribution d'origine avec la même taille d'échantillon.

Il est appliqué dans différents contextes. En général, l'échantillonnage à partir de la distribution différente permet de prélever plus d'échantillons dans une partie de la distribution d'intérêt dictée par l'application (région importante).

Un exemple pourrait être que vous voulez avoir un échantillon qui comprend plus d'échantillons des queues de la distribution que ne le fournirait un échantillonnage aléatoire pur de la distribution d'intérêt.

L' article wikipedia que j'ai vu à ce sujet est trop abstrait. Il est préférable de regarder divers exemples spécifiques. Cependant, il inclut des liens vers des applications intéressantes telles que les réseaux bayésiens.

Un exemple d'échantillonnage d'importance dans les années 40 et 50 est une technique de réduction de la variance (une forme de la méthode de Monte Carlo). Voir par exemple le livre Monte Carlo Methods de Hammersley and Handscomb publié en tant que Methuen Monograph / Chapman and Hall en 1964 et réimprimé en 1966 et plus tard par d'autres éditeurs. La section 5.4 du livre couvre l' échantillonnage d'importance.

L'échantillonnage d'importance est une méthode de simulation ou Monte Carlo destinée à l'approximation des intégrales. Le terme «échantillonnage» est quelque peu déroutant dans la mesure où il n'a pas l'intention de fournir des échantillons d'une distribution donnée.

L'intuition derrière l' échantillonnage d'importance est qu'une intégrale bien définie, comme peut être exprimé comme une attente pour une large gamme de distributions de probabilité: I = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ où f désigne la densité d'une distribution de probabilité et H est déterminé par h et f . (Notez que H ( ⋅ ) est généralement différent de h ( ⋅ ) .)En effet, le choix H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ conduit aux égalitésH(x)f(x)=h(x)etI=Ef[H(X)]-sous certaines restrictions sur le support def, ce qui signifief(x)>0lorsqueh(x)≠0 $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$$f$$f(x)>0$$h(x)\ne 0$$-$. Ainsi, comme le souligne W. Huber dans son commentaire, il n'y a pas d'unicité dans la représentation d'une intégrale comme attente, mais au contraire un tableau infini de telles représentations, dont certaines sont meilleures que d'autres une fois un critère de comparaison est adopté. Par exemple, Michael Chernick mentionne avoir choisi pour réduire la variance de l'estimateur.$f$

Une fois cette propriété élémentaire comprise, l'implémentation de l'idée est de s'appuyer sur la loi des grands nombres comme dans les autres méthodes de Monte Carlo, c'est-à-dire simuler [via un générateur pseudo-aléatoire] un échantillon iid distribués à partir de f et à utiliser l'approximation I = $(x_1,\ldots,x_n)$$f$qui

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. est un estimateur non biaisé de $\mathfrak{I}$
2. converge presque sûrement vers $\mathfrak{I}$

Selon le choix de la distribution , l'estimateur ci - dessus , je peut ou non avoir une variance finie. Cependant, il existe toujours des choix de f qui permettent une variance finie et même une variance arbitrairement petite (bien que ces choix puissent ne pas être disponibles dans la pratique). Et il existe aussi des choix de f qui rendent l'échantillonnage d'importance estimateur I une approximation très pauvre de moi . Cela inclut tous les choix où la variance devient infinie, même si un article récent de Chatterjee et Diaconis étudie comment comparer les échantillonneurs d'importance à la variance infinie. L'image ci-dessous est tirée de$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$mon blog discussion de l'article et illustre la mauvaise convergence des estimateurs de variance infinie.

Échantillonnage d'importance avec distribution d'importance une distribution Exp (1) distribution cible une distribution Exp (1/10), et fonction d'intérêt . La vraie valeur de l'intégrale est 10 .$h(x)=x$$10$

[Ce qui suit est reproduit de notre livre Monte Carlo Statistical Methods .]

L'exemple suivant de Ripley (1987) montre pourquoi il peut être avantageux de générer à partir d'une distribution autre que la distribution (d'origine) apparaissant dans l'intégrale ∫ X h ( x ) f ( x $f$ d'intérêt ou, en d'autres termes, de modifier la représentation d'une intégrale en tant qu'attente par rapport à une densité donnée.

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

Exemple (probabilité de queue de Cauchy) Supposons que la quantité d'intérêt est la probabilité, , qu'une variable de Cauchy C ( 0 , 1 ) soit supérieure à 2 , c'est-à-dire p = ∫ + ∞$p$${\mathcal{C}}(0,1)$$2$ Lorsque p est évaluée par la moyenne empirique p 1 =

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ d'un échantillon iid X 1 ,…, X m $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ , la variance de cet estimateur est p ( 1 - p ) / m (égal à 0,127 / m puisque p = 0,15 ).$\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

Cet écart peut être réduit en tenant compte de la nature symétrique de , puisque la moyenne p 2 = ${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ $h(X) = 2/\pi(1 + X^2)$$X \sim {\mathcal{U}}_{[0, 2]}$$p$ $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ $U_j \sim {\mathcal{U}}_{[0,2]}$${\hat{p}}_3$$(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$$0.0285/m$$p$ $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$$[0,1/2]$$p$ $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ $Y_j \sim {\mathcal{U}}_{[0,1/2]}$${\hat{p}}_{4}$$0.95 \; 10^{-4}/m$

${\hat{p}}_1$${\hat p}_4$$10^{-3}$$\sqrt{1000} \approx 32$$\hat p_1$$\blacktriangleright$