Simuler à partir de l'estimation de la densité du noyau (PDF empirique)

J'ai un vecteur Xd' N=900observations qui est mieux modélisé par un estimateur de densité de bande passante globale (les modèles paramétriques, y compris les modèles de mélange dynamique, se sont avérés ne pas être de bons ajustements):

Maintenant, je veux simuler à partir de ce KDE. Je sais que cela peut être réalisé par bootstrap.

Dans R, tout se résume à cette simple ligne de code (qui est presque un pseudo-code): x.sim = mean(X) + { sample(X, replace = TRUE) - mean(X) + bw * rnorm(N) } / sqrt{ 1 + bw^2 * varkern/var(X) }où le bootstrap lissé avec correction de variance est implémenté et varkernest la variance de la fonction de noyau sélectionnée (par exemple, 1 pour un noyau gaussien ).

Ce que nous obtenons avec 500 répétitions est le suivant:

Cela fonctionne, mais j'ai du mal à comprendre comment mélanger les observations (avec un peu de bruit supplémentaire) est la même chose que simuler à partir d'une distribution de probabilité? (la distribution étant ici le KDE), comme avec le Monte Carlo standard. De plus, l'amorçage est-il le seul moyen de simuler à partir d'un KDE?

EDIT: veuillez consulter ma réponse ci-dessous pour plus d'informations sur le bootstrap lissé avec correction de variance.

Voici un algorithme pour échantillonner à partir d'un mélange arbitraire $f(x) = \frac1N \sum_{i=1}^N f_i(x)$:

• Choisissez un composant de mélange $i$ uniformément au hasard.
• Échantillon de $f_i$.

Il doit être clair que cela produit un échantillon exact.

Une estimation de la densité du noyau gaussien est un mélange $\frac1N \sum_{i=1}^N \mathcal{N}(x; x_i, h^2)$. Vous pouvez donc prendre un échantillon de taille$N$ en choisissant un tas de $x_i$s et en ajoutant un bruit normal avec une moyenne et une variance nulles $h^2$ à elle.

Votre extrait de code sélectionne un groupe de $x_i$s, mais il fait quelque chose de légèrement différent:

• en changeant $x_i$ à $\hat\mu + \frac{x_i - \hat\mu}{\sqrt{1 + h^2 / \hat\sigma^2}}$
• ajout de bruit normal à moyenne nulle avec variance $\frac{h^2}{1 + h^2/\hat\sigma^2} = \frac{1}{\frac{1}{h^2} + \frac{1}{\hat\sigma^2}}$, la moyenne harmonique de $h^2$ et $\sigma^2$.

Nous pouvons voir que la valeur attendue d'un échantillon selon cette procédure est

Je ne pense pas que la distribution d'échantillonnage soit la même, cependant.

Pour éliminer toute confusion quant à savoir s'il est possible ou non de tirer des valeurs de KDE en utilisant une approche bootstrap, il est possible . Le bootstrap ne se limite pas à estimer les intervalles de variabilité.

Ci-dessous, un bootstrap lissé avec algorithme de correction de variance qui génère des valeurs synthétiques$Y_{i}'s$ d'un KDE $K$ de fenêtre $h$. Il provient de cet ouvrage de Silverman, voir page 25 de ce document , section 6.4.1 "Simulation à partir d'estimations de densité". Comme indiqué dans le livre, cet algorithme permet de trouver des réalisations indépendantes à partir d'un KDE$\hat{y}$, sans exiger de savoir $\hat{y}$ explicitement:

Pour générer une valeur synthétique $Y$ (à partir d'un ensemble de formation $\big\{X_{1},...X_{n}\big\}$):

• Étape 1: choisissez $i$ uniformément avec remplacement de $\big\{1,...,n\big\}$,
• Étape 2: échantillon $\epsilon$ de $K$ (c.-à-d. de la distribution normale si $K$ est gaussien),
• Étape 3: définir $Y=\bar{X}+(X_{i}-\bar{X}+h.\epsilon)/\sqrt{1+h^{2}{\sigma_{K}}^2/{\sigma_{X}}^2}$.

Où $\bar{X}$ et ${\sigma_{X}}^2$ sont la moyenne et la variance de l'échantillon, et ${\sigma_{K}}^2$ est la variance de $K$ (c.-à-d. 1 pour un gaussien $K$). Comme expliqué par Dougal, la valeur attendue des réalisations est$\bar{X}$. Grâce à la correction de variance, la variance est${\sigma_{X}}^2$ (d'autre part, le bootstrap lissé sans correction de variance, où l'étape 3 est simplement $Y=X_{i}+h.\epsilon$, gonfle la variance).

L'extrait de code R dans ma question ci-dessus suit strictement cet algorithme.

Les avantages du bootstrap lissé par rapport au bootstrap sont:

• les "caractéristiques parasites" dans les données ne sont pas reproduites car des valeurs différentes de celles de l'échantillon peuvent être générées,
• des valeurs au-delà du max / min des observations peuvent être générées.