Inférence bayésienne sur une somme de variables aléatoires à valeur réelle iid

Soit , , ..., iid RV avec une plage mais une distribution inconnue. (Je suis d'accord avec l'hypothèse que la distribution est continue, etc., si nécessaire.) $X_1$ $X_2$ $X_n$ $[0,1]$

Définissez . $S_n = X_1 + \cdots + X_n$

On me donne et je demande: que puis-je déduire, de manière bayésienne, à propos de ? $S_k$ $S_n$

Autrement dit, on me donne la somme d'un échantillon de taille des VR, et je voudrais savoir ce que je peux déduire de la distribution de la somme de tous les RV, en utilisant une approche bayésienne (et en supposant des a priori raisonnables sur le Distribution). $k$

Si le support était au lieu de , alors ce problème est bien étudié, et (avec des a priori uniformes) vous obtenez des distributions composées bêta-binomiales pour la distribution inférée sur . Mais je ne sais pas comment l'aborder avec comme plage ... $\{0,1\}$ $[0,1]$ $S_n$ $[0,1]$

Divulgation complète : J'ai déjà posté cela sur MathOverflow , mais on m'a dit qu'il serait mieux de le publier ici, c'est donc une re-publication.

bayesian inference Ronald L Rivest
la source

J'étais sur le point de vous écrire un commentaire sur MO, mais je vais l'écrire ici à la place. Si vous pensez que la question est mieux adaptée à ce forum, vous pouvez la signaler sur MO et demander à la fermer.

Cardinal

J'aimerais avoir des éclaircissements sur votre dernière déclaration. Si la plage est alors toute distribution qui met une masse sur des valeurs qui ne sont pas dans pour la distribution de semble idiote, donc je me demande si je ' ai bien compris votre objectif. (Peut-être qu'une référence serait utile.)

{0, 1}

$\{0,1\}$

{0, 1, \dots, n}

$\{0,1,\ldots,n\}$

S_{k}

$S_k$

Cardinal

Qu'est-ce que j'ai mal compris?

Cardinal

Êtes-vous intéressé par la non paramétrique bayésienne? Si vous ne voulez pas faire d'hypothèses sur la distribution des , vous avez besoin d'un cadre non paramétrique. Mais alors, étant donné que vous ne pouvez pas en dire beaucoup ...

X_{k}

$X_k$

S_{k}

$S_k$

Xi'an

Ce sont de bonnes remarques; désolé que le problème soit un peu confus. Je pensais que n est très grand par rapport à , et que le postérieur sur refléterait directement le postérieur sur les paramètres. Peut-être qu'au lieu de j'aurais dû utiliser , et demandé le postérieur sur que va à l'infini. Est-ce que cela a du sens maintenant?

k

$k$

S_{n}

$S_n$

S_{n}

$S_n$

S_{n}^{'} = S_{n} / n

$S'_n = S_n/n$

lim S_{n}^{'}

$\lim S'_n$

n

$n$

Ronald L Rivest

Réponses:

Considérons l'analyse non paramétrique bayésienne suivante.

Définissez et laissez être les sous-ensembles Borel de . Soit une mesure finie non nulle sur . $\mathscr{X}=[0,1]$ $\mathscr{B}$ $\mathscr{X}$ $\alpha$ $(\mathscr{X},\mathscr{B})$

Soit un processus de Dirichlet avec le paramètre , et supposons que sont conditionnellement iid, étant donné que , tel que , pour chaque . $Q$ $\alpha$ $X_1,\dots,X_n$ $Q=q$ $\mu_{X_1}(B)=P\{X_1\in B\} = q(B)$ $B\in\mathscr{B}$

D'après les propriétés du processus de Dirichlet, nous savons que, étant donné , la distribution prédictive d'une observation future comme est la mesure over défini par $X_1,\dots,X_k$ $X_{k+1}$ $\beta$ $(\mathscr{X},\mathscr{B})$

β (B) = \frac{1}{α (X) + k} (α (B) + \sum_{i = 1}^{k} I_{B} (X_{i})) .

$\beta(B) = \frac{1}{\alpha(\mathscr{X})+k} \left( \alpha(B) + \sum_{i=1}^k I_B(X_i)\right) \, .$

Maintenant, définissez comme le champ sigma généré par , et utilisez la mesurabilité et la symétrie des pour obtenir presque sûrement. $\mathscr{F}_k$ $X_1,\dots,X_k$ $X_i$

E [S_{n} ∣ F_{k}] = S_{k} + E [\sum_{i = k + 1}^{n} X_{i} | F_{k}] = S_{k} + (n - k) E [X_{k + 1} ∣ F_{k}],

$E\left[ S_n \mid \mathscr{F}_k \right] = S_k + E\left[ \sum_{i=k+1}^n X_i \,\Bigg\vert\, \mathscr{F}_k \right] = S_k + (n-k) E\left[ X_{k+1} \mid \mathscr{F}_k \right] \, ,$

Pour trouver une réponse explicite, supposons que soit . En définissant , nous avons presque sûrement (la distribution conjointe de ), où . Dans la limite "non informative" de , l'ancienne attente se réduit à , ce qui signifie que, dans ce cas, votre estimation postérieure pour est juste fois la moyenne du premier $\alpha(\cdot)/\alpha(\mathscr{X})$ $U[0,1]$ $c=\alpha(\mathscr{X})>0$

E [S_{n} ∣ X_{1} = x_{1}, \dots, X_{k} = x_{k}] = s_{k} + \frac{n - k}{c + k} (\frac{c}{2} + s_{k}),

$E\left[ S_n \mid X_1=x_1,\dots,X_k=x_k \right] = s_k + \frac{n-k}{c+k}\left(\frac{c}{2}+s_k\right) \, ,$

[μ_{X_{1}, \dots, X_{k}}]

$[\mu_{X_1,\dots,X_k}]$

X_{1}, \dots, X_{k}

$X_1,\dots,X_k$

s_{k} = x_{1} + \dots + x_{k}

$s_k=x_1+\dots+x_k$

c \to 0

$c\to 0$

n \cdot (s_{k} / k)

$n\cdot (s_k/k)$

S_{n}

$S_n$

n

$n$

k

$k$ observations, qui semble aussi intuitive que possible.

Zen
la source

Est-il possible d'obtenir une belle expression pour sous ce modèle aussi?

Var [S_{n} | S_{k}]

$\text{Var}[S_n|S_k]$

Cyan

Pardonnez le manque de théorie de la mesure et les abus de notation dans ce qui suit ...

Puisqu'il s'agit d'une inférence bayésienne, il doit y avoir un certain a priori sur l'inconnu dans le problème, qui dans ce cas est la distribution de , un paramètre de dimension infinie prenant des valeurs dans l'ensemble des distributions sur (appelez-le ). La distribution de données converge vers une distribution normale, donc si est assez grand ( théorème de Berry-Esseen ), nous pouvons simplement gifler cette normale comme approximation. De plus, si l'approximation est exacte, le seul aspect du antérieur qui importe en termes pratiques est le prior induit sur . $X_1$ $[0, 1]$ $\pi$ $S_k|\pi$ $k$ $p(\pi)$ $(\text{E}_\pi(X_1),\text{Var}_\pi(X_1))=(\mu,\sigma^2)$

Maintenant, nous faisons une prédiction bayésienne standard et mettons les densités approximatives. ( est soumis à la même approximation que .) $S_n$ $S_k$

$p(S_n|S_k) = \int p(\pi|S_k)p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) = \int \frac{p(\pi)p(S_k|\pi)}{p(S_k)}p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) \approx \frac{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2)\text{N}(S_n|(n-k)\mu + S_k, (n-k)\sigma^2) d(\mu,\sigma^2)}{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2) d(\mu,\sigma^2)}$

Pour les limites de l'intégrale, , évidemment; Je pense que ? $\mu \in [0, 1]$ $\sigma^2 \in [0,\frac{1}{4}]$

Ajouté plus tard: non,C'est bien - les valeurs autorisées de dépendent de , donc les informations dans les données sur sont également pertinentes pour . $\sigma^2 \in [0,\mu(1-\mu)].$ $\sigma^2$ $\mu$ $\mu$ $\sigma^2$

Cyan
la source

Je ne comprends pas votre paragraphe principal. Tout d'abord, la convergence vers une normale ne se produit qu'après un décalage et une mise à l'échelle de et ce n'est pas par le théorème de Berry-Esseen (qui est un théorème sur le taux de convergence vers la normale), mais par le CLT. De plus, le décalage et la mise à l'échelle dépendront du paramètre fixe particulier. Avez-vous examiné un cas où vous avez, disons, un a priori à trois points uniformément distribué sur ?

S_{n}

$S_n$

{0, 1 / 2, 1}

$\{0,1/2,1\}$

Cardinal

Permettez-moi de préciser que lorsque j'écris "normal", je ne veux pas dire standard normal. Ainsi, le décalage et la nouvelle échelle modifient la moyenne et la variance, mais la convergence se fait toujours vers un élément de la famille des distributions normales. Je voulais que le lien vers le théorème de Berry-Esseen fasse référence à l'expression "si est assez grand"; son emplacement actuel est une erreur de couper-coller, et je vais le changer. Je ne comprends pas votre question sur le paramètre fixe - pouvez-vous clarifier la question?

k

$k$

Cyan

Re: question du cardinal. Notez que l'a priori est une distribution sur les distributions avec support dans . Si je prends votre question à la lettre, vous posez des questions sur un a priori qui prend en charge trois variables aléatoires constantes , ce qui est trivial à analyser. Mais puisque vous avez écrit dans un autre commentaire "Si la plage est alors toute distribution qui met n'importe quelle masse sur des valeurs qui ne sont pas dans pour la distribution de semble idiote," je pense que vous ' re demandant des distributions de données discrètes. La réponse courte est «non, ce n'est pas idiot». Suite ...

[0, 1]

$[0, 1]$

0, 1

${0,1}$

0, 1, \dots, n

${0,1,…,n}$

S_{k}

$S_k$

Cyan

Il est correct d' approximer une distribution discrète avec une distribution continue .

Cyan

Je pense qu'il y a plusieurs problèmes ici: (a) L'énoncé de la question pourrait utiliser un certain raffinement pour clarifier l'objectif final, (b) la question, les commentaires et les réponses ont, malheureusement, été embrouillés par des fautes de frappe, des erreurs de calcul et plusieurs fils de conversation par inadvertance , et (c) mes commentaires mentionnés ci-dessus semblent être pris un peu hors contexte. Ma déclaration concernant (Typo: aurait dû être ) concerne la distribution postérieure de étant donné . Si je connais alors toute distribution postérieure qui n'y met pas toute sa masse devrait être inadmissible.

S_{k}

$S_k$

S_{n}

$S_n$

S_{n}

$S_n$

S_{k}

$S_k$

S_{n} \in {S_{k}, \dots, n}

$S_n \in \{S_k,\ldots,n\}$

Cardinal

Soit chaque appartenir à la famille de distribution et avoir des paramètres . $X_i$ $F$ $\theta$

Étant donné, , nous avons une distribution sur : $S_k$ $\theta$

\begin{aligned} Pr (θ ∣ S_{k}) & = \frac{1}{Z} Pr (θ) Pr (S_{k} ∣ θ) \end{aligned}

$\begin{align} \Pr(\theta \mid S_k) &= \frac1Z \Pr(\theta)\Pr(S_k \mid \theta) \end{align}$

Et, notre distribution sur , est $S_n$ $n \ge k$

\begin{aligned} Pr (S_{n} = i ∣ S_{k}) & = Pr (S_{n - k} = i - S_{k} | S_{k}) \\ = \int Pr (S_{n - k} = i - S_{k} | θ) Pr (θ ∣ S_{k}) d θ \end{aligned}

$\begin{align} \Pr(S_n = i \mid S_k) &= \Pr(S_{n-k} = i - S_k | S_k) \\ &= \int \Pr(S_{n-k} = i - S_k | \theta)\Pr(\theta \mid S_k)d\theta \\ \end{align}$

(et de même pour ) $n < k$

Ces deux équations ont de belles formes lorsque est une distribution dans la famille exponentielle qui est fermée sous la somme d'éléments iid comme la distribution normale, la distribution gamma et la distribution binomiale. Cela fonctionne également pour leurs cas particuliers comme la distribution exponentielle et la distribution de Bernoulli. $F$

Il pourrait être intéressant de considérer que est la famille de distributions binomiales échelonnées (par ) avec des "essais" connus , et prenant la limite lorsque va à l'infini. $F$ $\frac1n$ $n$ $n$

Neil G
la source