Le paradoxe des données iid (du moins pour moi)

En ce qui concerne ma connaissance globale (et rares) sur les permis de statistiques, je compris que si $X_1, X_2,..., X_n$ sont des variables aléatoires iid, alors comme le terme l'indique, elles sont indépendantes et identiquement distribuées.

Ce qui me préoccupe ici est l'ancienne propriété des échantillons iid, qui se lit comme suit:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}),

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$

pour chaque collection de distinct $i_j$ « s r . $1 \leq i_j < n$

Cependant, on sait que l'agrégat d'échantillons indépendants de distributions identiques fournit des informations sur la structure de distribution, et par conséquent sur dans le cas ci-dessus, il ne devrait donc pas être vrai que: $X_n$

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}) .

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$

Je sais que je suis victime d'une erreur mais je ne sais pas pourquoi. S'il vous plaît, aidez-moi sur celui-ci.

sampling conditional-probability independence Cupitor
la source

Connaissez-vous la règle Bayes? Entendu parler des classiques. vs statistiques bayésiennes? Prieurs?

Matthew Gunn

Je ne suis pas l'argument à la fin de votre question. Pouvez-vous être plus explicite?

Glen_b -Reinstate Monica

@Glen_b qu'est-ce que vous ne suivez pas exactement? Que voulez-vous dire par la fin de celui-ci? J'essaie de dire avec des logiques différentes à la fois une égalité et une inégalité semble plausible ce qui est un paradoxe.

Cupitor

Il n'y a pas de paradoxe ici - simplement un échec à appliquer les définitions appropriées. Vous ne pouvez pas prétendre avoir un paradoxe lorsque vous ignorez le sens des mots que vous utilisez! Dans ce cas, la comparaison de la définition d' indépendant à celle de probabilité révélera l'erreur.

whuber

@whuber, je suppose que vous avez remarqué l'explicite "(au moins pour moi)" dans le titre de ma question et aussi le fait que je demande de l'aide pour trouver le "sophisme" de mon argumentation, ce qui montre que cette n'est en effet pas un vrai paradoxe.

Cupitor

Réponses:

Je pense que vous confondez un modèle estimé d'une distribution avec une variable aléatoire . Réécrivons l'hypothèse d'indépendance comme suit: qui dit quesi vous connaissez la distribution sous-jacente de( et, par exemple, peut l'identifier par un ensemble de paramètres

\begin{matrix} (1) & P (X_{n} | θ, X_{i_{1}}, X_{i_{2}}, \dots, X_{i_{k}}) = P (X_{n} | θ) \end{matrix}

$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$ $X_n$

θ

$\theta$ ) alors la distribution ne change pas étant donné que vous en avez observé quelques échantillons.

Par exemple, imaginez comme la variable aléatoire représentant le résultat du ème tirage d'une pièce. Connaître la probabilité de la tête et de la queue pour la pièce (qui, en fait, supposons qu'elle est codée en ) suffit pour connaître la distribution de . En particulier, le résultat des lancers précédents ne change pas la probabilité de tête ou de queue pour le -ième lancer, et est valable. $X_n$ $n$ $\theta$ $X_n$ $n$ $(1)$

Notez cependant que . $P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

Sobi
la source

Merci beaucoup. Bien au point. Assez drôle que j'ai deviné une telle réponse il y a quelque temps mais je l'ai oubliée ... Donc, autant que je sache, l'erreur est de supposer implicitement "un modèle" qui peut paramétrer la distribution d'une variable aléatoire. Ai-je bien compris?

Cupitor

@Cupitor: Je suis content que ce soit utile. Oui, conditionnées par le modèle, les variables aléatoires indépendantes ne s'influencent pas. Mais, la probabilité qu'une distribution donnée ait généré une séquence de résultats change à mesure que vous voyez plus d'échantillons de la distribution sous-jacente (vraie) (quelle que soit l'hypothèse d'indépendance).

Sobi

Si vous adoptez une approche bayésienne et traitez les paramètres décrivant la distribution de comme une variable / vecteur aléatoire, alors les observations ne sont en effet pas indépendantes, mais elles seraient conditionnellement indépendantes étant donné la connaissance de où $X$ $\theta$ $P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

$\theta$ $\theta$ $\theta$

$X_n$ $\theta$

Statisticiens bayésiens et classiques

$x_i$

$P(x_i = H)$ $\theta$ $\theta$
$\theta$

$\theta$ $\theta$

Où est-ce que ça va?

$n$

P (x_{n} = H ∣ x_{n - 1}, x_{n - 2}, \dots, x_{1}) = P (x_{n} = H) = θ

$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$

θ

$\theta$

Une bayésienne profondément plongée dans la probabilité subjective dirait que ce qui compte, c'est la probabilité de son point de vue! . Si elle voit 10 têtes d'affilée, une 11e tête est plus probable car 10 têtes d'affilée laissent croire que la pièce est déséquilibrée en faveur des têtes.

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H) > P (x_{1} = H)

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$

$\theta$ $\theta$ $\theta$

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H, θ) = P (x_{1} = H ∣ θ) = θ

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$

$\theta$ $\theta$

Notes complémentaires

J'ai fait de mon mieux pour donner une courte introduction ici, mais ce que j'ai fait est au mieux assez superficiel et les concepts sont en quelque sorte assez profonds. Si vous voulez vous plonger dans la philosophie des probabilités, le livre de Savage de 1954, Foundation of Statistics est un classique. Google pour bayésien vs fréquentiste et une tonne de choses vont apparaître.

Une autre façon de penser aux tirages IID est le théorème de De Finetti et la notion d' échangeabilité . Dans un cadre bayésien, l'interchangeabilité équivaut à l'indépendance conditionnelle à une variable aléatoire latente (dans ce cas, le déséquilibre de la pièce).

Matthew Gunn
la source

En substance, l'approche bayésienne traiterait une déclaration "iid variables aléatoires" non pas comme un axiome selon lequel elles doivent être des DIE mais simplement comme une hypothèse préalable très forte qu'elles le sont - et si des preuves encore plus solides suggèrent qu'il est extrêmement peu probable que les données données soient les hypothèses sont vraies, alors cette "incrédulité dans les conditions données" se reflétera dans les résultats.

Peteris

Merci beaucoup pour votre réponse complète. Je l'ai voté positivement, mais je pense que la réponse de Sobi, indique plus explicitement où se situe le problème, c'est-à-dire en supposant implicitement la structure du modèle (ou c'est ce que je comprends)

Cupitor

@Matthew Gunn: soigné, minutieux et très bien expliqué! J'ai appris quelques choses de votre réponse, merci!

Sobi