Pourquoi les distributions de probabilité se multiplient-elles ici?

Ces opérations sont effectuées sur des vraisemblances plutôt que sur des probabilités. Bien que la distinction puisse être subtile, vous en avez identifié un aspect crucial: le produit de deux densités n'est jamais une densité.

La langue dans le blog fait allusion à cela - mais en même temps elle se trompe subtilement - alors analysons-la:

La moyenne de cette distribution est la configuration pour laquelle les deux estimations sont les plus probables, et est donc la meilleure estimation de la vraie configuration compte tenu de toutes les informations dont nous disposons.

Nous avons déjà observé que le produit n'est pas une distribution. (Bien qu'il puisse être transformé en un via la multiplication par un nombre approprié, ce n'est pas ce qui se passe ici.)
Les mots «estimations» et «meilleure estimation» indiquent que cette machine est utilisée pour estimer un paramètre - dans ce cas, la «configuration réelle» (coordonnées x, y).
Malheureusement, la moyenne n'est pas la meilleure estimation. Le mode est. Il s'agit du principe du maximum de vraisemblance (ML).

Pour que l'explication du blog ait un sens, nous devons supposer ce qui suit. Tout d'abord, il y a un véritable emplacement précis. Appelons-le abstraitement . Deuxièmement, chaque "capteur" ne rapporte pas . Au lieu de cela, il signale une valeur susceptible d'être proche de . Le "gaussien" du capteur donne la densité de probabilité pour la distribution de . Pour être très clair, la densité du capteur est une fonction , en fonction de , avec la propriété que pour toute région (dans le plan), la probabilité que le capteur rapporte une valeur dans est $\mu$ $\mu$ $X_i$ $\mu$ $X_i$ $i$ $f_i$ $\mu$ $\mathcal{R}$ $\mathcal{R}$

Pr (X_{i} \in R) = \int_{R} f_{i} (x; μ) d x .

$\Pr(X_i \in \mathcal{R}) = \int_{\mathcal{R}} f_i(x;\mu) dx.$

Troisièmement, les deux capteurs sont supposés fonctionner avec une indépendance physique , ce qui suppose une indépendance statistique .

Par définition, la vraisemblance des deux observations est la densité de probabilité qu'elles auraient sous cette distribution conjointe, étant donné que l'emplacement réel est . L'hypothèse d'indépendance implique que c'est le produit des densités. Pour clarifier un point subtil, $x_1, x_2$ $\mu$

La fonction produit qui attribue à une observation n'est pas une densité de probabilité pour ; cependant, $f_1(x;\mu)f_2(x;\mu)$ $x$ $x$
Le produit est la densité de joint pour la paire ordonnée . $f_1(x_1;\mu)f_2(x_2;\mu)$ $(x_1, x_2)$

Dans la figure affichée, est le centre d'une goutte, est le centre d'une autre et les points dans son espace représentent des valeurs possibles de . Notez que ni ni sont censés dire quoi que ce soit sur les probabilités de ! est juste une valeur fixe inconnue . Ce n'est pas une variable aléatoire. $x_1$ $x_2$ $\mu$ $f_1$ $f_2$ $\mu$ $\mu$

Voici une autre tournure subtile: la probabilité est considérée comme une fonction de . Nous avons les données - nous essayons juste de comprendre ce que est susceptible d'être. Ainsi, ce que nous devons tracer est la fonction de vraisemblance $\mu$ $\mu$

Λ (μ) = f_{1} (x_{1}; μ) f_{2} (x_{2}; μ) .

$\Lambda(\mu) = f_1(x_1;\mu)f_2(x_2;\mu).$

C'est une coïncidence singulière que cela aussi soit un gaussien! La démonstration est révélatrice. Faisons le calcul dans une seule dimension (plutôt que deux ou plus) pour voir le motif - tout se généralise à plus de dimensions. Le logarithme d'un gaussien a la forme

\log f_{i} (x_{i}; μ) = A_{i} - B_{i} (x_{i} - μ)^{2}

$\log f_i(x_i;\mu) = A_i - B_i(x_i-\mu)^2$

pour les constantes et . Ainsi, la probabilité logarithmique est $A_i$ $B_i$

\begin{aligned} \log Λ (μ) & = A_{1} - B_{1} (x_{1} - μ)^{2} + A_{2} - B_{2} (x_{2} - μ)^{2} \\ = C - (B_{1} + B_{2}) {(μ - \frac{B_{1} x_{1} + B_{2} x_{2}}{B_{1} + B_{2}})}^{2} \end{aligned}

$\eqalign{ \log \Lambda(\mu) &= A_1 - B_1(x_1-\mu)^2 + A_2 - B_2(x_2-\mu)^2 \\ &= C - (B_1+B_2)\left(\mu - \frac{B_1x_1+B_2x_2}{B_1+B_2}\right)^2 }$

où ne dépend pas de . Il s'agit du log d'un gaussien où le rôle du a été remplacé par la moyenne pondérée indiquée dans la fraction. $C$ $\mu$ $x_i$

Revenons au fil principal. L'estimation ML de est cette valeur qui maximise la vraisemblance. De manière équivalente, il maximise ce gaussien que nous venons de dériver du produit des Gaussiens. Par définition, le maximum est un mode . C'est une coïncidence - résultant de la symétrie ponctuelle de chaque gaussien autour de son centre - que le mode coïncide avec la moyenne. $\mu$

Cette analyse a révélé que plusieurs coïncidences dans la situation particulière ont obscurci les concepts sous-jacents:

une distribution multivariée (conjointe) était facilement confondue avec une distribution univariée (ce qui n'est pas le cas);
la vraisemblance ressemblait à une distribution de probabilité (ce qu'elle n'est pas);
le produit des gaussiens se trouve être gaussien (une régularité qui n'est généralement pas vraie lorsque les capteurs varient de manière non gaussienne);
et leur mode coïncide avec leur moyenne (qui n'est garantie que pour les capteurs avec des réponses symétriques autour des vraies valeurs).

Ce n'est qu'en se concentrant sur ces concepts et en supprimant les comportements fortuits que nous pouvons voir ce qui se passe réellement.

whuber
la source

Merci beaucoup pour cette merveilleuse réponse. Il semble que la question n'est pas aussi simple qu'il y paraît. Je me demandais vraiment pourquoi il était si difficile pour moi de comprendre le concept d'indépendance que je pensais bien connaître. Je vais prendre le temps de m'assurer que chaque point est clair.

anderstood

Prime virtuelle +150. Lorsque vous écrivez "le produit de deux densités n'est jamais une densité", qu'en est-il de la densité uniforme sur , ou de la densité rassemblée en 0? Ne serait-il pas (encore) préférable de dire "n'est génériquement pas une densité"?

[0, 1]

$[0,1]$

anderstood

Tu as raison. Je pensais à une inégalité qui peut devenir une égalité lorsque toutes les valeurs de la densité sont nulles, égales à un ou infinies. Vos contre-exemples sont tous de ce type.

whuber

Je vois déjà une excellente réponse mais je poste juste la mienne depuis que j'ai déjà commencé à l'écrire.

Le médecin 1 a ce modèle de prédiction: $d_1\sim N(\mu_1, \sigma_1)$

Le médecin 2 a ce modèle de prédiction: $d_2\sim N(\mu_2, \sigma_2)$

Donc, pour que nous puissions évaluer la probabilité conjointe nous devons seulement nous rendre compte que cela factorise en depuis raison de l'indépendance des deux médecins. $P(d_1,d_2)=P(d_1|d_2)P(d_2)$ $P(d_1)P(d_2)$ $P(d_1|d_2)=P(d_1)$

Dr. Mike
la source

Virtual +1 pour les détails soignés. Dommage que le système ne me permette pas de vous donner le vrai +1.

Chance

Comment définiriez-vous comme un événement? Par exemple, "les dés donnent un 3" est un événement, tout comme "gagner plus de 100". Ici , je ne peux pas formuler de la manière d'un tel, parce ne dispose pas d' un VFI, il est un VFI. Par exemple, je peux calculer la probabilité que j'ai jours pour vivre selon le médecin 1, mais quelle est la probabilité de ?

d_{1}

$d_1$

d_{1}

$d_1$

x

$x$

d_{1}

$d_1$

anderstood

Peut-être que je suis confus parce que je comprends comme un événement, alors que c'est une variable aléatoire. Ensuite, est la variable aléatoire qui décrit le nombre de jours restants selon le médecin 1. Mais quelle est la signification de la probabilité conjointe de et est-ce un nombre réel dans ? Que faire si prend la valeur "3 jours" et prend la valeur "4 jours"? J'espère que mes questions vous aideront à comprendre ce qui me manque.

d_{1}

$d_1$

d_{1}

$d_1$

P (d_{1}, d_{2})

$P(d_1,d_2)$

[0, 1]

$[0,1]$

d_{1}

$d_1$

d_{2}

$d_2$

anderstood

Étant donné que les Gaussiens sont des densités de probabilité et non des probabilités, cette explication est incomplète.

whuber

Pourquoi les distributions de probabilité se multiplient-elles ici?

Réponses: