Interprétation de la dérivée de Radon-Nikodym entre les mesures de probabilité?

J'ai vu à certains moments l'utilisation de la dérivée Radon-Nikodym d'une mesure de probabilité par rapport à une autre, notamment dans la divergence Kullback-Leibler, où elle est la dérivée de la mesure de probabilité d'un modèle pour un paramètre arbitraire par rapport au paramètre réel :$\theta$$\theta_0$

$$\frac {dP_\theta}{dP_{\theta_0}}$$

Où ce sont les deux mesures de probabilité sur l'espace des points de données conditionnelles à une valeur de paramètre: .$P_\theta(D)=P(D|\theta)$

Quelle est l'interprétation d'un tel dérivé Radon-Nikodym dans la divergence Kullback-Leibler, ou plus généralement entre deux mesures de probabilité?

Tout d'abord, nous n'avons pas besoin de mesures de probabilité, juste de -finitude. Alors laissez un espace mesurable et laisser et soient mesures -finite sur .$\sigma$$\mathcal M = (\Omega, \mathscr F)$$\mu$$\nu$$\sigma$$\mathcal M$

Le théorème de Radon-Nikodym déclare que si pour tout , noté , alors il existe un Borel non négatif la fonction telle que pour tous .$\mu(A) = 0 \implies \nu(A) = 0$$A \in \mathscr F$$\mu \gg \nu$$f$

$$\nu(A) = \int_A f \,\text d\mu$$ $A \in \mathscr F$

Voici comment j'aime penser à cela. Tout d'abord, pour deux mesures sur , définissons comme . Il s'agit d'une relation d'équivalence valide et nous disons que et sont équivalents dans ce cas. Pourquoi est-ce une équivalence raisonnable pour les mesures? Les mesures ne sont que des fonctions mais leurs domaines sont difficiles à visualiser. Et si deux fonctions ordinaires ont cette propriété, c'est-à-dire ? Eh bien, définissez et notez que partout sur le support de$\mathcal M$$\mu \sim \nu$$\mu(A) = 0 \iff \nu(A) = 0$$\mu$$\nu$$f, g :\mathbb R \to \mathbb R$$f(x) = 0 \iff g(x) = 0$

$$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$$ $g$ nous avons , et en dehors du support de (puisque et partagent les supports) donc nous permet de redimensionner en . Comme le souligne @whuber, l'idée clé ici n'est pas que est en quelque sorte "sûr" à faire ou à ignorer, mais plutôt quand alors peu importe ce que fait, nous pouvons simplement le définir arbitrairement (comme être qui n'a pas de signification particulière ici) et les choses fonctionnent toujours. Dans ce cas également, nous pouvons définir la fonction analogue avec sorte que$gh = f$$g$ $gh = 0 \cdot \pi^e = 0 = f$$f$$g$$h$$g$$f$$0/0$$g = 0$$h$$\pi^e$$h'$$g / f$$fh' = g$ .

Supposons ensuite que , mais l'autre sens ne tient pas nécessairement. Cela signifie que notre définition précédente de fonctionne toujours, mais maintenant ne fonctionne pas car elle aura des divisions réelles par . Ainsi, nous pouvons redimensionner en via , mais nous ne pouvons pas aller dans l'autre sens car nous aurions besoin de redimensionner quelque chose de en quelque chose de non nul.$g(x) = 0 \implies f(x) = 0$$h$$h'$$0$$g$$f$$gh = f$$0$

Revenons maintenant à et et notons notre RND par . Si , cela signifie intuitivement que l'un peut être redimensionné dans l'autre, et vice versa. Mais en général, nous voulons seulement aller dans cette direction (c'est-à-dire redimensionner une mesure intéressante comme la mesure de Lebesgue en une mesure plus abstraite), nous n'avons donc besoin que de pour faire des choses utiles. Ce rééchelonnement est au cœur du RND.$\mu$$\nu$$f$$\mu \sim \nu$$\mu \gg \nu$

Pour revenir au point de @ whuber dans les commentaires, il y a une subtilité supplémentaire à pourquoi il est prudent d'ignorer le problème de . En effet, avec les mesures, nous ne définissons que les choses jusqu'à des ensembles de mesure donc sur tout ensemble avec nous pouvons simplement faire en sorte que notre RND prenne n'importe quelle valeur, disons . Donc, ce n'est pas que est intrinsèquement sûr, mais plutôt partout où nous aurions est un ensemble de mesures wrt afin que nous puissions simplement définir notre RND comme quelque chose de bien là sans affecter quoi que ce soit.$0/0$$0$$A$$\mu(A) = 0$$1$$0/0$$0/0$$0$$\mu$

Par exemple, supposons que pour certains . Alors nous avons donc que est le RND (cela peut être justifié plus formellement par le théorème du changement de mesures). C'est bien car nous avons exactement récupéré le facteur d'échelle.$k \cdot \mu = \nu$$k > 0$

$$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$$ $f(x) = k = \frac{\text d\nu}{\text d\mu}$

Voici un deuxième exemple pour souligner comment la modification des RND sur les ensembles de mesure ne les affecte pas. Soit , c'est-à-dire que c'est le PDF normal standard plus si l'entrée est rationnelle, et soit un RV avec cette densité. Cela signifie que donc est toujours un RV gaussien standard. Cela n'a affecté en aucune façon la distribution pour changer sur car il s'agit d'un ensemble de mesures wrt$0$$f(x) = \varphi(x) + 1_{\mathbb Q}(x)$$1$$X$

$$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$$ $$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$$ $X$$X$$\mathbb Q$$0$$\lambda$ .

Comme dernier exemple, supposons et et laissons et leurs distributions respectives. Rappelons qu'un pmf est un RND par rapport à la mesure de comptage , et puisque a la propriété , il s'avère que $X \sim \text{Pois}(\eta)$$Y \sim \text{Bin}(n, p)$$P_X$$P_Y$$c$$c$$c(A) = 0 \iff A = \emptyset$

$$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$$

afin que nous puissions calculer

$$P_Y(A) = \int_A \,\text dP_Y$$ $$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$$ $$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$$

Ainsi, parce que pour tout dans le support de , nous pouvons redimensionner l'intégration par rapport à une distribution de Poisson en intégration par rapport à une distribution binomiale, bien que parce que tout est discret, il se révèle ressembler à un trivial résultat.$P(X = n) > 0$$n$$Y$

---

J'ai répondu à votre question plus générale, mais je n'ai pas abordé les divergences de KL. Pour moi, au moins, je trouve la divergence KL beaucoup plus facile à interpréter en termes de test d'hypothèse comme la réponse de @kjetil b halvorsen ici . Si et qu'il existe une mesure qui domine les deux, alors utiliser nous pouvons récupérer la forme avec des densités, donc pour moi je trouve cela plus facile.$P \ll Q$$\mu$$\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$