Est-il possible d'appliquer une divergence KL entre distribution discrète et distribution continue?

Je ne suis pas mathématicien. J'ai recherché sur Internet KL Divergence. Ce que j'ai appris, c'est que la divergence KL mesure les informations perdues lorsque nous approchons la distribution d'un modèle par rapport à la distribution d'entrée. Je les ai vues entre deux distributions continues ou discrètes. Peut-on le faire entre continu et discret ou vice versa?

Non: la divergence KL n'est définie que sur les distributions sur un espace commun. Il pose des questions sur la densité de probabilité d'un point sous deux distributions différentes, et . Si est une distribution sur et une distribution sur , alors n'a pas de sens pour les points et n'a pas de sens pour les points . En fait, nous ne pouvons même pas le faire pour deux distributions continues sur des espaces de dimensions différentes (ou discrètes, ou dans tous les cas où les espaces de probabilité sous-jacents ne correspondent pas).p ( x ) q ( x ) p R 3 q Z q ( x ) p ∈ R 3 p ( z ) z ∈ $x$$p(x)$$q(x)$$p$$\mathbb{R}^3$$q$$\mathbb{Z}$$q(x)$$p \in \mathbb{R}^3$$p(z)$$z \in \mathbb{Z}$

Si vous avez un cas particulier à l'esprit, il peut être possible de trouver une mesure de dissimilarité similaire entre les distributions. Par exemple, il pourrait être judicieux de coder une distribution continue sous un code pour une distribution discrète (évidemment avec des informations perdues), par exemple en arrondissant au point le plus proche dans le cas discret.

Oui, la divergence KL entre les variables aléatoires continues et discrètes est bien définie. Si et Q sont des distributions sur un certain espace X , alors P et Q ont des densités f , g par rapport à μ = P + Q et D K L ( P , Q ) = ∫ X f log $P$$Q$$\mathbb{X}$$P$$Q$$f$$g$$\mu = P+Q$

Par exemple, si , P est la mesure de Lebesgue et Q = δ 0 est une masse ponctuelle à 0 , alors f ( x ) = 1 - 1 x = 0 , g ( x ) = 1 x = 0 et D K L ( P , Q ) = ∞ $\mathbb{X} = [0,1]$$P$$Q = \delta_0$$0$$f(x) = 1-\mathbb{1}_{x=0}$$g(x) = \mathbb{1}_{x=0}$

Pas en général. La divergence KL est

$P$$Q$$P$$Q$$\sigma$$\frac{dP}{dQ}$

$\sigma$