Quelle est la fonction de densité de probabilité d'entropie maximale pour une variable continue positive de moyenne et d'écart type donnés?

13

Quelle est la distribution d'entropie maximale pour une variable continue positive, compte tenu de ses premier et deuxième moments?

Par exemple, une distribution gaussienne est la distribution d'entropie maximale pour une variable non bornée, compte tenu de sa moyenne et de l'écart-type, et une distribution Gamma est la distribution d'entropie maximale pour une variable positive, compte tenu de sa valeur moyenne et de la valeur moyenne de son logarithme.

distributions standard-deviation mean maximum-entropy Becko
la source

13

On peut simplement utiliser le théorème de Boltzmann qui se trouve dans l'article même de Wikipédia que vous pointez .

Notez que spécifier la moyenne et la variance équivaut à spécifier les deux premiers moments bruts - chacun détermine l'autre (il n'est pas réellement nécessaire d'invoquer cela, car nous pouvons appliquer le théorème directement à la moyenne et à la variance, c'est juste un peu plus simple de cette façon ).

Le théorème établit alors que la densité doit être de la forme:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

L'intégrabilité sur la ligne réelle positive limitera à , et je pense qu'il impose certaines restrictions sur les relations entre les s (qui seront vraisemblablement satisfaites automatiquement en partant de la moyenne et de la variance spécifiées plutôt que des moments bruts). $\lambda_2$ $\leq 0$ $\lambda$

À ma grande surprise (puisque je ne m'y attendais pas quand j'ai commencé cette réponse), cela semble nous laisser avec une distribution normale tronquée.

En l'occurrence, je ne pense pas avoir utilisé ce théorème auparavant, donc des critiques ou des suggestions utiles sur tout ce que je n'ai pas considéré ou laissé de côté seraient les bienvenues.

Glen_b -Reinstate Monica
la source

+1 Merci. Semble bien. Quand j'ai lu l'article de Wikipedia, il me semble avoir raté le fait que le théorème de Boltzmann s'applique à tous les intervalles fermés. J'avais supposé qu'il ne s'appliquait qu'aux variables allant de

à

.

- \infty

$-\infty$

\infty

$\infty$

Becko

Pour une raison quelconque, la mesure de base uniforme et la distribution normale tronquée résultante ne me convainc pas complètement: comme le souligne Fred Schoen, pour trouver l'entropie maximale (relative) dans le cas continu, nous avons besoin d'une mesure de base ou d'une distribution de probabilité de référence. Étant donné que la variable continue

en question est positive, il pourrait s'agir d'une variable d'échelle et une mesure de base proportionnelle à

se recommande alors pour diverses raisons (par exemple, l'invariance de groupe; voir le livre de Jaynes ou de Jeffreys).

x

$x$

1 / x

$1/x$

pglpm

Avec cette mesure de base, la distribution résultante est proportionnelle à

mais malheureusement, il n'est pas normalisable (il pourrait quand même être utilisé comme un mauvais préalable). Étant donné la positivité de la variable en question, il peut être utile de se demander si les moments de son logarithme peuvent avoir plus de sens en tant que porteurs d'informations et contraintes d'entropie maximale. Ils conduiraient à des distributions d'entropie maximale de type gamma.

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

pglpm

7

Je veux rendre la réponse de @ Glen_b plus explicite, voici une réponse supplémentaire simplement parce qu'elle ne correspondrait pas à un commentaire.

Le formalisme, etc. est bien expliqué dans les chapitres 11 et 12 du livre de Jaynes . Prendre la distribution uniforme en tant que mesure de base, la solution générale, comme @Glen_b déjà dit, est une gaussienne Pour la variable non bornée, vous pouvez résoudre explicitement pour les multiplicateurs de Lagrange et en termes de valeurs de contrainte ( en l'article de Wikipedia). Avec

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$ , on obtient alors

, donc le gaussien

standard

.

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

Pour la variable bornée , I (et mathématique) ne peut plus résoudre explicitement pour en raison du terme de fonction d'erreur qui apparaît lors du calcul de la fonction de partition ( dans wikipedia). Cela signifie que les paramètres et du gaussien tronqué ne sont pas la moyenne et la variance de la variable continue avec laquelle vous avez commencé. Il peut même arriver que pour $x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ , le mode de la gaussienne est négatif! Bien sûr, les chiffres s'accordent tous à nouveau lorsque vous prenez . $x_{min} \to -\infty$

Si vous avez des valeurs concrètes pour , vous pouvez toujours résoudre pour numériquement et brancher les solutions dans l'équation générale et vous avez terminé! Les valeurs de du cas non borné peuvent être un bon point de départ pour le solveur numérique. $a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

Cette question est un doublon de /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

Fred Schoen
la source

Quelle est la fonction de densité de probabilité d'entropie maximale pour une variable continue positive de moyenne et d'écart type donnés?

Réponses: