La valeur de gain d'informations mutuelles peut-elle être supérieure à 1

J'ai un doute très basique. Désolé si cela dérange peu. Je sais que la valeur des informations mutuelles doit être supérieure à 0, mais doit-elle être inférieure à 1? Est-il limité par une valeur supérieure?

Merci, Amit.

information-theory mutual-information Amit
la source

Réponses:

Oui, il a une limite supérieure, mais pas 1.

L' information mutuelle (en bits) est 1 lorsque deux parties (statistiquement) partagent un bit d'information. Cependant, ils peuvent partager des données arbitraires volumineuses. En particulier, s'ils partagent 2 bits, alors c'est 2.

L'information mutuelle est limitée par le haut par l' entropie de Shannon des distributions de probabilité pour les parties uniques, c'est-à-dire . $I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Piotr Migdal
la source

Si les deux parties sont des variables binaires, c'est-à-dire que chacune n'a que deux résultats possibles {0,1} , alors les entropies max à lorsque et . Ainsi, l'information mutuelle maximale pour deux variables binaires est

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

Akseli Palén