Comment le journal (p (x, y)) normalise-t-il les informations mutuelles point par point?

J'essaie de comprendre la forme normalisée d'informations mutuelles ponctuelles.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Pourquoi la probabilité log-jointe normalise-t-elle les informations mutuelles ponctuelles entre [-1, 1]?

L'information mutuelle point par point est:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) est borné par [0, 1] donc log (p (x, y)) est borné par (, 0]. Il semble que le log (p (x, y)) devrait en quelque sorte équilibrer les changements le numérateur, mais je ne comprends pas exactement comment. Cela me rappelle aussi l'entropie , mais encore une fois je ne comprends pas la relation exacte.$h=-log(p(x))$

À partir de l'entrée Wikipedia sur les informations mutuelles ponctuelles :

Les informations mutuelles ponctuelles peuvent être normalisées entre [-1, + 1], ce qui donne -1 (dans la limite) pour ne jamais se produire ensemble, 0 pour l'indépendance et +1 pour une cooccurrence complète.

Pourquoi cela arrive-t-il? Eh bien, la définition de l'information mutuelle ponctuelle est

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

alors que pour une information mutuelle normalisée ponctuelle, on entend :

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

Le quand il y a:

• pas de co-occurrences, , donc nmpi est -1,$\log p(x,y)\to -\infty$
• co-occurrences au hasard, , donc nmpi vaut 0,$\log p(x,y)= \log[p(x) p(y)]$
• cooccurrences complètes, , donc nmpi vaut 1.$\log p(x,y)= \log p(x) = \log p(y)$

Bien que la réponse de Piotr Migdal soit informative en donnant les exemples où nmpi atteint trois valeurs extrêmes, cela ne prouve pas qu'il se trouve dans l'intervalle . Voici l'inégalité et sa dérivation. as pour tout événement . En divisant les deux côtés par le non négatif , nous avons $[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$