Comment calculer les informations mutuelles?

Je suis un peu confus. Quelqu'un peut-il m'expliquer comment calculer des informations mutuelles entre deux termes en se basant sur une matrice terme-document avec une occurrence de terme binaire comme poids?

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D o c u m e n t 1 & 1 & 1 & 1 & 1 \\ ré o c u m e n t 2 & 1 & 0 & 1 & 0 \\ ré o c u m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

je (X; Oui) = \sum_{y \in Oui} \sum_{X \in X} p (X, y) Journal (\frac{p (X, y)}{p (X) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

Je vous remercie

python information-theory mutual-information numpy pandas user18075
la source

Que sont

X

$X$

Y

$Y$

Dilip Sarwate

X et Y sont des termes. X pourrait être "Pourquoi" et Y pourrait être "Comment".

user18075

Réponses:

je (X, Oui) = H (X) + H (Oui) - H (X, Oui) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

Zoran
la source

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

les formules sont équivalentes, sauf que ces dernières peuvent être plus interprétables à première vue.

Zoran