Quelle est la principale différence entre la corrélation et l'information mutuelle?

Réponses:

25

La corrélation mesure la relation linéaire (corrélation de Pearson) ou la relation monotone (corrélation de Spearman) entre deux variables, X et Y.

L'information mutuelle est plus générale et mesure la réduction de l'incertitude dans Y après l'observation de X. Il s'agit de la distance KL entre la densité conjointe et le produit des densités individuelles. Ainsi, l'IM peut mesurer des relations non monotones et d'autres relations plus compliquées.

Rob Hyndman
la source
3
La corrélation n'est pas nécessairement linéaire - le rho de Spearman s'appuie sur la fonction monotone, et pourtant, nous nous référons à elle comme un "coefficient de corrélation", pas comme un "coefficient d'information mutuelle". Et pour une bonne raison: il fournit des informations sur l'association entre deux variables. Informations mutuelles, informations redondantes, variance mutuelle, corrélation - ces termes sont tellement similaires, et cette question fait référence à la reconstruction du réseau , donc je suppose que nous nous sommes retrouvés dans la mauvaise zone avec une bonne terminologie. C'est une question bien spécifique ...
aL3xa
1
Bon point. J'ai modifié ma réponse pour inclure les relations monotones. Je ne sais rien de la reconstruction du réseau.
Rob Hyndman
4

Pour ajouter à la réponse de Rob ... en ce qui concerne l'ingénierie inverse d'un réseau, l'IM peut être préféré à la corrélation lorsque vous souhaitez extraire des liens causaux plutôt qu'associatifs dans votre réseau. Les réseaux de corrélation sont purement associatifs. Mais pour MI, vous avez besoin de plus de données et de puissance de calcul.

ars
la source