En regardant les vecteurs propres de la matrice de covariance, nous obtenons les directions de variance maximale (le premier vecteur propre est la direction dans laquelle les données varient le plus, etc.); c'est ce qu'on appelle l'analyse en composantes principales (ACP).
Je me demandais ce que cela signifierait de regarder les vecteurs / valeurs propres de la matrice d'information mutuelle, pointeraient-ils dans le sens de l'entropie maximale?
Réponses:
Bien que ce ne soit pas une réponse directe (car il s'agit d'informations mutuelles ponctuelles ), regardez le papier reliant word2vec à une décomposition en valeurs singulières de la matrice PMI:
la source