J'ai du mal à construire une intuition sur l'entropie conjointe. = incertitude dans la distribution conjointe ; = incertitude dans ; = incertitude dans .
Si H (X) est élevé, alors la distribution est plus incertaine et si vous connaissez le résultat d'une telle distribution, alors vous avez plus d'informations! Donc H (X) quantifie également les informations.
Maintenant, nous pouvons montrer
Mais si vous connaissez vous pouvez obtenir et donc dans un certain sens a plus d'informations que et , donc ne devrait pas t l'incertitude liée à p (x, y) est-elle supérieure à la somme des incertitudes individuelles?
la source