Qu'est-ce que «l'entropie et le gain d'informations»?

Je lis ce livre ( NLTK ) et c'est déroutant. L'entropie est définie comme : L'entropie est la somme de la probabilité de chaque étiquette multipliée par la probabilité logarithmique de cette même étiquette Comment puis-je appliquer l' entropie et l'entropie maximale en termes d'exploration de...