Pourrait l'information mutuelle sur l'entropie conjointe:
être défini comme: "La probabilité de transmettre une information de X à Y"?
Je suis désolé d'être si naïf, mais je n'ai jamais étudié la théorie de l'information, et j'essaie juste de comprendre certains concepts de cela.
information-theory
mutual-information
luca maggi
la source
la source
Réponses:
La mesure que vous décrivez s'appelle le rapport de qualité de l'information [IQR] (Wijaya, Sarno et Zulaika, 2017). IQR est l'information mutuelle divisée par "l'incertitude totale" (entropie conjointe) (source de l'image: Wijaya, Sarno et Zulaika, 2017).I(X,Y) H(X,Y)
Comme décrit par Wijaya, Sarno et Zulaika (2017),
Vous pouvez l'interpréter comme une probabilité que le signal soit parfaitement reconstruit sans perte d'informations . Notez qu'une telle interprétation est plus proche de l'interprétation subjectiviste de la probabilité , puis de l'interprétation traditionnelle, fréquentiste.
C'est une probabilité pour un événement binaire (reconstruire des informations par rapport à non), où IQR = 1 signifie que nous pensons que les informations reconstruites sont dignes de confiance, et IQR = 0 signifie l'inverse. Il partage toutes les propriétés des probabilités d'événements binaires. De plus, les entropies partagent un certain nombre d'autres propriétés avec probabilités (par exemple, définition d'entropies conditionnelles, indépendance, etc.). Donc ça ressemble à une probabilité et caquine comme ça.
Wijaya, DR, Sarno, R. et Zulaika, E. (2017). Le rapport de qualité de l'information comme nouvelle métrique pour la sélection des ondelettes de la mère. Chemometrics and Intelligent Laboratory Systems, 160, 59-71.
la source
Voici la définition d'un espace de probabilité. Utilisons-y les notations. IQR est une fonction d'un tuple (Les trois premières composantes forment l'espace de probabilité sur lequel les deux variables aléatoires sont définies). Une mesure de probabilité doit être une fonction d'ensemble qui satisfait toutes les conditions de la définition énumérée dans la réponse de Tim. Il faudra spécifier comme sous-ensemble d'un ensemble . De plus, l'ensemble des doit former un champ de sous-ensembles de , et que(Ω,F,P,X,Y) Θ:=(Ω,F,P,X,Y) Ω~ Θ Ω~ IQR(Ω,F,P,X,Y) doit satisfaire aux trois propriétés énumérées dans la définition de la mesure de probabilité indiquée dans la réponse de Tim. Tant que l'on ne construit pas un tel objet, il est faux de dire que l'IQR est une mesure de probabilité. Pour ma part, je ne vois pas l'utilité d'une mesure de probabilité aussi compliquée (pas la fonction IQR elle-même mais comme mesure de probabilité). IQR dans le document cité dans la réponse de Tim n'est pas appelé ou utilisé comme probabilité mais comme métrique (le premier est un type de ce dernier, mais le dernier n'est pas un type de l'ancien.).
D'un autre côté, il existe une construction triviale qui permet à tout nombre sur d'être une probabilité. Plus précisément dans notre cas, considérons tout donné . Choisissez un ensemble à deux éléments comme espace échantillon , laissez le champ être et définissez la mesure de probabilité . Nous avons une classe d'espaces de probabilité indexée par .[0,1] Θ Ω~:={a,b} F~:=2Ω~ P~(a):=IQR(Θ) Θ
la source