Supposons que j'ai deux ensembles et et une distribution de probabilité conjointe sur ces ensembles . Soit et les distributions marginales sur et respectivement.
Les informations mutuelles entre et sont définies comme suit:
c'est-à-dire qu'il s'agit de la valeur moyenne de l'information mutuelle ponctuelle pmi .
Supposons que je connaisse les bornes supérieures et inférieures sur pmi : c'est-à-dire que je sais que pour tout les conditions suivantes sont réunies:
Quelle limite supérieure cela implique-t-il sur . Bien sûr, cela implique que , mais j'aimerais une limite plus serrée si possible. Cela me semble plausible parce que p définit une distribution de probabilité, et pmi ne peut pas prendre sa valeur maximale (ou même être non négative) pour chaque valeur de et .
Réponses:
Ma contribution consiste en un exemple. Il illustre certaines limites sur la façon dont les informations mutuelles peuvent être limitées, étant donné les limites des informations mutuelles ponctuelles.
Prendre et p ( x ) = 1 / n pour tout x ∈ X . Pour tout m ∈ { 1 , … , n / 2 } soit k > 0 la solution de l'équation m e k + ( n - m ) e - k = n .X=Y={1,…,n} p(x)=1/n x∈X m∈{1,…,n/2} k>0
Par la construction, il est clair que pour tout x , y ∈ { 1 , … , n } , et (après quelques calculs) I ( X ; Y ) = k n mpmi(x,y)∈{−k,k}, x,y∈{1,…,n}
avec l'information mutuellecomportant commek2/2pourk→0et commekpourk→∞.
la source
Je ne sais pas si c'est ce que vous recherchez, car il est principalement algébrique et ne tire pas vraiment parti des propriétés de p étant une distribution de probabilité, mais voici quelque chose que vous pouvez essayer.
I'm not sure if that's helpful or not.
EDIT: Upon further review I believe this is actually less useful than the original upper bound of k. I won't delete this though in case it might hint at a starting point.
la source