Relation entre entropie et SNR

13

En général, toute forme d'énropie est définie comme une incertitude ou un caractère aléatoire. Dans un environnement bruyant, avec une augmentation du bruit, je pense que l'entropie augmente car nous sommes plus incertains sur le contenu informationnel du signal souhaité. Quelle est la relation entre l'entropie et le SNR? Avec l'augmentation du rapport signal / bruit, la puissance du bruit diminue mais cela n'implique pas que le contenu informationnel du signal augmente !! Le contenu de l'information peut rester le même, cela signifie-t-il que l'entropie n'est pas affectée?

Ria George
la source

Réponses:

7

Lorsque vous dites que le "contenu d'information peut rester le même", voulez-vous dire les informations du signal total ou les informations du signal souhaité? Espérons que cela répondra aux deux cas. Je connais l'entropie de Shannon beaucoup mieux que Kolmogorov, donc je vais l'utiliser, mais j'espère que la logique se traduira.

Disons que est votre signal total ( X ), composé de la somme de signal souhaité S et votre composant de bruit N . Entropie d'appel Soit l'H . Comme vous l'avez dit, le bruit ajoute de l'entropie à un système en augmentant sa complexité. Cependant, ce n'est pas nécessairement seulement parce que nous sommes plus incertains quant au contenu informationnel du signal, mais parce qu'il y a plus d'incertitude dans le signal dans son ensemble. Si le type SNR mesure à quel point nous sommes certains de ce que S est, alors le type H ( X ) mesure à quel point nous pouvons prédire les futurs états de XX=S+NXSNHSH(X)Xsur la base de l'état actuel de . L'entropie s'intéresse à la complexité de l'ensemble du signal, quelle que soit la composition du bruit par rapport au non-bruit.X

Si vous augmentez le SNR en supprimant le bruit (atténuant ), vous diminuez la complexité totale du signal X et donc son entropie. Vous avez pas perdu toute information portée par S , seulement (probablement dénuée de sens) l' information portée par N . Si N est un bruit aléatoire, il ne contient évidemment pas d'informations significatives, mais il faut une certaine quantité d'informations pour décrire l'état de N , déterminée par le nombre d'états dans lesquels N peut être et la probabilité qu'il se trouve dans chacun de ces états. Voilà l'entropie.NXSNNN

Nous pouvons regarder deux distributions gaussiennes avec des variances différentes, disons que l'une a une variance de et l'autre une variance de 100 . En regardant simplement l'équation d'une distribution gaussienne, nous voyons que la distribution V a r = 100 a une probabilité maximale qui n'est que de 11100Var=100 ème la valeur de laprobabilitédevar=1distr. Inversement, cela signifie qu'il y a une plus grande probabilité que leVar=100distr prendra des valeurs autres que la moyenne, ou qu'il y ait plus de certitude que ladistribution deVar=1prendra des valeurs proches de la moyenne. Ainsi, ladistributionVar=1a une entropie plus faible que ladistributionVar=100.110var=1Var=100Var=1Var=1Var=100

Nous avons établi qu'une variance plus élevée implique une entropie plus élevée. En ce qui concerne la propagation des erreurs, il est également vrai que (égal pour X , Y indépendant ). Si X = S + N , alors pour l'entropie H , H ( X ) = H ( S + N ) . PuisqueVar(X+Y)>=Var(X)+Var(Y)XYX=S+NHH(X)=H(S+N) est (indirectement) une fonction de la variance, on peut truquer un peu les choses pour dire H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Pour simplifier, nous disons que S et N sont indépendants, donc H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ NHH(Var[X])=H(Var[S+N])SN . Un SNR amélioré signifie souvent une atténuation de la puissance du bruit. Ce nouveau signal avec un SNR plus élevé sera alors X = S + ( 1H(Var[X])=H(Var[S]+Var[N]), pourk>1. L'entropie devient alorsH(Var[X])=H(Var[S]+(1/k)2Var[N]). kest supérieur à1, doncVar[N]diminue lorsque N est atténué. SiVaX=S+(1k)Nk>1H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N] diminue, tout comme V a r [ S + N ] , et donc V a r [ X ] , ce qui entraîne une diminution de H ( X ) .Var[N]Var[S+N]Var[X]H(X)

Pas très concis, désolé. En bref, l'entropie de diminue si vous augmentez le SNR, mais vous n'avez rien fait pour les informations de S. Je ne trouve pas les sources pour le moment, mais il existe une méthode pour calculer le SNR et les informations mutuelles (une mesure bivariée similaire à l'entropie) les unes des autres. Peut-être que le principal point à retenir est que le SNR et l'entropie ne mesurent pas la même chose.XS

dpbont
la source
Merci pour les détails, cela aurait été vraiment génial s'il y avait eu une référence pour le petit peu d'analyse que vous avez fait car je dois fournir cette relation entre l'entropie et le SNR dans un document et donc la citation.
Ria George
Mon analyse est assez informelle; il s'appuie un peu trop sur l'intuition / la logique pour revendiquer toute sorte de rigueur. Le point faible que je vois immédiatement est l'affirmation selon laquelle l'augmentation du SNR équivaut à une diminution de la variance globale. Cette déclaration est valable si vous augmentez le SNR en atténuant le bruit, mais pas nécessairement si vous augmentez la puissance du signal (car cela pourrait augmenter la variance du signal ==> la variance globale ==> l'entropie). Cependant, il existe probablement un autre moyen de parvenir à cette conclusion. Je pense que la relation entre MI et SNR est venue de Schloegl 2010 "Méthodes adaptatives dans la recherche BCI - Un tutoriel d'introduction"
dpbont
X
Deux questions. 1) Lorsque vous dites que le SNR augmente, voulez-vous dire le SNR du signal estimé? (Je suppose que oui.) 2) Qu'arrive-t-il à votre erreur lorsque l'entropie de l'erreur augmente? D'une manière générale, l'augmentation de l'entropie signifie soit une augmentation de la variance / une diminution de la prévisibilité. Je pourrais peut-être imaginer une situation où votre variance d'erreur augmente mais vous supprimez un biais d'erreur (qui pourrait augmenter l'entropie d'erreur mais diminuer l'erreur).
dpbont
X=S+NNz(t)=X(t)(a1X(t1)+b1X(t2))X(t)N
1

Voici une citation de [1, p. 186]pour commencer, OP ou Googler:

H(number of active components in data)×logSNR

H

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
marnix
la source