Clarification de la géométrie de l'information

10

Cette question concerne l'étude de la géométrie différentielle des familles exponentielles courbes - courbures et perte d'information par Amari.

Le texte est le suivant.

Soit une variété à n dimensions de distributions de probabilité avec un système de coordonnées θ = ( θ 1 , , θ n ) , où p θ ( x ) > 0 est supposé ...Sn={pθ}nθ=(θ1,,θn)pθ(x)>0

On peut considérer chaque point de S n comme porteur d'une fonction log p θ ( x ) de x ...θSnlogpθ(x)x

Soit l'espace tangent de S n en θ , qui est, grosso modo, identifié avec une version linéarisée d'un petit voisinage de θ dans S n . Soit e i ( θ ) , i = 1 , , n la base naturelle de T θ associée au système coordonné ...TθSnθθSnei(θ),i=1,,nTθ

Puisque chaque point de S n porte une fonction log p θ ( x ) de x , il est naturel de considérer e i ( θ ) en θ comme représentant la fonction e i ( θ ) = θSnlogpθ(x)xei(θ)θ

ei(θ)=θilogpθ(x).

Je ne comprends pas la dernière déclaration. Cela apparaît dans la section 2 du document susmentionné. Comment la base de l'espace tangent est-elle donnée par l'équation ci-dessus? Il serait utile que quelqu'un dans cette communauté qui connaît ce type de matériel puisse m'aider à comprendre cela. Merci.


Mise à jour 1:

Bien que je convienne que (de @aginensky) si sont linéairement indépendants alorsθipθsont également linéairement indépendants, comment ils sont membres de l'espace tangent en premier lieu n'est pas très clair. Alors commentθilogpθsoit considéré comme la base de l'espace tangent. Toute aide est appréciée.θilogpθ

Mise à jour 2:

@aginensky: Dans son livre, Amari dit ce qui suit:

Sn=P(X)X={x0,,xn}P(X)RX={X|X:XR}P(X){X|xX(x)=1}

Tp(Sn)SnA0={X|xX(x)=0}θiθ=(θ1,,θn)(θi)θ=θipθ

plogpSnlogSn:={logp|pSn}RXXTp(Sn)XplogpX(e)(θi)θ(e)=θilogpθX(e)=X(x)/p(x)

Tp(e)(Sn)={X(e)|XTp(Sn)}={ARX|xA(x)p(x)=0}.

θi(θi)(e)TpTp(e)θi(e)Tp(e)

Sn,Tp(logSn,Tp(e))

Ashok
la source
ei(θ)=θilogpθ(x)θiθipθ
J'ai essayé de modifier mon commentaire pour plus de clarté et je n'ai pas été autorisé à le faire. Faites-moi savoir si vous souhaitez plus de détails.
meh
θilogpθ(x)=1/pθ(x)θipθ(x)
{dθi}{θi}
dθpθ

Réponses:

2

Mes commentaires sont si longs que je les mets en réponse.

RnRnRnRnRn

SnθipθSnppθiRnpθp

{1,2,3}{a,b,c}R+R>0et considérez la carte sur des espaces tangents. Suis-je enfin en train de comprendre votre question? Une mise en garde s'impose, à savoir que la géométrie différentielle n'est pas mon principal domaine d'expertise. Je pense que j'ai bien compris, mais n'hésitez pas à critiquer ou à remettre en question cette réponse.

meh
la source
f
p
G=[gi,j]gi,j=xipθ(x) jlogpθ(x)jlogpθ