Comment comparez-vous deux processus gaussiens?

14

La divergence de Kullback-Leibler est une métrique pour comparer deux fonctions de densité de probabilité, mais quelle métrique est utilisée pour comparer deux GP et ?YXY

pushkar
la source
d(X,Y)=E[supt|X(t)Y(t)|]
Zen
@Zen: Si vous avez le temps, j'aimerais en savoir plus sur cette mesure de distance.
Neil G
Salut, Neil. Je n'en sais pas grand-chose. Veuillez voir ma réponse ci-dessous.
Zen

Réponses:

8

Remarquez que la distribution des processus gaussiens est l'extension du gaussien multivarié pour éventuellement infini . Ainsi, vous pouvez utiliser la divergence KL entre les distributions de probabilité GP en intégrant sur :X R XXRXRX

DKL(P|Q)=RXlogdPdQdP.

Vous pouvez utiliser des méthodes MC pour approximer numériquement cette quantité sur un discrétisé en échantillonnant à plusieurs reprises les processus en fonction de leur distribution GP. Je ne sais pas si la vitesse de convergence est suffisamment bonne ...X

Remarquez que si est fini avec , alors vous revenez à la divergence KL habituelle pour les distributions normales multivariées: | X | = n D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = 1X|X|=n

DKL(GP(μ1,K1),GP(μ2,K2))=12(tr(K21K1)+(μ2μ1)K21(μ2μ1)n+log|K2||K1|)
Emile
la source
Comment puis-je calculer deux moyennes (mu1 et mu2) que vous avez mentionnées. Ou devrais-je les prendre égaux à zéro comme d'habitude pour le processus gaussien?
Marat Zakirov
4

Rappelez-vous que si est un processus gaussien avec une fonction moyenne m et une fonction de covariance K , alors, pour chaque t 1 , , t kT , le vecteur aléatoire ( X ( t 1 ) , , X ( t k ) ) a une distribution normale multivariée avec un vecteur moyen ( m ( t 1 ) , , mX:T×ΩRmKt1,,tkT(X(t1),,X(tk)) et matrice de covariance Σ = ( σ i j ) = ( K ( t i , t j ) ) , où nous avons utilisé l'abréviation commune X ( t ) = X ( t ,(m(t1),,m(tk))Σ=(σij)=(K(ti,tj)) .X(t)=X(t,)

Chaque réalisation est une fonction réelle dontdomaine est l'ensembleindices T . Supposons que T = [ 0 , 1 ] . Étant donné deux processus gaussiens X et Y , une distance commune entre deux réalisations X (X(,ω)TT=[0,1]XY et Y (X(,ω) est sup t [ 0 , 1 ] | X ( t , ω ) - Y ( t , ω ) | . Par conséquent, il semble naturel de définir la distance entre les deux processus X et Y comme d ( X , Y ) = EY(,ω)supt[0,1]|X(t,ω)Y(t,ω)|XY Je ne sais pas s'il existe une expression analytique pour cette distance, mais je pense que vous pouvez calculer une approximation de Monte Carlo comme suit. Fixer une grille fine 0 t 1 < < t k1 et tirer des échantillons ( x i 1 , , x i k ) et ( y i 1 , , y i k ) à partir des vecteurs aléatoires normaux , , X ( t

d(X,Y)=E[supt[0,1]|X(t)Y(t)|].()
0t1<<tk1(xi1,,xik)(yi1,,yik) et ( Y ( t 1 ) , ... , Y ( t k ) ) , respectivement, pour i = 1 , ... , N . D approximatif ( X , Y )(X(t1),,X(tk))(Y(t1),,Y(tk))i=1,,Nd(X,Y) par
1Ni=1Nmax1jk|xijyij|.
Zen
la source
Comment échantillonnez-vous à partir de chaque vecteur? Si vous échantillonnez uniquement les moyennes dans chacun des médecins généralistes, vous ne tenez pas compte des écarts. Sinon, vous devrez concevoir une technique d'échantillonnage cohérente.
pushkar
Ceci est une excellente ressource: gaussianprocess.org/gpml/chapters
Zen
Vous pouvez également lire toutes les réponses à cette question: stats.stackexchange.com/questions/30652/…
Zen
Attention, ce n'est pas une distance puisque . Comme le KL compare deux distributions et non deux réalisations, la distance de Zen entre deux GP doit être définie comme d ( G 1 , G 2 ) = E X G 1 , Y G 2 [ sup t | X ( t ) - Y ( t ) | ] , et nous avons qued(X,X)0d(G1,G2)=EXG1,YG2[supt|X(t)Y(t)|]pournon dégénéré processus gaussienG. EXG,YGsupt|X(t)Y(t)|>0G
Emile
@Emile: comment se fait-il que utilise la définition ( ) ? d(X,X)0()
Zen