La divergence de Kullback-Leibler est une métrique pour comparer deux fonctions de densité de probabilité, mais quelle métrique est utilisée pour comparer deux GP et ?Y
gaussian-process
metric
pushkar
la source
la source
Réponses:
Remarquez que la distribution des processus gaussiens est l'extension du gaussien multivarié pour éventuellement infini . Ainsi, vous pouvez utiliser la divergence KL entre les distributions de probabilité GP en intégrant sur :X R XX→R X RX
Vous pouvez utiliser des méthodes MC pour approximer numériquement cette quantité sur un discrétisé en échantillonnant à plusieurs reprises les processus en fonction de leur distribution GP. Je ne sais pas si la vitesse de convergence est suffisamment bonne ...X
Remarquez que si est fini avec , alors vous revenez à la divergence KL habituelle pour les distributions normales multivariées: | X | = n D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = 1X |X|=n
la source
Rappelez-vous que si est un processus gaussien avec une fonction moyenne m et une fonction de covariance K , alors, pour chaque t 1 , … , t k ∈ T , le vecteur aléatoire ( X ( t 1 ) , … , X ( t k ) ) a une distribution normale multivariée avec un vecteur moyen ( m ( t 1 ) , … , mX:T×Ω→R m K t1,…,tk∈T (X(t1),…,X(tk)) et matrice de covariance Σ = ( σ i j ) = ( K ( t i , t j ) ) , où nous avons utilisé l'abréviation commune X ( t ) = X ( t ,(m(t1),…,m(tk)) Σ=(σij)=(K(ti,tj)) .X(t)=X(t,⋅)
Chaque réalisation est une fonction réelle dontdomaine est l'ensembleindices T . Supposons que T = [ 0 , 1 ] . Étant donné deux processus gaussiens X et Y , une distance commune entre deux réalisations X (X(⋅,ω) T T=[0,1] X Y et Y (X(⋅,ω) est sup t ∈ [ 0 , 1 ] | X ( t , ω ) - Y ( t , ω ) | . Par conséquent, il semble naturel de définir la distance entre les deux processus X et Y comme
d ( X , Y ) = EY(⋅,ω) supt∈[0,1]|X(t,ω)−Y(t,ω)| X Y
Je ne sais pas s'il existe une expression analytique pour cette distance, mais je pense que vous pouvez calculer une approximation de Monte Carlo comme suit. Fixer une grille fine 0 ≤ t 1 < ⋯ < t k ≤ 1 et tirer des échantillons ( x i 1 , … , x i k ) et ( y i 1 , … , y i k ) à partir des vecteurs aléatoires normaux , … , X ( t
la source