Essayer de comprendre le processus gaussien

Je lis le livre GPML et au chapitre 2 (page 15) , il explique comment effectuer une régression en utilisant le processus gaussien (GP), mais j'ai du mal à comprendre comment cela fonctionne.

Dans l'inférence bayésienne pour les modèles paramétriques, nous choisissons d'abord un a priori sur les paramètres du modèle , c'est-à-dire ; deuxièmement, étant donné les données d'apprentissage , nous calculons la vraisemblance ; et enfin nous avons le postérieur de comme , qui sera utilisé dans la distribution prédictive , et ce qui précède est ce que nous faisons dans l'inférence bayésienne pour les modèles paramétriques, non? $\theta$ $p(\theta)$ $D$ $p(D|\theta)$ $\theta$ $p(\theta|D)$

p (y^{*} | x^{*}, D) = \int p (y^{*} | x^{*}, θ) p (θ | D) d θ

$p(y^*|x^*,D)=\int p(y^*|x^*,\theta)p(\theta|D)d\theta$

Eh bien, comme dit dans le livre, GP est non paramétrique, et pour autant que je le comprenne, après avoir spécifié la fonction moyenne et la fonction de covariance , nous avons un GP sur la fonction , , et c'est le prieur de . Maintenant, j'ai un ensemble de données d'entraînement sans bruit， Je pensais que je devrais calculer la probabilité puis le postérieur , et enfin utiliser le postérieur pour faire des prédictions. $m(x)$ $k(x,x')$ $f$

f \sim G P (m, k)

$f \sim GP(m,k)$

f

$f$

D = {(x_{1}, f_{1}), . . ., (x_{n}, f_{n})}

$D=\{(x_1,f_1),...,(x_n,f_n)\}$

p (D | f)

$p(D|f)$

p (f | D)

$p(f|D)$

CEPENDANT, ce n'est pas ce que fait le livre! Je veux dire, après avoir spécifié le précédent , il ne calcule pas la probabilité et la position postérieure, mais va simplement de l'avant à la prédiction prédictive. $p(f)$

Question:

1) Pourquoi ne pas calculer la probabilité et la valeur postérieure? Tout simplement parce que GP n'est pas paramétrique, donc nous ne faisons pas cela?

2) Comme ce qui est fait dans le livre (page 15 ~ 16), il dérive la distribution prédictive via la distribution conjointe de l'ensemble de données de formation et de l'ensemble de données de test , qui est appelé prioritaire conjoint . D'accord, cela me confond beaucoup, pourquoi les joindre ensemble? $\textbf f$ $\textbf f^*$

3) J'ai vu certains articles appeler la variable latente , pourquoi? $f$

machine-learning gaussian-process Avocat
la source

Personnellement, je ne pense pas que la régression GP appartient à l'inférence bayésienne, car elle ne suit pas les étapes de l'approche bayésienne. La distribution dite prédictive en GP est dérivée en joignant les données de formation et de test dans le précédent , puis en conditionnant les données de formation, elle n'utilise pas de vraisemblance ou de postérieur.

avocat

Réponses:

et ce qui précède est ce que nous faisons dans l'inférence bayésienne pour les modèles paramétriques, non?

Le livre utilise la moyenne des modèles bayésiens, qui est la même pour les modèles paramétriques ou toute autre méthode bayésienne, étant donné que vous avez postérieur sur vos paramètres.

J'ai maintenant un ensemble de données d'entraînement sans bruit

Il n'a pas besoin d'être «sans bruit». Voir les pages suivantes.

CEPENDANT, ce n'est pas ce que fait le livre! Je veux dire, après avoir spécifié le p (f) précédent, il ne calcule pas la probabilité et la position postérieure, mais va simplement de l'avant à la prédiction prédictive.

Voir ceci: https://people.cs.umass.edu/~wallach/talks/gp_intro.pdf

Je crois qu'à la page 17, nous avons la probabilité antérieure et, plus tard, la probabilité. Je crois que si vous écrivez les dérivations et trouvez le postérieur, puis la moyenne sur le postérieur pour la prédiction (comme dans la vue de l'espace de poids), il en résultera les mêmes équations qu'à la page 19 pour la moyenne et la covariance.

Daniel
la source

Merci pour votre réponse, mais j'ai déjà vu que de nombreux livres ne mentionnent pas du tout le bayésien, ils calculent simplement la distribution conditionnelle , et disent que c'est le postérieur, qu'est-ce qui se passe?

p (f^{*} | f)

$p(f^*|f)$

avocat le

Trouver le conditionnel consiste essentiellement à utiliser la formule de Bayes. Écrire des trucs dans la formulation bayésienne conventionnelle est un peu lourd pour les médecins généralistes; ils se réfèrent simplement à trouver le conditionnel et ....

Daniel

AFAIK, le conditionnel est calculé de cette façon, , mais la formule de Bayes est . Je ne vois pas pourquoi la recherche conditionnelle utilise la formule de Bayes, pourriez-vous s'il vous plaît être plus précis?

p (x | y) = p (x, y) / p (y)

$p(x|y)=p(x,y)/p(y)$

p (x | y) = p (y | x) p (x) / p (y)

$p(x|y)=p(y|x)p(x)/p(y)$

avocat

Et comme vous l'avez dit dans le commentaire, "écrire des trucs dans la formulation bayésienne conventionnelle est lourd pour les médecins généralistes", par formulation bayésienne conventionnelle , vouliez-vous dire, calculez d'abord la partie postérieure

p (f | D)

$p(f|D)$ , puis calculez la distribution prédictive

p (f^{*} | D) = \int p (f^{*} | f) p (f | D) d f

$p(f^*|D)=\int p(f^*|f)p(f|D)df$ .

avocat