Pourquoi les modèles de processus gaussiens sont-ils appelés non paramétriques?

26

Je suis un peu confus. Pourquoi les processus gaussiens sont-ils appelés modèles non paramétriques?

Ils supposent que les valeurs fonctionnelles, ou un sous-ensemble d'entre elles, ont un a priori gaussien avec une moyenne 0 et une fonction de covariance donnée comme fonction du noyau. Ces fonctions du noyau elles-mêmes ont certains paramètres (c'est-à-dire des hyperparamètres).

Alors pourquoi sont-ils appelés modèles non paramétriques?

nonparametric gaussian-process user34790
la source

1

Je connais plusieurs définitions des «processus gaussiens», donc il n'est pas évident de savoir ce que votre question demande vraiment. Mais alors que vous réfléchissez à la façon de le clarifier, posez-vous la question suivante: comment définiriez-vous exactement le processus gaussien que vous avez en tête? Si vous ne pouvez pas le faire de manière naturelle avec un nombre fini de paramètres réels, alors il doit être considéré comme non paramétrique.

whuber

@whuber. AFAIK, les principaux paramètres des processus gaussiens sont la fonction moyenne et la fonction de covariance. Mais à mesure que nous continuons à ajouter des points de données, ils continuent d'augmenter. Il continue donc d'augmenter. Est-ce pour cela que les processus gaussiens sont qualifiés de non paramétriques?

user34790

@whuber Si j'ai des millions de points de données d'entraînement, alors mon GP f ~ N (m, k) sera une distribution gaussienne multivariée d'un million de dimensions. N'est-ce pas trop gros? Je veux dire que de nouvelles données d'entraînement arrivent, elles deviennent de plus en plus grandes. Cela ne donne-t-il pas lieu à un problème de calcul?

user34790

1

«Paramétrique» et «non paramétrique» sont des termes qui ne s'appliquent pas à des processus particuliers: ils s'appliquent à toute la famille de processus qui pourraient être adaptés aux données. Bien que je ne sache toujours pas quelle famille vous avez en tête, cela ressemble à bien que le nombre de paramètres puisse être fini en toutes circonstances, il n'y a pas de limite au nombre de paramètres qui peuvent apparaître parmi les membres de la famille : ergo, le problème n'est pas paramétrique.

whuber

20

$M_\theta$ $\{M_\theta: \theta \in \Theta\}$ $\Theta$

$(Y_i, X_i), i = 1, ..., n$ $E(Y|X = x) := f(x)$

Y_{i} = f (X_{i}) + ϵ_{i}

$Y_i = f(X_i) + \epsilon_i$

ϵ_{i}

$\epsilon_i$

ϵ_{i} \sim N (0, σ^{2})

$\epsilon_i \sim N(0, \sigma^2)$

X_{i}

$X_i$

$X_i$ $f(\cdot)$

$f$ $f$ $f$ $f$

Modifier pour les problèmes de calcul

La plupart (tous?) De ces choses sont dans le livre Gaussian Process de Rasmussen et Williams.

$O(N^2)$ $O(N^3)$ $v$ $(K + \sigma^2 I)v = Y$ $K$ $O(N^3)$ $k$ $O(kN^2)$ $K$

$O(N^3)$ $O(kN^2)$ $N$ $m$ $m \times m$ $Y$ $N$ $m$ $O(m^2 N)$

$K$ $K = QQ^T$ $Q$ $n \times q$ $q$ $K + \sigma^2 I$ $Q^TQ + \sigma^2 I$

gars
la source

8

D'une manière générale, le «non paramétrique» en non paramétrique bayésien fait référence à des modèles avec un nombre infini de paramètres (potentiels). Il y a beaucoup de tutoriels et de conférences vraiment sympas sur le sujet sur videolectures.net ( comme celui-ci ) qui donnent de belles vues d'ensemble de cette classe de modèles.

Plus précisément, le processus gaussien (GP) est considéré comme non paramétrique car un GP représente une fonction (c'est-à-dire un vecteur de dimension infinie). À mesure que le nombre de points de données augmente ((x, f (x)) paires), le nombre de «paramètres» du modèle augmente (restreignant la forme de la fonction). Contrairement à un modèle paramétrique, où le nombre de paramètres reste fixe par rapport à la taille des données, dans les modèles non paramétriques, le nombre de paramètres croît avec le nombre de points de données.

Entaille
la source

C'est exactement ce que je supposais. Donc, mon hypothèse est juste, je suppose. Mais ma question est de savoir si j'ai des millions de points (données observées). Ensuite, mon f sera également de millions de dimensions. Donc, je n'aurais pas de problèmes de calcul. De plus, ma matrice de covariance sera également de taille 1 million x 1 million. Alors, que dois-je faire dans ce cas?

user34790

@ user34790 oui, vous auriez des problèmes de calcul. Les défis informatiques sont assez importants pour les médecins généralistes. Rasmussen et Williams ont un livre sur les médecins généralistes avec un chapitre entier dédié à cela, et si vous cherchez assez sur Google, vous pouvez le trouver en ligne gratuitement. Voir mon article mis à jour pour quelques détails minimes.

gars

1

Les paramètres que vous avez appelés hyperparamètres ne sont pas des paramètres motivés physiquement et donc le nom. Ils sont utilisés pour paramétrer uniquement la fonction du noyau. Pour donner un exemple, dans un noyau gaussien:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

$h$ $\lambda$

Ce problème a également été abordé dans cette conférence , il pourrait aider à mieux comprendre.

camillejr
la source

Pourquoi les modèles de processus gaussiens sont-ils appelés non paramétriques?

Réponses: