Régression incrémentale du processus gaussien

11

Je veux implémenter une régression de processus gaussienne incrémentielle en utilisant une fenêtre glissante sur les points de données qui arrivent un par un via un flux.

Soit la dimensionnalité de l'espace d'entrée. Ainsi, chaque point de données a nombre d'éléments.dxid

Soit la taille de la fenêtre coulissante.n

Afin de faire des prédictions, je dois calculer l'inverse de la matrice de grammes , où et k est le noyau exponentiel au carré.KKij=k(xi,xj)

Afin d'éviter que K ne grossisse à chaque nouveau point de données, j'ai pensé que je pourrais supprimer le plus ancien point de données avant d'ajouter de nouveaux points et de cette façon j'empêche le gramme de croître. Par exemple, supposons que où est la covariance des poids et est la fonction de mappage implicite impliquée par le noyau exponentiel au carré.K=ϕ(X)TΣϕ(X)Σϕ

Soit maintenant ] et où les sont des matrices par colonne.X=[xtn+1|xtn+2|...|xtXnew=[xtn+2|...|xt|xt+1]xd1

Je besoin d' un moyen efficace de trouver le potentiellement en utilisant . Cela ne ressemble pas à l'inverse d'un problème de matrice mis à jour de rang 1 qui peut être traité efficacement avec la formule de Sherman-Morrison.Knew1K

bfaskiplar
la source

Réponses:

8

Il y a eu plusieurs algorithmes récursifs pour ce faire. Vous devriez jeter un œil à l'algorithme des moindres carrés récursifs du noyau (KRLS) et aux algorithmes de GP en ligne associés.

Memming
la source
Merci beaucoup pour ces excellents pointeurs!
bfaskiplar
-1

L'estimation pas à pas des modèles GP est bien étudiée dans la littérature. L'idée sous-jacente est, au lieu de conditionner toutes les nouvelles observations que vous souhaitez prédire, de conditionner le point à un pas et de le faire à plusieurs reprises. Cela devient en quelque sorte proche du filtrage Kalman.

Wis
la source
Cette réponse serait améliorée si elle citait un livre, un article ou une autre publication savante.
Sycorax dit Réintégrer Monica le