Régression incrémentale du processus gaussien

Je veux implémenter une régression de processus gaussienne incrémentielle en utilisant une fenêtre glissante sur les points de données qui arrivent un par un via un flux.

Soit la dimensionnalité de l'espace d'entrée. Ainsi, chaque point de données a nombre d'éléments.$d$$x_i$$d$

Soit la taille de la fenêtre coulissante.$n$

Afin de faire des prédictions, je dois calculer l'inverse de la matrice de grammes , où et k est le noyau exponentiel au carré.$K$$K_{ij} = k(x_i, x_j)$

Afin d'éviter que K ne grossisse à chaque nouveau point de données, j'ai pensé que je pourrais supprimer le plus ancien point de données avant d'ajouter de nouveaux points et de cette façon j'empêche le gramme de croître. Par exemple, supposons que où est la covariance des poids et est la fonction de mappage implicite impliquée par le noyau exponentiel au carré.$K = \phi(X)^{T}\Sigma\phi(X)$$\Sigma$$\phi$

Soit maintenant ] et où les sont des matrices par colonne.$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

Je besoin d' un moyen efficace de trouver le potentiellement en utilisant . Cela ne ressemble pas à l'inverse d'un problème de matrice mis à jour de rang 1 qui peut être traité efficacement avec la formule de Sherman-Morrison.$K_{new}^{-1}$$K$

Il y a eu plusieurs algorithmes récursifs pour ce faire. Vous devriez jeter un œil à l'algorithme des moindres carrés récursifs du noyau (KRLS) et aux algorithmes de GP en ligne associés.

• Van Vaerenbergh, S., Santamaria, I., Liu, W., et Principe, JC (2010). Les moindres carrés récursifs du noyau à budget fixe . Dans Acoustics Speech and Signal Processing (ICASSP), 2010 IEEE International Conference on, pages 1882-1885. IEEE.
• Lazaro-Gredilla, M., Van Vaerenbergh, S., et Santamaria, I. (2011). Une approche bayésienne du suivi avec les moindres carrés récursifs du noyau . Dans Machine Learning for Signal Processing (MLSP), 2011 IEEE International Workshop, pages 1-6. IEEE.
• Perez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, JJ, Lazaro-Gredilla, M., et Santamaria, I. (2013). Processus gaussiens pour le traitement du signal non linéaire: un aperçu des progrès récents . IEEE Signal Processing Magazine, 30 (4): 40-50.

L'estimation pas à pas des modèles GP est bien étudiée dans la littérature. L'idée sous-jacente est, au lieu de conditionner toutes les nouvelles observations que vous souhaitez prédire, de conditionner le point à un pas et de le faire à plusieurs reprises. Cela devient en quelque sorte proche du filtrage Kalman.