On dit souvent que la régression du processus gaussien correspond (GPR) à la régression linéaire bayésienne avec une quantité (éventuellement) infinie de fonctions de base. J'essaie actuellement de comprendre cela en détail pour avoir une intuition sur le type de modèles que je peux exprimer en utilisant GPR.
- Pensez-vous que c'est une bonne approche pour essayer de comprendre le GPR?
Dans le livre Gaussian Processes for Machine learning, Rasmussen et Williams montrent que l'ensemble des processus gaussiens décrits par le noyau exponentiel carré paramétré peut être décrite de manière équivalente comme une régression bayésienne avec une croyance préalablesur les poids et une quantité infinie de fonctions de base de la forme Ainsi, le paramétrage du noyau pourrait être entièrement traduit en paramétrage des fonctions de base.
- Le paramétrage d'un noyau différenciable peut-il toujours être traduit en paramétrage des fonctions a priori et de base ou existe-t-il des noyaux différenciables où par exemple le nombre de fonctions de base dépend de la configuration?
Ma compréhension jusqu'à présent est que pour une fonction de noyau fixe k (x, x '), le théorème de Mercer nous dit que peut être exprimé comme où est une fonction soit dans les réels soit dans les nombres complexes. Ainsi, pour un noyau donné, le modèle de régression bayésien correspondant a préalablement et des fonctions de base . Ainsi, chaque GP peut même être formulé comme un modèle de régression linéaire bayésien avec un a priori diagonal. Cependant, si nous utilisons maintenant le théorème de mercers pour chaque configuration d'un noyau paramétré
Ma prochaine question porte sur l'inverse du théorème des mercers.
- Quels ensembles de fonctions de base conduisent à des noyaux valides?
Et l'extension
- Quels ensembles de fonctions de base paramétrées conduisent à des noyaux différenciables valides?
la source