La descente en gradient et de nombreuses autres méthodes sont utiles pour trouver des minima locaux dans les fonctions de coût. Ils peuvent être efficaces lorsque la fonction de coût peut être évaluée rapidement à chaque point, que ce soit numériquement ou analytiquement. J'ai ce qui me semble être...
Il existe d'importantes recherches contemporaines sur l'optimisation bayésienne (1) pour le réglage des hyperparamètres ML. La motivation principale ici est qu'un nombre minimal de points de données est nécessaire pour faire des choix éclairés sur les points qui valent la peine d'être essayés (les...
Contexte et problème J'utilise des processus gaussiens (GP) pour la régression et l'optimisation bayésienne subséquente (BO). Pour la régression, j'utilise le paquet gpml pour MATLAB avec plusieurs modifications personnalisées, mais le problème est général. C'est un fait bien connu que lorsque deux...
Je suis relativement nouveau dans l'apprentissage automatique et les statistiques, mais je me demandais pourquoi l'optimisation bayésienne n'est pas référée plus souvent en ligne lors de l'apprentissage de l'apprentissage automatique pour optimiser les hyperparamètres de votre algorithme. Par...
J'essaye de l'optimisation bayésienne, suivant Snoek, Larochelle et Adams [ http://arxiv.org/pdf/1206.2944.pdf] , en utilisant GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . J'ai implémenté la fonction d'acquisition Expected Improvement décrite à la page 3, et je suppose que j'ai...
Les deux processus semblent être utilisés pour estimer la valeur maximale d'une fonction inconnue, et les deux ont évidemment des façons différentes de le faire. Mais dans la pratique, l'une ou l'autre méthode est-elle essentiellement interchangeable? Où voudrais-je utiliser l'un sur l'autre?...
Une fonction boîte noire F:Rn→ RF:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R}, qui est évalué ponctuellement soumis au bruit gaussien, à savoir, F( x ) + N( μ ( x ) , σ( x)2)F(X)+N(μ(X),σ(X)2)f(x) + \mathcal{N}(\mu(x),\sigma(x)^2), peut être minimisé en utilisant l'optimisation bayésienne où un...