Un hyperparamètre est simplement un paramètre qui influe, en tout ou en partie, sur d'autres paramètres. Ils ne résolvent pas directement le problème d'optimisation auquel vous êtes confronté, mais optimisent plutôt les paramètres qui peuvent résoudre le problème (d'où l' hyper , car ils ne font pas partie du problème d'optimisation, mais sont plutôt des "addons"). Pour ce que j'ai vu, mais je n'ai aucune référence, cette relation est unidirectionnelle (un hyperparamètre ne peut pas être influencé par les paramètres sur lesquels il a une influence, donc aussi l' hyper ). Ils sont généralement introduits dans les schémas de régularisation ou de méta-optimisation.
Par exemple, votre paramètre peut influencer librement μ et σ pour ajuster le coût de régularisation (mais μ et σ n'ont aucune influence sur λ ). Ainsi, λ est un hyperparamètre pour μ et σ . Si vous aviez un paramètre τ supplémentaire influençant λ , ce serait un hyperparamètre pour λ , et un hyperhyperparamètre pour μ et σ (mais je n'ai jamais vu cette nomenclature, mais je ne pense pas que ce serait mal si je le voyais) .λμσμσλλμστλλμσ
J'ai trouvé le concept d'hyperparamètre très utile pour la validation croisée, car il vous rappelle la hiérarchie des paramètres, tout en vous rappelant que si vous modifiez toujours des (hyper-) paramètres, vous êtes toujours en cours de validation croisée et ne généralisez pas, vous devez donc restez prudent dans vos conclusions (pour éviter la pensée circulaire).