Quel est le lien entre la régularisation et la méthode des multiplicateurs de lagrange?

Pour éviter de sur-adapter les gens, les gens ajoutent un terme de régularisation (proportionnel à la somme au carré des paramètres du modèle) avec un paramètre de régularisation à la fonction de coût de la régression linéaire. Ce paramètre λ est-il le même qu'un multiplicateur de décalage? La régularisation est-elle la même que la méthode du multiplicateur de lagrange? Ou comment ces méthodes sont-elles connectées? $\lambda$$\lambda$

Supposons que nous optimisons un modèle avec des paramètres , en minimisant certains critères f ( → θ ) soumis à une contrainte sur l'amplitude du vecteur de paramètres (par exemple pour mettre en œuvre une approche de minimisation structurelle des risques en construisant un ensemble imbriqué de modèles d'augmentation complexité), il faudrait résoudre:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Le Lagrangien pour ce problème est (mise en garde: je pense que ça a été une longue journée ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

$\lambda$$C$

$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

sera également disponible sous la contrainte

$\|\vec{\theta}\|^2 < C_1$

$\lambda$