En régression linéaire, pourquoi la régularisation pénalise-t-elle également les valeurs des paramètres?

J'apprends actuellement la régression des crêtes et j'étais un peu confus au sujet de la pénalisation des modèles plus complexes (ou de la définition d'un modèle plus complexe).

D'après ce que je comprends, la complexité du modèle n'est pas nécessairement en corrélation avec l'ordre polynomial. Donc:

Et je sais que le point de régularisation est de maintenir la complexité du modèle faible, alors disons par exemple que nous avons un polynôme de cinquième ordre

Plus il y a de paramètres à 0, mieux c'est.

Mais ce que je ne comprends pas, c'est que si c'était le même polynôme d'ordre, pourquoi les valeurs de paramètres inférieures sont-elles moins pénalisées? Alors pourquoi:

Je vous remercie!

les valeurs des paramètres dépendent simplement des données

C'est l'élément clé de votre question. C'est là que vous êtes confus.

Oui, les valeurs des paramètres dépendent des données. Mais les données sont fixes lorsque nous ajustons un modèle. En d'autres termes, nous ajustons un modèle conditionnel aux observations . Il n'est pas logique de comparer la complexité de différents modèles qui ont été adaptés à différents ensembles de données .

Et dans le contexte d'un ensemble de données fixe, un modèle

est en effet plus proche du modèle le plus simple possible, à savoir le modèle zéro plat, que

et cela vaut quelle que soit l'échelle de vos observations.

$2$$433$$2$$433$