L'origine du terme «régularisation»

Lorsque je présente des concepts à mes élèves, je trouve souvent amusant de leur dire d'où vient la terminologie («régression», par exemple, est un terme avec une origine intéressante). Je n'ai pas pu retracer l'historique / le contexte du terme "régularisation" en statistique / apprentissage automatique.

Alors, quelle est l'origine du terme régularisation ?

Semblable à la contribution de Matthew Gunn , ce n'est pas non plus vraiment une réponse, mais plutôt un candidat plausible.

J'ai également entendu parler pour la première fois du terme "régularisation" dans le contexte de la régularisation de Tikhonov , et en particulier dans le contexte des problèmes inverses (linéaires) en géophysique. Fait intéressant, alors que j'avais pensé que c'était probablement dû à mon domaine d'études (c'est-à-dire voir mon nom d'utilisateur), apparemment Tikhonov a en fait fait une grande partie de son travail dans ce domaine!

Mon intuition est que l'approche « régularisation » moderne probablement ne provient du travail de Tikhonov. Faisant fond sur cette spéculation, ma contribution ici comporte deux parties.

La première partie est (fauteuil-) de nature historique (basée sur la lecture des titres papier et mes propres préjugés!). Bien que le document de 1963 intitulé Solution of incorrectly formulated problems and the regularization method semble être la première utilisation du terme "regularization", je ne serais pas trop certain que cela soit vrai. Cette référence est citée dans Wikipedia comme

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504. Traduit en "Solution de problèmes mal formulés et méthode de régularisation". Mathématiques soviétiques. 4: 1035-1038.

donnant l'impression que Tikhonov lui-même a écrit au moins une partie de ce travail en russe à l'origine, de sorte que l'expression «régularisation» aurait pu être inventée par un traducteur ultérieur. [MISE À JOUR: Non, "регуляризации" = régularisation , voir commentaire de Cagdas Ozgenc.] En outre, ce travail semble faire partie d'une ligne de recherche continue menée par Tikhonov sur une période beaucoup plus longue . Par exemple le papier

Tikhonov, Andrey Nikolaïevitch (1943). "Об устойчивости обратных задач" [Sur la stabilité des problèmes inverses]. Doklady Akademii Nauk SSSR. 39 (5): 195-198.

montre qu'il était engagé dans le même sujet général au moins 20 ans auparavant. Cependant, cette chronologie suggère que le travail sur le problème inverse a probablement commencé beaucoup plus près de 1963 qu'en 1943.

[ MISE À JOUR: Cette traduction de l'article de 1943 montre que la terminologie pour la « régularité » de était ici utilisée pour désigner la «stabilité du problème inverse (ou la continuité de la cartographie inverse)» .]

La deuxième partie de ma contribution est une hypothèse sur la manière dont la «régularisation» pouvait avoir été initialement prévue dans ce contexte. Assez couramment «régulier» est utilisé comme synonyme de «lisse», notamment pour décrire la géométrie des courbes et / ou des surfaces. Dans la plupart des applications géophysiques, la solution souhaitée est une estimation quadrillée d'un champ distribué spatialement , et la régularisation de Tikhonov est utilisée pour imposer un lissage préalable.

(La matrice de Tikhonov sera généralement un opérateur dérivé spatial discret , semblable aux matrices PDE, par rapport à la matrice d'identité de régression de crête. En effet, pour ces grilles / modèles avancés, l'espace nul de la matrice du modèle avancé a tendance à inclure des choses comme les "modes en damier" qui pollueront les résultats à moins d'être pénalisés; similaire à cela ).

Mise à jour: Ces problèmes sont illustrés dans ma réponse ici .

Sommaire

1. J'ai également voté pour Tikhonov en tant que créateur (probablement vers 1963)
2. Les applications originales peuvent avoir été la modélisation géophysique inverse, donc le terme "régularisation" peut se référer à rendre les cartes résultantes * plus lisses, c'est-à-dire "régulières".

(* Sur la base de la citation mise à jour de l'article de 1943, cette formulation semble être vraie ... mais pour la mauvaise raison! La "carte" pertinente n'était pas entre la grille et le champ, , mais le mappage inverse à partir d'un modèle avancé .)$u[x]=F[\theta]$$\theta=F^{-1}[u]$

Ceci est en partie une réponse, en partie un long commentaire. Une liste incomplète de candidats:

1. Tikhonov, Andrey. "Solution de problèmes mal formulés et méthode de régularisation." Mathématiques soviétiques. Dokl .. Vol. 5. 1963. Tikhonov est connu pour la régularisation de Tikhonov (également connue sous le nom de régression de crête).

2. Il y a un concept de régularisation en physique qui remonte au moins aux années 40, mais je ne vois aucun lien avec la régularisation de Tikhonov? (Je ne suis pas physicien cependant.)

3. Les textes d'ingénierie parlent de régularisation d'une rivière (pour améliorer la navigation) remontant au moins aux années 1880.

En cherchant sur http://books.google.com , je ne vois pas d'utilisation généralisée du terme "régularisation" jusqu'aux années 1970, quand il commence à apparaître encore et encore et encore dans le contexte des livres de mathématiques et de physique.

Plus simplement, le terme a survécu à l'évolution naturelle des termes scientifiques, car il capture l'objectif central de la technique: d'un tas de solutions à un problème mal posé, il choisit les solutions qui sont régulières , c'est-à-dire

selon la règle

( définition du dictionnaire gratuit )

Ceci est également utilisé dans le langage courant pour concevoir une surface lisse en menuiserie par exemple. De même, les solutions d'un problème de régression sembleront plus régulières si la règle est de minimiser la variation totale (TV) des bits non lisses du signal reconstruit (tel que mesuré par l'énergie totale du gradient par exemple).

$\ell_0$