Que signifie une "solution en forme fermée"?

J'ai souvent rencontré le terme "solution de forme fermée". Que signifie une solution sous forme fermée? Comment détermine-t-on si une solution proche existe pour un problème donné? En recherchant en ligne, j'ai trouvé des informations, mais rien dans le cadre de l'élaboration d'un modèle / solution statistique ou probabiliste.

Je comprends très bien la régression, donc si quelqu'un peut expliquer le concept en se référant à la régression ou à l'ajustement du modèle, il sera facile à consommer. :)

"Une équation est dite solution de forme fermée si elle résout un problème donné en termes de fonctions et d'opérations mathématiques à partir d'un ensemble donné généralement accepté. Par exemple, une somme infinie ne serait généralement pas considérée comme une forme fermée. le choix de ce qu'il faut appeler forme fermée ou non est plutôt arbitraire, car une nouvelle fonction "forme fermée" pourrait simplement être définie en termes de somme infinie. " --Wolfram Alpha

et

"En mathématiques, une expression est dite être sous forme fermée si elle peut être exprimée de manière analytique en termes de nombre fini de certaines fonctions" bien connues ". Typiquement, ces fonctions bien connues sont définies comme étant des fonctions élémentaires - constantes, une variable x, opérations arithmétiques élémentaires (+ - × ÷), racines nièmes, exposant et logarithme (qui incluent donc également des fonctions trigonométriques et des fonctions trigonométriques inverses). On dit souvent que les problèmes sont traitables s’ils peuvent être résolus en termes d'une expression de forme fermée ". -- Wikipédia

Un exemple de solution de forme fermée en régression linéaire serait l’équation des moindres carrés

La plupart des procédures d'estimation impliquent de trouver des paramètres qui minimisent (ou maximisent) une fonction objective. Par exemple, avec MCO, nous minimisons la somme des résidus au carré. Avec l’estimation du maximum de vraisemblance, nous maximisons la fonction log-vraisemblance. La différence est triviale: la minimisation peut être convertie en maximisation en utilisant le négatif de la fonction objectif.

Parfois, ce problème peut être résolu algébriquement en produisant une solution de forme fermée. Avec OLS, vous résolvez le système de conditions de premier ordre et obtenez la formule familière (bien que vous ayez probablement encore besoin d’un ordinateur pour évaluer la réponse). Dans d'autres cas, cela n'est pas mathématiquement possible et vous devez rechercher des valeurs de paramètres à l'aide d'un ordinateur. Dans ce cas, l'ordinateur et l'algorithme jouent un rôle plus important. Les moindres carrés non linéaires en sont un exemple. Vous n'obtenez pas une formule explicite; tout ce que vous obtenez est une recette que vous devez mettre en œuvre sur ordinateur. La recette peut commencer par une première estimation de la nature des paramètres et de leur variation. Vous essayez ensuite différentes combinaisons de paramètres et vous voyez lequel vous donne la valeur de fonction objectif la plus basse / la plus élevée. C'est l'approche de la force brute et prend beaucoup de temps. Par exemple,$10^5$ combinaisons, et cela vous met simplement dans le voisinage de la bonne réponse si vous êtes chanceux. Cette approche s'appelle la recherche par grille.

Vous pouvez également commencer par une estimation et l'affiner dans une certaine direction jusqu'à ce que les améliorations de la fonction objectif soient inférieures à une valeur. Celles-ci sont généralement appelées méthodes de gradient (bien que d'autres n'utilisent pas le gradient pour choisir la direction dans laquelle aller, comme les algorithmes génétiques et le recuit simulé). Certains problèmes, comme celui-ci, vous garantissent de trouver rapidement la bonne réponse (fonctions objectives quadratiques). D'autres ne donnent aucune telle garantie. Vous craignez peut-être de ne pas être optimisé au niveau local, mais plutôt global, de sorte que vous essayez une série de suppositions initiales. Vous constaterez peut-être que des paramètres très différents vous donnent la même valeur que la fonction objectif, vous ne savez donc pas quel jeu choisir.

Voici un bon moyen d'obtenir l'intuition. Supposons que vous ayez un modèle de régression exponentiel simple où le seul régresseur est l'interception:

La fonction objectif est

Avec ce problème simple, les deux approches sont réalisables. La solution sous forme fermée que vous obtenez en prenant le dérivé est . Vous pouvez également vérifier que tout ce qui vous donne une valeur plus élevée de la fonction objectif en branchant plutôt . Si vous aviez des régresseurs, la solution analytique disparaît.$\alpha^* = \ln \bar y$$\ln (\bar y + k)$

Je pense que ce site Web fournit une intuition simple, dont un extrait est:

Une solution sous forme fermée (ou expression sous forme fermée) est une formule qui peut être évaluée dans un nombre fini d'opérations standard. ... Une solution numérique est toute approximation pouvant être évaluée dans un nombre fini d'opérations standard. Les solutions sous forme fermée et les solutions numériques sont similaires en ce sens qu’elles peuvent toutes deux être évaluées avec un nombre fini d’opérations standard. Ils diffèrent en ce qu'une solution de forme fermée est exacte alors qu'une solution numérique n'est qu'approximative.

Vous recherchez des termes profanes ou le verbiage douloureux qui en définit rigoureusement le sens? Je présume que les termes profanes sont les mêmes, l’autre pouvant être trouvé partout. Supposons que vous vouliez la solution sous forme fermée de la racine carrée de 8. La solution sous forme fermée est 2 * (2) ^ 1/2 ou deux fois la racine carrée de deux. Ceci contraste avec la solution de formulaire non fermé 2.8284. (Voir wikipedia racine carrée de 2 pour voir qu'à 69 décimales, elle est précise au 1/10 000 près.) L'une est absolument définie en termes mathématiques alors que l'autre ne l'est pas. Une solution de formulaire fermé fournit une réponse exacte et une autre qui n'est pas un formulaire fermé est une approximation, mais vous pouvez obtenir une solution de formulaire non fermée aussi proche que vous le souhaitez. Cela semble contre-intuitif, mais si vous avez besoin de plus de précision, il vous suffit de faire un peu plus de calculs.

Forme fermée = forme fermée (fonctionnelle)

Fermé signifie que plus rien ne peut aller à l'intérieur; c'est-à-dire qu'il n'y a pas d'alternative => une seule solution => une seule fonction permettant d'établir la relation entre le résultat et les prédicteurs.