D'où vient le terme «apprendre un modèle»

Souvent, j'ai entendu les mineurs de données ici utiliser ce terme. En tant que statisticien qui a travaillé sur des problèmes de classification, je connais le terme "former un classificateur" et je suppose que "apprendre un modèle" signifie la même chose. Cela ne me dérange pas le terme "former un classificateur". Cela semble représenter l'idée d'ajuster un modèle car les données de formation sont utilisées pour obtenir de bonnes ou "améliorées" estimations des paramètres du modèle. Mais ils apprendraient des moyens d'acquérir des connaissances. En clair, «apprendre un modèle» signifierait savoir de quoi il s'agit. Mais en fait, nous ne "connaissons" jamais le modèle. Les modèles se rapprochent de la réalité mais aucun modèle n'est correct. C'est comme Box a dit "Aucun modèle n'est correct mais certains sont utiles."

Je serais intéressé d'entendre la réponse des mineurs de données. Comment est né le terme? Si vous l'utilisez, pourquoi l'aimez-vous?

Je soupçonne que ses origines se trouvent dans la communauté de recherche sur les réseaux de neurones artificiels, où le réseau de neurones peut être considéré comme l'apprentissage d'un modèle de données via la modification des poids synaptiques d'une manière similaire à celle qui se produit dans le cerveau humain comme nous l'apprenons nous-mêmes. expérience. Ma carrière de chercheur a commencé dans les réseaux de neurones artificiels, donc j'utilise parfois l'expression.

Peut-être que cela a plus de sens si vous pensez que le modèle est codé dans les paramètres du modèle, plutôt que dans l'équation, de la même manière qu'un modèle mental n'est pas une composante physique identifiable du cerveau autant qu'un ensemble de paramètres paramètres pour certains de nos neurones.

Notez qu'il n'y a aucune implication qu'un modèle mental est nécessairement correct non plus!

Le terme est assez ancien en intelligence artificielle. Turing a consacré une longue section sur "Learning Machines" dans son article de 1950 intitulé Computing Machinery and Intelligence in Mind , et esquisse qualitativement l'apprentissage supervisé. L'article original de Rosenblatt: The Perceptron: A Probabilistic Model for Information Storage and Organisation in the Brain. L' article de 1958 parle en détail d'un "modèle mathématique d'apprentissage". Ici, le perceptron était un "modèle d'apprentissage"; les modèles n'étaient pas "appris".

Le papier de Pitts et McCullough de 1943 - le papier original des "réseaux de neurones" - n'était pas vraiment concerné par l'apprentissage, plus comment on pouvait construire un calcul logique (comme un système Hilbert ou Gentzen, mais je pense qu'ils se réfèrent à Russell / Whitehead) qui pourrait effectuer l'inférence. Je pense que c'est le papier "Perceptrons" qui a introduit une notion numérique, par opposition à symbolique de l'apprentissage dans cette tradition.

Est-il possible pour une machine d'apprendre à jouer aux échecs uniquement à partir d'exemples? Oui. At-il un modèle pour jouer aux échecs? Oui. Est-ce le modèle optimal (en supposant qu'il y en ait un)? Certainement pas. En anglais simple, j'ai "appris les échecs" si je peux jouer aux échecs bien - ou peut-être plutôt bien. Cela ne signifie pas que je suis le joueur d'échecs optimal. C'est dans ce sens que Turing décrivait "l'apprentissage" quand il a parlé de l'apprentissage des échecs dans son article.

Je suis très incohérent avec le terme que j'utilise. Ainsi (par exemple) pour l'apprentissage à la limite, je dirais «identifier», pour l'apprentissage SVM, je dirais «former», mais pour MCMC - «apprentissage», je dirais «optimiser». Et par exemple, j'appelle simplement la régression "régression".

En tant que chercheur en apprentissage machine bioplausible, je suis fortement d'accord sur le fait qu '"aucun modèle n'est correct mais certains sont utiles", et en fait les modèles et les formalismes ont le fort échec tel qu'utilisé par les auteurs qui parlent d'optimisation du problème, quand ce qu'ils font optimise un modèle, c'est-à-dire en explorant son espace de paramètres et en trouvant un optimum local ou, espérons-le, global. Ce n'est pas en général un optimum pour le vrai problème. Alors que l'initiateur d'un modèle utilise normalement la terminologie correcte et expose toutes les hypothèses, la plupart des utilisateurs passent sous silence les hypothèses, que l'on sait le plus souvent ne pas tenir, et utilisent également un langage moins précis sur «l'apprentissage» et «l'optimisation» et « paramétrage ".

Je pense que cette paramétrisation optimale d'un modèle est ce que les gens signifieraient dans le Machine Learning, en particulier dans le Machine Learning supervisé, bien que je ne puisse pas dire que j'ai beaucoup entendu "apprendre un modèle" - mais cela se produit, et alors que la personne forme le modèle, l'ordinateur apprend les paramètres du modèle. Même dans un apprentissage non supervisé, l '"apprentissage" est le plus souvent simplement un paramétrage d'un modèle et, espérons-le, "l'apprentissage d'un modèle" est donc un paramétrage optimal d'un modèle (bien que souvent des façons différentes de rechercher dans l'espace des paramètres trouvent des solutions différentes même si elles peuvent être prouvées pour optimiser la même chose). Je préfère en effet utiliser "la formation d'un modèle"

En fait, la plupart de mes recherches portent sur l'apprentissage du modèle en termes de découverte d'un meilleur modèle, ou d'un modèle plus plausible sur le plan informatique et cognitif / biologique / écologique.