Quand faut-il appeler la «régression linéaire» «apprentissage par la machine»?

90

Lors d'un récent colloque, le résumé du locuteur a affirmé qu'ils utilisaient l'apprentissage automatique. Au cours de l'entretien, la seule chose liée à l'apprentissage automatique était qu'ils effectuaient une régression linéaire sur leurs données. Après avoir calculé les coefficients d'ajustement optimal dans l'espace des paramètres 5D, ils ont comparé ces coefficients d'un système aux coefficients d'ajustement optimal d'autres systèmes.

Quand l' apprentissage par régression linéaire est-il un apprentissage , par opposition à la simple recherche d'une droite de meilleur ajustement? (L'abrégé du chercheur était-il trompeur?)

Avec toute l'attention que l'apprentissage de la machine a suscité récemment, il semble important de faire de telles distinctions.

Ma question est comme celle-ci , sauf qu'elle demande la définition de «régression linéaire», tandis que la mienne demande quand la régression linéaire (qui a un grand nombre d'applications) peut être appelée à juste titre «apprentissage par la machine».

Des clarifications

Je ne demande pas quand la régression linéaire est la même chose que l'apprentissage automatique. Comme certains l'ont souligné, un seul algorithme ne constitue pas un domaine d'étude. Je demande quand il est correct de dire qu'on apprend à la machine alors que l'algorithme utilisé est simplement une régression linéaire.

Toutes les blagues mises à part (voir les commentaires), l'une des raisons pour lesquelles je vous pose cette question est qu'il est contraire à l'éthique de dire qu'on apprend automatiquement à ajouter quelques étoiles dorées à votre nom si elles ne le font pas vraiment . (De nombreux scientifiques calculent un type de ligne de meilleur ajustement pour leur travail, mais cela ne signifie pas qu'ils apprennent automatiquement.) D'un autre côté, il existe clairement des situations dans lesquelles la régression linéaire est utilisée dans le cadre de l'apprentissage automatique. Je recherche des experts pour m'aider à classer ces situations. ;-)

Jvriesem
la source
13
Peut-être voulez-vous voir le fil de discussion: " Les deux cultures: statistiques ou apprentissage automatique? ".
usεr11852 dit Rétablir Monic
75
Vous devez renommer votre régression en «apprentissage automatique» chaque fois que vous souhaitez doubler les frais de votre carte de taux.
Rétablir Monica
3
Il existe une différence. L'apprentissage est un processus. Un meilleur ajustement est un objectif. Voir ma réponse ci-dessous. Franchement, les mots n’ont pas le même sens, bien qu’ils puissent apparaître dans le même contexte, comme "oiseaux volent", on peut associer les deux, mais les oiseaux ne volent pas et, bien que voler s’applique aux oiseaux, c’est pour F -18 avions de combat également.
Carl
20
@Sycorax et l'apprentissage en profondeur quand vous voulez quadrupler
Franck Dernoncourt
11
@FranckDernoncourt "Je suis un scientifique qui utilise l'apprentissage en profondeur dans un environnement Big Data pour résoudre des problèmes d'apprentissage automatique" sonne comme une bonne en-tête pour le profil LinkedIn;)
Tim

Réponses:

78

Répondez à votre question par une question: qu'est - ce que l'apprentissage automatique? Trevor Hastie, Robert Tibshirani et Jerome Friedman dans Les éléments de l’apprentissage statistique , Kevin P. Murphy dans Apprentissage automatique: une perspective probabiliste , Christopher Bishop dans Reconnaissance des modèles et apprentissage automatique , Ian Goodfellow, Yoshua Bengio et Aaron Courville dans Apprendre en profondeur et un certain nombre de d'autres "bibles" d'apprentissage automatique citent la régression linéaire comme l'un des "algorithmes" d'apprentissage automatique. L'apprentissage automatique est en partie un mot à la mode des statistiques appliquées et la distinction entre statistique et apprentissage automatique est souvent floue.

Tim
la source
4
C'est vrai, mais ce sont en grande partie des disciplines cloisonnées contenant une grande quantité de littérature, de méthodes et d'algorithmes ne se chevauchant pas. Par exemple, dans le monde actuel de l’apprentissage automatique, les diplômés en informatique et en informatique ont une longueur d’avance sur les candidats à la statistique en termes de financement, de subventions et d’opportunités de travail, par exemple.
Mike Hunter
6
@DJohnson c'est donc des statistiques appliquées avec le nouveau paquet, vendu à un prix plus élevé ..? Je ne pense pas que le fait que ce soit à la mode n'en fasse pas un mot à la mode. Les statistiques bayésiennes ont également leurs propres méthodes, journaux, conférences, manuels et applications qui ne se chevauchent en partie pas avec les statistiques classiques - en fait-il une discipline distincte des statistiques?
Tim
3
Ouaip. J'ai négligé de mettre en garde mon observation à propos des praticiens du blanchiment d'argent avec l'observation plus générale que les praticiens en silo, concentrés étroitement, sont endémiques à tous les domaines et professions, pas seulement au ML. C’est une sorte de risque professionnel - lire un échec humain - que les gens fassent de plus en plus aveugles aux informations en dehors de leurs besoins et intérêts immédiats. CV ne fait pas exception à cela.
Mike Hunter
23
(+1) Je conviens qu'il n'y a pas de distinction claire. Dans la mesure où je pense aux différences, je pense généralement que ML est davantage concerné par les prédictions et les statistiques plus par l' inférence de paramètres (par exemple, une conception expérimentale pour la modélisation de la surface de réponse ne serait pas typique dans ML?). Donc, dans ce sens, l'exemple du PO, où les coefficients de régression semblent être le plus préoccupant, serait plus "statistique" (?)
GeoMatt22
3
Voir aussi Les deux cultures de Leo Breiman qui soulignent un point similaire à celui de @ GeoMatt22: ML se concentrent sur la prédiction précise. Que le modèle soit vrai n'est pas important. Les statistiques classiques recherchent en quelque sorte le "vrai" modèle, ou du moins un modèle donnant une idée des processus qui ont généré les données.
Peter
41

La régression linéaire est certainement un algorithme qui peut être utilisé en apprentissage automatique. Mais reductio ad absurdum : quiconque possède une copie d’Excel peut s’adapter à un modèle linéaire.

Même en nous limitant aux modèles linéaires, quelques points supplémentaires doivent être pris en compte lors de la discussion sur l'apprentissage automatique:

  • L'apprentissage automatique des problèmes de l'entreprise peut impliquer beaucoup plus de données. " Big data ", si vous voulez utiliser le mot à la mode. Nettoyer et préparer les données peut demander plus de travail que la modélisation réelle. Et lorsque le volume de données dépasse la capacité de traitement d'une seule machine, les défis d'ingénierie sont aussi importants que les défis statistiques. (Règle générale: si cela tient dans la mémoire principale, ce n'est pas du Big Data).
  • L'apprentissage automatique implique souvent beaucoup plus de variables explicatives (caractéristiques) que les modèles statistiques traditionnels. Peut-être des dizaines, parfois des centaines d'entre eux, dont certains seront des variables catégoriques à plusieurs niveaux. Lorsque ces caractéristiques peuvent potentiellement interagir (par exemple dans un modèle à effets croisés), le nombre de modèles potentiels à adapter augmente rapidement.
  • Le praticien en apprentissage machine est généralement moins soucieux de l’importance des caractéristiques individuelles, et plus soucieux de tirer le maximum de puissance prédictive du modèle, en utilisant la combinaison de caractéristiques qui le permet. (Les valeurs P sont associées à une explication, pas à une prédiction.)
  • Avec un grand nombre de fonctionnalités et diverses façons de les concevoir, la sélection de modèle à la main devient irréalisable. À mon avis, le véritable défi de l’apprentissage automatique réside dans la sélection automatisée des caractéristiques (ingénierie des caractéristiques) et d’autres aspects de la spécification du modèle. Avec un modèle linéaire, il existe différentes façons de procéder, généralement des variantes de la force brute; y compris la régression pas à pas, la suppression arrière, etc., qui nécessitent tous encore une puissance de calcul importante. (Deuxième règle: si vous sélectionnez des fonctionnalités à la main, vous vous livrez à des statistiques et non à un apprentissage automatique).
  • Lorsque vous adaptez automatiquement de nombreux modèles dotés de nombreuses fonctionnalités, la sur-adaptation est un problème potentiel sérieux. Traiter ce problème implique souvent une forme de validation croisée : c'est-à-dire un calcul encore plus brutal!

La réponse courte, de mon point de vue, est que l’apprentissage automatique s’écarte de la modélisation statistique traditionnelle par l’application d’approches numériques et de la force brute à la sélection de modèles, en particulier dans les domaines comportant une grande quantité de données et un grand nombre de variables explicatives. , avec un accent sur le pouvoir prédictif, suivi d’une force plus brutale pour la validation du modèle.

david25272
la source
2
J'aime cette distinction en général. Cependant, la validation croisée a-t-elle déjà été utilisée dans des modèles "statistiques" ou est-ce rarement nécessaire, car ils sont normalement effectués à la main? L’ingénierie des caractéristiques est-elle considérée comme une statistique à la main?
Josh
3
@ josh, oui, ça peut l'être. Mais si vous regardez l'étiquette de validation croisée, presque toutes les questions portent sur la modélisation prédictive.
david25272
@ david25272 Je serais curieux de savoir comment vous pensez du bootstrap, du bootstrap .632+ et des tests de permutation - je les ai toujours considérés comme davantage de "statistiques appliquées" que d '"apprentissage automatique" en raison de motivés, mais ils sont pareillement "force brute" à k-fold ou quitter-k-out validation croisée. Je pense que la régularisation de L1 peut aussi être considérée comme un type de sélection de caractéristiques dans un cadre statistique ...
Patrick B.
@Patrick stats.stackexchange.com/questions/18348 est une meilleure réponse à l'utilisation de la méthode d'amorçage pour la validation de modèle que ce que je pourrais vous donner.
david25272
@ david25272 ah, désolé, ma question était plutôt de savoir si vous les considérez comme des techniques "d'apprentissage automatique" ou des techniques "statistiques appliquées", car elles sont motivées par des raisons statistiques mais également "brutales". Je connais bien l’utilisation de bootstraps à correction de biais pour la validation de modèle.
Patrick B.
14

Je pense que la définition de Mitchell fournit un moyen utile d’enraciner la discussion sur l’apprentissage automatique, une sorte de premier principe. Tel que reproduit sur Wikipedia :

Un programme informatique est réputé apprendre de l'expérience E en ce qui concerne certaines classes de tâches T et mesurer la performance P si sa performance aux tâches en T, mesurée par P, s'améliore avec l'expérience E.

Ceci est utile à plusieurs égards. Premièrement, pour répondre à votre question suivante: la régression est un apprentissage automatique lorsque sa tâche est de fournir une valeur estimée à partir de fonctions prédictives dans certaines applications. Ses performances devraient s'améliorer, mesurées par l'erreur quadratique moyenne (ou absolue, etc.), à mesure que le nombre de données enregistrées augmente.

Deuxièmement, elle aide à définir l’apprentissage automatique à partir de termes connexes et son utilisation en tant que mot à la mode. Comparez la tâche ci-dessus avec une régression inférentielle standard dans laquelle un analyste interprète les coefficients des relations significatives. Ici, le programme renvoie un résumé: coefficients, valeurs p, etc. On ne peut pas dire que le programme améliore cette performance avec l'expérience; la tâche est un calcul élaboré.

Enfin, il aide à unifier les sous-domaines de l’apprentissage automatique, ceux couramment utilisés dans l’exposé introductif (supervisé, non supervisé) et d’autres comme l’apprentissage par renforcement ou l’estimation de la densité. (Chacun a une tâche, une mesure de performance et un concept d'expérience, si vous y réfléchissez suffisamment.) Il fournit, je pense, une définition plus riche qui permet de délimiter les deux domaines sans réduire inutilement ni l'un ni l'autre. Par exemple, "ML concerne la prédiction, les statistiques sur l'inférence" ne tiennent pas compte des techniques d'apprentissage automatique autres que l'apprentissage supervisé, ni des techniques statistiques axées sur la prédiction.

Sean Easter
la source
12

Aucune loi ne dit qu'un ébéniste ne peut pas utiliser une scie de tonnelier.

L'apprentissage automatique et les statistiques sont des étiquettes vagues, mais si elles sont bien définies, il y a beaucoup de chevauchement entre les statistiques et l'apprentissage automatique. Et cela vaut pour les méthodes de ces deux zones ainsi que (et séparément) pour les personnes qui s’appliquent elles-mêmes avec ces deux zones. Mais pour ce qui est des mathématiques, l’apprentissage automatique se situe entièrement dans le domaine des statistiques.

La régression linéaire est une procédure mathématique très bien définie. J'ai tendance à l'associer au domaine de la statistique et à ceux qui se disent statisticiens et à ceux qui sortent d'un programme académique avec des étiquettes comme "statistiques". SVM (Support Vector Machines) est également une procédure mathématique très bien définie qui a toutes les entrées et sorties similaires et qui résout des problèmes similaires. Mais j’ai tendance à l’associer toutefois au domaine de l’apprentissage automatique et aux personnes qui s’appellent informaticiens ou qui travaillent dans le domaine de l’intelligence artificielle ou de l’apprentissage automatique, qui ont tendance à être considérées comme faisant partie de l’informatique en tant que discipline.

Mais certains statisticiens peuvent utiliser SVM et certaines personnes en IA utilisent la régression logistique. Pour être clair, il est plus probable qu'un statisticien ou un chercheur en IA développe une méthode plutôt que de la mettre réellement en pratique.

Je mets carrément toutes les méthodes d’apprentissage automatique dans le domaine des statistiques. Même des choses récentes telles que Deep Learning, RNN, CNN, LSTM, CRF. Un statisticien appliqué (biostatisticien, agronome) risque de ne pas les connaître. Ce sont toutes des méthodes de modélisation prédictives généralement étiquetées «apprentissage automatique» et rarement associées à des statistiques. Mais ce sont des modèles prédictifs, avec l’espoir qu’ils peuvent être jugés à l’aide de méthodes statistiques.

En fin de compte, la régression logistique doit être considérée comme faisant partie de l'apprentissage automatique.

Mais, oui, je vois et partage souvent votre dégoût pour la mauvaise application de ces mots. La régression linéaire est une partie fondamentale des statistiques, appelée statistique, qu'il est très étrange et trompeur d'appeler son utilisation «apprentissage automatique» .

Pour illustrer cela, la régression logistique est mathématiquement identique à un réseau Deep Learning sans nœuds cachés et la fonction logistique en tant que fonction d’activation pour le nœud de sortie unique. Je n’appellerais pas la régression logistique une méthode d’apprentissage automatique, mais elle est certainement utilisée dans des contextes d’apprentissage automatique.

C'est surtout une question d'attente.

A: "J'ai utilisé l'apprentissage automatique pour prédire la réadmission dans un hôpital après une chirurgie cardiaque."

B: "Oh oui? Apprendre en profondeur? Forêts aléatoires? !!?"

A: "Oh, non, rien d'aussi sophistiqué que ça, juste une régression logistique."

B: regard extrêmement déçu .

C'est comme si on disait en lavant une fenêtre avec de l'eau que vous utilisez la chimie quantique. Eh bien oui, bien sûr, ce n’est pas faux du point de vue technique, mais vous impliquez bien plus que ce qui est nécessaire.

Mais en réalité, c’est exactement une différence de culture par rapport à une différence de substance. Les connotations d'un mot et les associations avec des groupes de personnes (LR n'est pas totalement ML!) Vs mathématiques et applications (LR est totalement ML!).

Mitch
la source
3
La régression logistique est également très similaire, sur le plan pratique et théorique, aux SVM: web.stanford.edu/~hastie/Papers/svmtalk.pdf
Patrick B.
3

L’opinion commune est que l’apprentissage automatique est composé de 4 domaines:

1) Réduction de la dimensionnalité

2) le regroupement

3) classification

4) la régression

La régression linéaire est une régression. Une fois que le modèle est formé, il peut être utilisé pour les prévisions, comme toute autre, par exemple, la régression aléatoire des forêts.

Akavall
la source
Il existe en réalité une différence, bien que la régression linéaire puisse être résolue à l'aide de l'apprentissage automatique. Une cible de régression courante est la méthode des moindres carrés ordinaires, ce qui signifie que notre fonction de perte de cible, la somme des résidus au carré, doit être minimisée. À présent, l’apprentissage automatique se réfère simplement à la méthode par laquelle nous minimisons une fonction de perte.
Carl
Ainsi, conceptuellement, la régression linéaire par descente de gradient (apprentissage) choisit de mieux en mieux les résidus de carrés sommés (fonction de perte). Les concepts de base sont les mêmes que ceux d’algorithmes d’apprentissage beaucoup plus avancés, tels que les réseaux de neurones. Ces algorithmes remplacent simplement le modèle linéaire par un modèle beaucoup plus complexe - et par conséquent une fonction de coût beaucoup plus complexe. .
Carl
1
Donc, la réponse à la question OP Quand existe-t-il un apprentissage automatique par régression linéaire, par opposition à la simple recherche d'une ligne optimale? Lorsque la régression linéaire est effectuée à l'aide d'un élément définissable de l'apprentissage automatique, tel que la descente de gradient , il s'agit d' une régression linéaire effectuée à l'aide de l'apprentissage automatique.
Carl
5
@Carl, le problème ici que "l'apprentissage de la machine" défini. Pour moi, si nous pouvons utiliser un modèle statistique et que ce modèle aurait la capacité de le prédire, il s'agit d'un apprentissage automatique. Et peu importe quelle approche a été utilisée pour trouver les coefficients du modèle.
Akavall
1
J'ai trouvé la réponse d'Akavall assez claire. Je crois que le problème d’Akavall est que la définition que vous présentez est circulaire, car elle semble se résumer à «Q: quand la technique X compte-t-elle comme un« apprentissage automatique »? A: lorsque la technique X est réalisée à l’aide d’un élément définissable de l’apprentissage automatique». (Malheureusement, je ne comprends pas votre deuxième argument, je ne peux donc pas répondre à cela.)
Patrick B.
2

La régression linéaire est une technique, tandis que l'apprentissage automatique est un objectif qui peut être atteint par différents moyens et techniques.

La performance de la régression se mesure donc à quel point elle correspond à une ligne / courbe attendue, tandis que l’apprentissage automatique se mesure à sa capacité à résoudre un problème donné, avec les moyens nécessaires.

Si tout va bien utile
la source
2

Je ferai valoir que la distinction entre apprentissage automatique et inférence statistique est claire. En bref, apprentissage automatique = prévision d’ observations futures ; statistiques = explication.

Voici un exemple tiré de mon domaine d’intérêt (médecine): lors du développement d’un médicament, nous recherchons le ou les gènes qui expliquent le mieux un état pathologique, dans le but de les cibler avec le médicament. Nous utilisons statistis pour cela. En revanche, lors de la mise au point de tests de diagnostic, par exemple pour prédire si le médicament aidera un patient, l’objectif est de trouver strictement le meilleur prédicteur du résultat futur, même si celui-ci comprend de nombreux gènes et est trop compliqué à comprendre. Nous utilisons l'apprentissage machine à cette fin. Il existe de nombreux exemples publiés [1], [2], [3], [4] montrant que la présence du médicament ciblé n’est pas un bon prédicteur du résultat du traitement, d’où la distinction.

Sur cette base, il est juste de dire que l’apprentissage automatique s’effectue lorsque l’objectif est de prédire strictement le résultat des observations futures / inédites. Si l'objectif est de comprendre un phénomène particulier, il s'agit d'inférence statistique et non d'apprentissage automatique. Comme d'autres l'ont souligné, cela est vrai quelle que soit la méthode utilisée.

Pour répondre à votre question: dans le cadre de la recherche spécifique que vous décrivez, les scientifiques comparaient les rôles des facteurs (pondérations) dans différents modèles de régression linéaire et non pas la précision des modèles. Par conséquent, il n’est pas exact d’appeler leur apprentissage par inférence.

[1] Messersmith WA, DJ Ahnen. Cibler l'EGFR dans le cancer colorectal. Le journal de médecine de la Nouvelle-Angleterre; 2008; 359; 17

[2] Pogue-Geile KL et al. Prédiction du degré d'avantage du trastuzumab adjuvant dans l'essai NSABP B-31. J Natl Cancer Inst; 2013; 105: 1782-1788.

[3] Pazdur R. Approbation de la FDA pour le vémurafénib. https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib . Mis à jour le 3 juillet 2013.

[4] Ray T. Deux études de l'ASCO montrent qu'il est difficile d'utiliser la signalisation MET comme marqueur prédictif dans les essais de drogue du CBNPC. GenomeWeb, 11 juin 2014.

ljubomir
la source
7
Je conviens que la recherche en apprentissage automatique insiste beaucoup plus sur les prédictions que sur l'estimation de paramètres. Mais ce n'est pas une ligne de démarcation claire: la recherche statistique est riche en méthodes prédictives.
Cliff AB
4
Alors qu'en est-il des statisticiens qui ont fait des prédictions avant que les ordinateurs n'existent (ou étaient largement disponibles)? Étaient-ils appliquer l'apprentissage machine papier-et-crayon?!
Tim
1
@ Tim: très bel argument. Je crois que la réponse est oui si elles étaient axées sur les observations futures, bien que je reconnaisse dans ces cas (rares) que l'appellation apprentissage statistique serait plus appropriée. Avec l'avènement des ordinateurs, le terme d'apprentissage automatique est devenu plus à la mode. Le point n'est pas le nom, ni l'utilisation des ordinateurs; c'est la clarté du but. À mon avis, il est presque impossible d'optimiser avec succès la prévision précise d'observations auparavant inédites et la compréhension du phénomène. Mieux vaut se concentrer correctement.
Ljubomir
4
La prévision de séries chronologiques (prévision de l'observation future) était depuis longtemps un problème populaire en statistique (et en économétrie), aussi je ne suis pas d'accord avec une distinction claire basée sur cela.
Richard Hardy
1
Cette réponse est fausse. La prédiction n'est qu'une petite partie de l'apprentissage automatique. Les statisticiens font aussi de la prédiction. Bien qu'il soit difficile de distinguer entre l'apprentissage automatique et les statistiques, ce n'est certainement pas la bonne façon.
robguinness
2

Il peut être utile d'appeler l'apprentissage par la régression linéaire, car cela implique généralement quelques considérations importantes sur la façon dont vous avez résolu votre problème:

  1. Vous avez décidé qu'il n'était pas nécessaire de vérifier les hypothèses de causalité et la théorie antérieure derrière vos variables explicatives. Cela indique que votre modèle n'était pas destiné à expliquer, mais à prédire. Ceci est parfaitement raisonnable dans de nombreux paramètres, par exemple, la prévision du spam par courrier électronique en fonction de mots-clés. Il n'y a pas vraiment beaucoup de littérature sur les mots qui prédisent le spam, et il y a tellement de mots qu'il n'a pas de sens de réfléchir à la signification théorique de chaque mot.
  2. Vous n'avez pas vérifié la signification variable ou utilisé des valeurs p, mais vous avez plutôt opté pour un ensemble non utilisé ou une validation croisée pour évaluer les performances prédictives hors échantillon. Cela peut être parfaitement valable si - revenons à l'exemple de spam par courrier électronique - si tout ce qui vous préoccupe est de produire un modèle qui prédit efficacement le spam, même au prix d'inclure des variables qui pourraient ne pas réussir les tests de signification traditionnels.

Cependant, si votre modèle est plus destiné à expliquer qu'à prédire, et que vous vérifiez rigoureusement les hypothèses de causalité théoriques de votre modèle, etc., alors oui, il est plutôt ridicule d'appeler cela l'apprentissage automatique.

Ryan Zotti
la source
2

Certes, toute réponse à cette question est plus une opinion qu'un fait objectif, mais je vais essayer de présenter ma logique pour expliquer pourquoi je pense que la réponse n’est jamais . Tout expert ou enseignant en apprentissage automatique ne révèle son ignorance qu'en représentant la régression linéaire en tant que telle.

La délimitation des disciplines académiques est davantage une délimitation des communautés que des méthodes. Les disciplines scientifiques empruntent des méthodes à travers les disciplines tout le temps. En outre, au 19ème siècle (lorsque la régression linéaire a été développée) et avant cela, les disciplines scientifiques n'étaient pas aussi clairement délimitées qu'aujourd'hui. Donc, en particulier lorsque des méthodes ont été développées au 19ème siècle ou avant, nous devons être prudents pour les affecter à une discipline particulière.

Cela étant dit, on peut regarder l'histoire d'une discipline et conclure raisonnablement que des méthodes particulières "appartiennent" à une discipline ou à une autre. Personne ne dirait aujourd'hui que le calcul appartient au domaine de la physique, même si Newton, l'un des inventeurs du calcul, essayait sans aucun doute de l'appliquer à la physique. Le calcul appartient clairement à la discipline des mathématiques, pas à la physique. En effet, le calcul est une méthode mathématique générale qui peut être utilisée complètement en dehors du contexte physique.

Selon le même raisonnement, la régression linéaire appartient à la discipline de la statistique, même si elle est couramment utilisée comme simple exemple d’ajustement de données à un modèle dans le cadre d’un apprentissage automatique. Tout comme le calcul peut être utilisé en dehors du contexte physique, la régression linéaire peut (et est) utilisée en dehors du contexte de l'apprentissage automatique.

Les instructeurs en apprentissage automatique seraient avisés de souligner que la régression linéaire est utilisée depuis la fin du 19ème siècle, bien avant que la notion moderne d’apprentissage automatique n’apparaisse. Ils devraient également souligner que l'apprentissage par la machine utilise de nombreux concepts issus des probabilités et des statistiques, ainsi que d'autres disciplines (par exemple, la théorie de l'information). Cependant, ces concepts ne représentent pas en eux-mêmes un apprentissage automatique ou un "algorithme" d'apprentissage automatique.

robguinness
la source
1

C'est la machine, stupide!

Je ne suis ni statisticien ni expert en Big Data (TM). Cependant, je dirais que la distinction essentielle est que "l'apprentissage par machine" nécessite "une machine". En particulier, cela implique de l’ agence . Le résultat ne sera pas consommé tranquillement par un humain. Le résultat sera plutôt l'entrée dans un cycle fermé dans lequel un système automatisé améliore ses performances.

Systeme ferme

Ceci est très en phase avec la réponse de Sean Pâques, mais je veux juste souligner que dans des applications commerciales, une machine est à la recherche des résultats et d' agir sur eux . L’algorithme CineMatch, qui était la cible du prix Netflix, en est un exemple classique. Un humain pourrait regarder la sortie de CineMatch et apprendre des fonctionnalités intéressantes sur les spectateurs. Mais ce n'est pas pour cela qu'il existe. CineMatch a pour objectif de fournir un mécanisme permettant aux serveurs Netflix de proposer aux clients des films qu’ils apprécieront. Les résultats du modèle statistique vont au service de recommandation, ce qui produit finalement plus d'entrées lorsque les clients évaluent les films, dont certains ont été sélectionnés sur les conseils de CineMatch.

Système ouvert

D'un autre côté, si un chercheur utilise un algorithme pour produire des résultats statistiques qui sont affichés dans une présentation à d'autres êtres humains, alors ce chercheur ne s'engage absolument pas dans l'apprentissage automatique . C’est bien évidemment pour moi un apprentissage humain . L'analyse est effectuée par une machine, mais ce n'est pas une machine qui effectue l' apprentissage en soi. À présent, il s'agit d'un "apprentissage automatique" dans la mesure où un cerveau humain n'a pas exploité toutes les entrées de l'échantillon et n'a pas généré les résultats statistiques "biologiquement". Mais j’appellerais cela des "statistiques" car c’est exactement ce que font les statisticiens depuis l’invention du domaine.

Conclusion

Ainsi, je répondrais à cette question en demandant: "Qui consomme les résultats?" Si la réponse est: "humains", alors c'est "statistiques". Si la réponse est: "logiciel", alors c'est "apprentissage automatique". Et quand nous disons que "le logiciel consomme les résultats", nous ne voulons pas dire qu'il le stocke quelque part pour le récupérer plus tard. Nous voulons dire qu'il effectue un comportement qui est déterminé par les résultats en boucle fermée .

Tondeuse à gazon homme
la source
8
C’est un point raisonnable, mais je pense que dans la pratique, les modèles de ML sont souvent transmis aux gens pour qu’ils interprètent et travaillent avec eux.
gung - Réintégrer Monica
1
Je dirais que c'est parce que le domaine du blanchiment d'argent en tant que domaine a généré une variété d'outils utiles mis à profit par les statisticiens , même si ce n'est pas ce qu'ils veulent s'appeler eux-mêmes, à des fins de marketing. ;)
Lawnmower Man
Je suis fortement d'accord avec @gung; À l’instar d’autres réponses, je conviens que c’est plus souvent la motivation des personnes qui s’appellent «chercheurs du BC», ce n’est certainement pas une ligne de démarcation. Deux contre-exemples: les systèmes de recommandation sont considérés comme un domaine de recherche sur le BC, mais les résultats sont directement transmis à un humain. Les filtres de Kalman sont très souvent utilisés en navigation pour le pilote automatique, sans humain dans la boucle, mais sont généralement considérés comme une méthodologie statistique.
Cliff AB
-1

À mon avis, on peut parler d'apprentissage automatique lorsqu'une machine est programmée pour déduire les paramètres d'un modèle à l'aide de certaines données.

Si une régression linéaire est effectuée à la machine, elle est donc admissible.

Si fait à la main, alors ce n'est pas le cas.

Les définitions qui reposent sur la prédominance d'un agent (comme Excel) ou d' une amélioration itérative (comme le suggère Sean Easter ci-dessus), en essayant de les séparer des statistiques ou en fonction de ce qu'il faut faire avec les résultats s'avéreront incohérentes, à mon avis.

Ytsen de Boer
la source
3
Donc, si vous calculez la régression, ou kNN, ou l'arbre de décision, en utilisant du papier et un crayon et obtenez les mêmes résultats que ceux calculés sur ordinateur, alors dans le premier cas, il s'agirait d'un apprentissage automatique et en second lieu non?? D'autre part, si vous utilisez un ordinateur pour attribuer de manière aléatoire certaines valeurs en tant que "paramètres" de votre modèle, vous qualifierez alors ce processus d'apprentissage automatique puisqu'il a été effectué par une machine? Cette définition ne semble pas avoir beaucoup de sens ...
Tim
Il est difficile d'appeler cela l'apprentissage machine si vous n'utilisez pas de machine. C'est la machine qui apprend, après tout. Et j’ai effectivement déployé des modèles qui ont "appris" leurs paramètres par un processus aléatoire (méthode de Monte Carlo). Cependant, je dois admettre qu’il y avait une étape de validation après.
Ytsen de Boer
2
Les algorithmes comme vecteur de support machines sont appelées « machines » pour des raisons historiques, parce que dans les premiers jours , les gens auraient à construire des machines réelles / ordinateurs pour les faire fonctionner ( stats.stackexchange.com/questions/261041/... ), il n'a rien à faire avec "des algorithmes qui sont exécutés sur des machines". De plus, les modèles de séries chronologiques comme ARIMA ne relèvent pas de l'apprentissage automatique, mais des statistiques, et ils sont exécutés sur des ordinateurs.
Tim