Pourquoi la régression logistique est-elle appelée algorithme d'apprentissage automatique?

19

Si j'ai bien compris, dans un algorithme d'apprentissage automatique, le modèle doit apprendre de son expérience, c'est-à-dire lorsque le modèle donne la mauvaise prédiction pour les nouveaux cas, il doit s'adapter aux nouvelles observations, et avec le temps, le modèle devient de mieux en mieux . Je ne vois pas que la régression logistique ait cette caractéristique. Alors pourquoi est-il toujours considéré comme un algorithme d'apprentissage automatique? Quelle est la différence entre la régression logistique et la régression normale en terme "d'apprentissage"?

J'ai la même question pour les forêts aléatoires!

Et quelle est la définition du "machine learning"?

Metariat
la source
4
J'ai édité votre question pour plus de clarté grammaticale, mais je ne suis pas sûr de ce que vous entendez dans l'ensemble ... La régression logistique relève du ML car il s'agit d'un algorithme de classification. L'apprentissage automatique n'implique pas que l'algorithme doit être adaptatif (bien qu'il existe des algorithmes qui apprennent de nouvelles observations). L'adaptation est davantage un choix d'implémentation, généralement réalisé par des algorithmes d'apprentissage machine génératifs qui modélisent la probabilité conjointe.
Zhubarb
12
"L'apprentissage automatique" est un concept défini de manière assez vague. En réalité, toutes les procédures statistiques qui impliquent l'ajustement d'un modèle peuvent être considérées comme un apprentissage automatique. (En supposant que l'ajustement du modèle peut être fait par un ordinateur, dans une certaine mesure!). C'est pourquoi certains statisticiens sont frustrés par les "mégadonnées", le "machine learning", etc. les communautés brouillent les eaux sur ce que les statistiques sont (et ne sont pas!)
P.Windridge
1
@ P.Windridge: si "toutes les procédures statistiques qui impliquent l'ajustement d'un modèle peuvent être considérées comme l'apprentissage automatique", je ne vois pas pourquoi devrions-nous distinguer l'apprentissage automatique et la statistique
Metariat
4
@XuanQuangDO Nous ne devrions probablement pas distinguer l'apprentissage automatique et les statistiques.
Sycorax dit Réintégrer Monica

Réponses:

21

L'apprentissage automatique n'est pas un terme bien défini.

En fait, si vous utilisez la «définition d'apprentissage automatique» de Google, les deux premières choses que vous obtenez sont très différentes.

De WhatIs.com ,

L'apprentissage automatique est un type d'intelligence artificielle (IA) qui permet aux ordinateurs d'apprendre sans être explicitement programmés. L'apprentissage automatique se concentre sur le développement de programmes informatiques qui peuvent apprendre à grandir et à changer lorsqu'ils sont exposés à de nouvelles données.

De Wikipédia ,

L'apprentissage automatique explore la construction et l'étude d'algorithmes qui peuvent apprendre et faire des prédictions sur les données.

La régression logistique correspond sans aucun doute à la définition de Wikipédia et vous pourriez vous demander si elle correspond ou non à la définition de WhatIs.

Personnellement, je définis le Machine Learning tout comme Wikipedia et le considère comme un sous-ensemble de statistiques.

TrynnaDoStat
la source
1
Je suis d'accord avec la plupart de vos propos, sauf qu'il s'agit d'un sous-ensemble de statistiques. Il a un grand chevauchement, mais il existe des types d'apprentissage, tels que l'apprentissage par renforcement, qui ne peuvent pas vraiment être considérés comme un sous-ensemble de statistiques.
George
2
Ce ne sont pas de bonnes sources.
Neil G
@George Oui, mais avouons-le, si vous deviez appliquer une étiquette à toutes les méthodologies de collecte, d'analyse et de modélisation des données, que ce soit l'apprentissage automatique, supervisé ou non, paramétrique ou non paramétrique, ce sont toutes des statistiques. ML est un domaine spécialisé en statistique.
RobertF
@RobertF Je ne suis pas d'accord. L'apprentissage automatique est le domaine qui étudie comment les machines peuvent apprendre. Je suis d'accord que la plupart des méthodes utilisées en ML peuvent être considérées comme des méthodes statistiques, mais le champ n'est pas intrinsèquement un sous-champ de statistiques. Par exemple, je ne pense pas que les processus de décision de Markov soient considérés comme des méthodes statistiques.
George
1
@George Les modèles de Markov à temps discret sont des modèles de probabilité. Une fois que vous avez estimé les paramètres inconnus d'un modèle de probabilité (par exemple les processus de décision de Markov), il s'agit de la définition classique d'une procédure statistique. Je pense que la principale classe d'activités que l'on peut appeler ML et non les statistiques sont des applications spécifiques, comme la construction d'un robot qui joue aux échecs. Les algorithmes sous-jacents impliqueront sans aucun doute des probabilités et des statistiques, mais l'application n'est pas vraiment des "statistiques". Un peu comme la façon dont la recherche en génomique utilise massivement les statistiques, mais ce sont décidément des domaines différents.
ahfoss
20

L'apprentissage automatique est chaud et c'est là que se trouve l'argent. Les gens appellent des choses qu'ils essaient de vendre tout ce qui est chaud en ce moment et donc "vend". Cela peut être la vente de logiciels. Cela peut se vendre en tant qu'employés actuels essayant d'être promus, en tant qu'employés potentiels, en tant que consultants, etc. Cela peut être un gestionnaire essayant d'obtenir l'approbation du budget d'une grande entreprise pour embaucher des gens et acheter des choses, ou pour convaincre les investisseurs d'investir dans son nouveau démarrage à chaud qui fait de l'apprentissage automatique comme la clé pour créer une application de sexting améliorée. Le logiciel fait donc du Machine Learning et les gens sont des experts du Machine Learning, car c'est ce qui est chaud et donc ce qui se vend ... du moins pour l'instant.

J'ai fait toutes sortes de modèles statistiques linéaires et non linéaires adaptés il y a plus de 30 ans. Il ne s'appelait pas alors Machine Learning. Maintenant, la plupart le seraient.

Tout comme tout le monde et leur oncle est maintenant un "scientifique" des données. C'est chaud, c'est censé être sexy, alors c'est comme ça que les gens s'appellent. Et c'est ce que les gestionnaires d'embauche qui doivent faire approuver le budget pour embaucher quelqu'un répertorient les postes. Donc, quelqu'un qui ne connaît pas la première chose sur les mathématiques, les probabilités, les statistiques, l'optimisation ou le calcul numérique / virgule flottante, utilise un package R ou Python d'une exactitude et d'une robustesse douteuses d'implémentation, et qui est étiqueté comme un algorithme d'apprentissage automatique, à appliquer à des données qu'ils ne comprennent pas et s'appellent eux-mêmes Data Scientist en fonction de leur expérience dans ce domaine.

Cela peut sembler désinvolte, mais je pense que c'est l'essence de la situation.

Edit: Ce qui suit a été tweeté le 26 septembre 2019:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "Quand nous collectons de l'argent, c'est de l'IA, quand nous embauchons c'est du machine learning, et quand nous faisons le travail, c'est une régression logistique."

(Je ne sais pas qui est venu avec ça mais c'est un bijou 💎)

Mark L. Stone
la source
16
Je ne cacherai pas que je partage certaines de ces opinions et que je sympathise avec les autres. Cependant, pour qu'ils soient appropriés comme réponse sur un site SE, ils doivent avoir une sorte de support. Évidemment, cela ne passera pas par un raisonnement déductif: cela doit venir de la production de faits et / ou de la citation de sources faisant autorité. Ce serait cool si vous pouviez faire ça!
whuber
10
C'est le message le plus divertissant que j'ai lu aujourd'hui sur ce site, et je suis d'accord avec la plupart d'entre eux. Mais je suis d'accord avec @whuber qu'il ne répond pas vraiment à la question dans sa forme actuelle.
Nick Cox
6
Une petite précision. Je travaille à la fois dans le développement de logiciels et dans la "Data Science" décriée. J'interroge beaucoup de gens. Le taux de personnes interrogées pour des postes de développement de logiciels et des postes de science des données qui n'ont pas les compétences pour faire le travail est à peu près le même. Alors, quelle est la particularité du titre de science des données? Les gens vont gonfler leurs compétences dans toutes les disciplines techniques. Je suis sûr que l'échange de pile de programmation a plusieurs des mêmes plaintes.
Matthew Drury
7
Cela ressemble plus à une diatribe qu'à une réponse. Bien sûr, les noms changent, l'image de marque est importante et l'apprentissage automatique est chaud (et a donc de nombreux praticiens autoproclamés qui ne savent pas ce qu'ils font). Cependant, utiliser cela comme un argument pour minimiser un domaine qui est devenu établi et très pertinent à la fois dans la recherche et dans l'industrie me semble bon marché.
Marc Claesen
7
@ MarkL.Stone Je comprends votre situation et je suis tout à fait d 'accord qu'il existe de nombreux termes incompétents à chaud ici . Cependant, à mon avis, le fait que ces personnes trouvent (et conservent!) Des emplois est la faute de la direction. Si les gestionnaires ne sont pas satisfaits des résultats des analystes et traitent tous les analystes de la même manière, indépendamment des compétences / résultats individuels, la direction est tout aussi incompétente que les mauvais analystes. Tout travail qui a une odeur de trésorerie a des charlatans, prenez des médicaments par exemple. Les généralisations radicales sur les scientifiques des données / les gars de l'apprentissage automatique sont aussi mauvaises que la méfiance de tous les analystes.
Marc Claesen
18

Comme d'autres l'ont déjà mentionné, il n'y a pas de séparation claire entre les statistiques, l'apprentissage automatique, l'intelligence artificielle, etc. prenez donc toute définition avec un grain de sel. La régression logistique est probablement plus souvent qualifiée de statistique plutôt que d'apprentissage automatique, tandis que les réseaux de neurones sont généralement étiquetés comme apprentissage automatique (même si les réseaux de neurones ne sont souvent qu'une collection de modèles de régression logistique).

À mon avis, l'apprentissage automatique étudie des méthodes qui peuvent en quelque sorte apprendre des données, généralement en construisant un modèle sous une forme ou une autre. La régression logistique, comme la SVM, les réseaux de neurones, les forêts aléatoires et de nombreuses autres techniques, apprend des données lors de la construction du modèle.

Si j'ai bien compris, dans un algorithme de Machine Learning, le modèle doit apprendre de son expérience

Ce n'est pas vraiment la façon dont l'apprentissage automatique est généralement défini. Toutes les méthodes d'apprentissage automatique ne produisent pas des modèles qui s'adaptent dynamiquement aux nouvelles données (ce sous-champ est appelé apprentissage en ligne ).

Quelle est la différence entre la régression logistique et la régression normale en terme "d'apprentissage"?

De nombreuses méthodes de régression sont également classées comme apprentissage automatique (par exemple SVM).

Marc Claesen
la source
2
Notez que l'apprentissage non supervisé est toujours appelé (machine) apprentissage, vous n'avez donc pas nécessairement besoin d'avoir une boucle de rétroaction pour classer quelque chose comme "apprentissage machine".
vsz
Ce n'est pas le sujet de la question, mais cette réponse mentionne également la séparation entre l'IA et le ML. J'ai toujours aimé cette définition de l'IA: en.wikipedia.org/wiki/…
Davis Yoshida
10

La régression logistique a été inventée par le statisticien DR Cox en 1958 et est donc antérieure au domaine de l'apprentissage automatique. La régression logistique n'est pas une méthode de classification, Dieu merci. Il s'agit d'un modèle de probabilité directe.

Si vous pensez qu'un algorithme doit avoir deux phases (supposition initiale, puis «corriger» les «erreurs» de prédiction), considérez ceci: la régression logistique le fait bien la première fois. C'est-à-dire dans l'espace des modèles additifs (dans le logit). La régression logistique est un concurrent direct de nombreuses méthodes d'apprentissage automatique et surpasse beaucoup d'entre elles lorsque les prédicteurs agissent principalement de manière additive (ou lorsque la connaissance du sujet prédéfinit correctement les interactions). Certains appellent la régression logistique un type d'apprentissage automatique, mais la plupart ne le feraient pas. Vous pourriez appeler des modèles statistiques de certaines méthodes d'apprentissage automatique (les réseaux de neurones en sont des exemples).

Frank Harrell
la source
1
De façon amusante, le service d' apprentissage automatique d'Amazon utilise un seul algorithme (afaik) - régression logistique - pour les tâches de classification : p aws.amazon.com/machine-learning/faqs
stmax
Vous pouvez simplement présenter les données de manière incrémentielle - comme dans un problème d'apprentissage en ligne . Dans ce cas, la régression logistique ne "réussit pas du premier coup". J'apprends progressivement. Il a une perte standard et sa mise à jour est une application standard de descente de gradient. La régression logistique est présente dans tous les manuels d'apprentissage automatique que j'ai vus.
Neil G
1
β
@FrankHarrell: D'accord, et c'est ainsi que se déroule l'estimation du maximum de vraisemblance de la solution d'un problème de régression logistique.
Neil G
La régression logistique peut être antérieure au terme "Machine Learning", mais elle n'est pas antérieure au domaine : SNARC a été développé en 1951 et était une machine d'apprentissage . En outre, l'insistance sur le fait que la régression logistique ne modélise que les probabilités et n'est pas, en soi, un classifieur, est foudroyante. Selon cette logique, un réseau neuronal n'est pas un classifieur (à moins que la couche de sortie ne soit constituée de neurones binaires, mais cela rendrait la rétropropagation impossible).
Igor
8

Je devrai être en désaccord avec la plupart des réponses ici et affirmer que le Machine Learninga une portée très précise et une distinction claire par rapport aux statistiques. ML est un sous-domaine de l'informatique avec une longue histoire, qui n'a trouvé ces dernières années que des applications en dehors de son domaine. Le domaine paternel et le domaine d'application de ML se trouvent dans l'intelligence artificielle (robotique, logiciel de reconnaissance de formes, etc.), par conséquent, ce n'est pas seulement un "terme brûlant" comme "Big Data" ou "Data Science". En revanche, la statistique (qui vient du mot «état») a été développée dans les sciences sociales et économiques comme un outil pour les humains, pas pour les machines. Le ML a évolué séparément des statistiques et, même s'il a commencé à s'appuyer fortement sur des principes statistiques, ce n'est en aucun cas un sous-domaine des statistiques. Le ML et les statistiques sont des champs complémentaires et non superposés.

Réponse longue :

Comme son nom l'indique, les méthodes ML ont été conçues pour les logiciels / machines tandis que les méthodes statistiques ont été conçues pour les humains. Le ML et les statistiques traitent tous les deux des prédictions sur les données, cependant, les méthodes ML suivent une approche automatisée non paramétrique tandis que les méthodes statistiques nécessitent beaucoup de travail manuel de construction de modèles avec un facteur explicatif supplémentaire. Cela est parfaitement logique si vous considérez que les algorithmes ML ont été développés dans la recherche sur l'IA comme un moyen de prédiction automatisé qui devait être intégré dans un logiciel de robotique (par exemple à des fins de reconnaissance vocale et faciale). Lorsqu'une "machine" fait une prédiction, elle ne se soucie pas des raisons qui la sous-tendent. Une machine ne se soucie pas de connaître les pilotes / prédicteurs derrière un modèle qui classe le courrier électronique comme spam ou non-spam, elle se soucie uniquement d'avoir la meilleure précision de prédiction.les boîtes noires , ce n'est pas parce qu'elles n'ont pas de modèle, c'est parce que le modèle est construit de manière algorithmique et n'est pas destiné à être visible ni par l'homme ni par la machine.

Le concept de «formation» en ML repose sur la puissance de calcul, tandis que la construction de modèles statistiques avec des méthodes de type OLS pour l'estimation des paramètres repose sur les connaissances d'un expert humain. Dans un scénario de régression multiple, il appartient strictement au statisticien d'utiliser son jugement d'expert pour choisir son modèle et vérifier toutes les hypothèses statistiques requises. Le but d'un statisticien n'est pas seulement de trouver des modèles et de les utiliser pour des prédictions, mais aussi de comprendre ses données et son problème de manière beaucoup plus approfondie que ML.

Bien sûr, dans certains cas, le BA et les statistiques se chevauchent, comme c'est le cas pour de nombreuses disciplines. La régression logistique est l'une de ces occasions; à l'origine une méthode statistique, qui ressemble tellement au Perceptron simple (l'une des techniques de ML les plus fondamentales), qu'elle est considérée par certains comme une méthode de ML.

Digio
la source
1
Peut-être que vous n'avez jamais entendu parler de statistiques non paramétriques et de modèles statistiques non paramétriques et de construction de modèles?
Mark L. Stone
1
Oui, j'utilise quotidiennement des statistiques non paramétriques. Je n'ai pas dit que le ML est la réponse non paramétrique aux statistiques, je trouve simplement que les méthodes ML non paramétriques sont un effet secondaire. Les statistiques non paramétriques sont une option alternative du statisticien lorsque les statistiques paramétriques échouent, mais elles sont toujours le résultat du choix conscient d'un expert. Je ne suis probablement pas assez clair pour communiquer mon point de vue et je m'en excuse.
Digio
3
Il y a beaucoup de statisticiens qui font des modèles non paramétriques, des statistiques tout le temps. Avez-vous entendu parler de la probabilité empirique - inventée par un statisticien, utilisée par les statisticiens, et assez non paramétrique, bien qu'elle puisse également être utilisée de manière semi-paramétrique. Je ne suis donc pas d'accord avec vous, mais je ne vous ai pas déçu.
Mark L. Stone
1
Le désaccord, c'est bien Mark, mais je ne comprends toujours pas de quoi parle votre contre-argument. Voulez-vous dire que les statistiques non paramétriques n'ont pas besoin d'apprentissage automatique (quelque chose que je n'ai jamais nié)? Ou prétendez-vous que l'apprentissage automatique n'est en fait qu'un autre nom pour les statistiques non paramétriques (quelque chose que j'ai nié)?
Digio
3
Il y a beaucoup de désaccords ici. Les modèles de régression multivariable, lorsqu'ils sont utilisés conjointement avec des outils statistiques modernes, peuvent être flexibles et très compétitifs avec le ML.
Frank Harrell
3

L'apprentissage automatique est défini de façon assez vague et vous avez raison de penser que les modèles de régression - et pas seulement ceux de régression logistique - "apprennent" également des données. Je ne sais pas vraiment si cela signifie que l'apprentissage automatique est vraiment des statistiques ou que les statistiques sont vraiment un apprentissage automatique - ou si tout cela est important.

k

Cela dit, certains algorithmes apprennent des erreurs de prédiction - cela est particulièrement courant dans l' apprentissage par renforcement , où un agent prend des mesures, observe ses résultats, puis utilise les résultats pour planifier les actions futures. Par exemple, un aspirateur robotique peut commencer avec un modèle du monde où il nettoie tous les emplacements de la même manière, puis apprendre à aspirer les endroits sales (où il est "récompensé" en trouvant de la saleté) plus et nettoyer les endroits moins.

Les algorithmes en ligne ou incrémentiels peuvent être mis à jour à plusieurs reprises avec de nouvelles données d'entraînement. Cela ne dépend pas nécessairement de la précision de prédiction du modèle, mais je pourrais imaginer un algorithme où les poids sont mis à jour de manière plus agressive si, par exemple, les nouvelles données semblent très improbables compte tenu du modèle actuel. Il existe des versions en ligne pour la régression logistique: par exemple, McMahan et Streeeter (2012) .

Matt Krause
la source
3

Je l'ai finalement compris. Je connais maintenant la différence entre l'ajustement d'un modèle statistique et l'apprentissage automatique.

  • Si vous ajustez un modèle (régression), c'est l'ajustement de modèle statistique
  • Si vous apprenez un modèle (régression), c'est l'apprentissage automatique

Donc, si vous apprenez une régression logistique, c'est un algorithme d'apprentissage automatique.

Commentaire: Pardonnez-moi d'être un vieux geezer, mais chaque fois que j'entends des gens parler d'apprendre un modèle ou d'apprendre une régression, cela me fait penser à Jethro "J'ai fini par m'apprendre une éducation".

FIN DE FIL

Mark L. Stone
la source
??? Je peux aussi apprendre un modèle logistique, de quoi tu parles?
SmallChess
1
@Student T, si vous ajustez un modèle logistique, c'est l'ajustement de modèle statistique. Si vous apprenez un modèle logistique, c'est de l'apprentissage automatique, c'est vraiment une question de terminologie utilisée par les différents domaines. La même chose peut être appelée différentes choses par différents domaines (statistiques et apprentissage automatique).
Mark L. Stone
0

La régression logistique (et plus généralement GLM) n'appartient PAS au Machine Learning! Ces méthodes appartiennent plutôt à la modélisation paramétrique .

Les modèles paramétriques et algorithmiques (ML) utilisent les données, mais de différentes manières. Les modèles algorithmiques apprennent des données comment les prédicteurs sont mappés au prédictant, mais ils ne font aucune hypothèse sur le processus qui a généré les observations (ni aucune autre hypothèse, en fait). Ils considèrent que les relations sous-jacentes entre les variables d'entrée et de sortie sont complexes et inconnues, et adoptent donc une approche basée sur les données pour comprendre ce qui se passe, plutôt que d'imposer une équation formelle.

D'un autre côté, les modèles paramétriques sont prescrits a priori sur la base d'une certaine connaissance du processus étudié, utilisent les données pour estimer leurs paramètres et font beaucoup d'hypothèses irréalistes qui tiennent rarement en pratique (telles que l'indépendance, la variance égale et Distribution normale des erreurs).

De plus, les modèles paramétriques (comme la régression logistique) sont des modèles globaux . Ils ne peuvent pas capturer les modèles locaux dans les données (contrairement aux méthodes ML qui utilisent des arbres comme modèles de base, par exemple RF ou Boosted Trees). Voir cet article page 5. En tant que stratégie de correction, un GLM local (c'est-à-dire non paramétrique) peut être utilisé (voir par exemple le package locfit R).

Souvent, lorsque peu de connaissances sur le phénomène sous-jacent sont disponibles, il est préférable d'adopter une approche basée sur les données et d'utiliser la modélisation algorithmique. Par exemple, si vous utilisez la régression logistique dans un cas où l'interaction entre les variables d'entrée et de sortie n'est pas linéaire, votre modèle sera clairement inadéquat et beaucoup de signaux ne seront pas capturés. Cependant, lorsque le processus est bien compris, les modèles paramétriques ont l'avantage de fournir une équation formelle pour tout résumer, ce qui est puissant d'un point de vue théorique.

Pour une discussion plus détaillée, lisez ceci excellent article de Leo Breiman.

Antoine
la source
4
Veuillez prendre le temps de comprendre la régression logistique. Il ne fait aucune hypothèse de distribution. Il fait exactement le même genre d'hypothèse d'indépendance faite par ML. ML nécessite des tailles d'échantillon beaucoup plus grandes que la régression logistique. Par exemple, les forêts aléatoires et SVM peuvent nécessiter 200 événements par entité candidate pour être stables tandis que la régression logistique nécessite généralement 200 événements par variable candidate.
Frank Harrell
2
Vous devriez prendre le temps de comprendre la régression logistique! Il s'agit d'un modèle linéaire généralisé où le lien est la fonction logit. C'est paramétrique. Il suppose que les observations sont IID. Aussi, bonne chance pour capturer des relations non linéaires. De plus, que signifie la deuxième partie de votre phrase? Pour moi, une fonctionnalité est une variable (?)
Antoine
5
Il existe de nombreux bons livres sur le sujet et je vous recommande de les consulter avant de continuer. La régression logistique ne suppose pas des distributions identiques et suppose en fait aucune distribution du tout. À moins que vous ne puissiez démontrer comment vous tenez compte de la structure de corrélation en ML, les deux approches supposent l'indépendance. Les splines de régression sont utilisées depuis 1982 pour assouplir les hypothèses de linéarité en régression logistique. Pour cette discussion, feature = variable sauf s'il est développé dans une spline.
Frank Harrell
5
Breiman a très bien compris les choses. Il n'a tout simplement pas abordé les développements postérieurs à 1982 de la régression logistique, par exemple l'estimation du maximum de vraisemblance pénalisé, les splines de régression et les combinaisons avec les méthodes de réduction des données. La seule limite sérieuse à la régression logistique est que, comme d'autres méthodes, il n'est pas bon de trouver les bonnes interactions si l'on recherche des interactions et qu'elles ne sont pas prédéfinies. La plupart des méthodes qui prétendent être en mesure de le faire n'aboutissent pas à des résultats reproductibles. De plus, Breiman a utilisé un score de précision incorrect qui peut être optimisé par un faux modèle.
Frank Harrell
3
@Antoine: "pourquoi la régression logistique diffère radicalement de ML". Notez que certaines méthodes en ML (plus particulièrement, SVM) sont très liées à la régression logistique. À l'exception des interactions multiples, comme Frank l'a écrit, le reg logistique avec non-linéarités et pénalisation donne des résultats très similaires à SVM et à d'autres méthodes ML. Cela continue de m'étonner de voir comment certains articles citent des améliorations de performances basées sur une méthode ML par rapport à un modèle logistique stat101 pour encadrer négativement la régression logistique.
Thomas Speidel
-1

Je pense que les autres réponses font un bon travail pour identifier plus ou moins ce qu'est le Machine Learning (comme elles l'indiquent, cela peut être flou). J'ajouterai que la régression logistique (et sa version multinomiale plus générale) est très couramment utilisée comme moyen d'effectuer une classification dans les réseaux de neurones artificiels (qui, je pense, sont couverts sans ambiguïté par la définition sensible de l'apprentissage automatique que vous choisissez), et donc si vous mentionnez Régression logistique à une personne en réseau neuronal, ils sont susceptibles d'y penser immédiatement dans ce contexte. Être lié à un gros frappeur en apprentissage automatique est un bon moyen de devenir vous-même une technique d'apprentissage automatique, et je pense que c'est dans une certaine mesure ce qui s'est passé avec diverses techniques de régression, bien que je ne les exclure pas d'être de bonnes techniques d'apprentissage automatique. en soi.

adamconkey
la source
Notez que la régression logistique n'est pas un classificateur mais une méthode d'estimation de probabilité directe.
Frank Harrell
Pour plus d'informations sur l'argument du Dr Harrell, veuillez consulter mon article ici. stats.stackexchange.com/questions/127042/…
Sycorax dit de réintégrer Monica
@FrankHarrell Nous pouvons également utiliser la probabilité de classification, c'est donc vraiment un classifieur.
SmallChess
@ StudentT4 Cela ne pourrait pas être plus incorrect. Si est un estimateur de probabilité directe. La manière dont vous utilisez le résultat final du modèle logistique dépend de vous. Selon votre logique, la moyenne de l'échantillon est un classifieur.
Frank Harrell
-1

Je pense que toute procédure "itérative" peut être considérée comme un cas d'apprentissage automatique. La régression peut être considérée comme un apprentissage automatique. Nous pourrions le faire à la main, mais cela prendrait beaucoup de temps, si possible. Alors maintenant, nous avons ces programmes, ces machines, qui font les itérations pour nous. Il se rapproche de plus en plus d'une solution, ou de la meilleure solution ou du meilleur ajustement. Ainsi, "l'apprentissage machine". Bien sûr, des choses comme les réseaux de neurones attirent la plupart de l'attention en ce qui concerne l'apprentissage automatique, nous associons donc généralement l'apprentissage automatique à ces procédures sexy. En outre, la différence entre l'apprentissage automatique "supervisé" et "non supervisé" est pertinente ici

dailyl
la source
-2

C'est une erreur très courante que la plupart des gens font et je peux le voir ici aussi (fait par presque tout le monde). Permettez-moi de l'expliquer en détail ... Régression logistique et modèle de régression linéaire, les deux sont à la fois un modèle paramétrique et une technique d'apprentissage automatique. Cela dépend simplement de la méthode que vous utilisez pour estimer les paramètres du modèle (thêta). Il existe 2 façons de trouver des paramètres de modèle dans la régression linéaire et la régression logistique.

  1. Technique de descente de gradient : Ici, nous commençons par attribuer des valeurs aléatoires aux paramètres et trouver la fonction de coût (erreur). À chaque itération, nous mettons à jour nos paramètres et minimisons la fonction de coût. Après un certain nombre d'itérations, la fonction de coût réduite aux valeurs souhaitées et les valeurs de paramètres correspondantes sont nos valeurs finales. C'est ce que les techniques d'apprentissage automatique sont censées faire. Donc, si vous utilisez la technique de descente de gradient, la régression logistique peut appeler une technique d'apprentissage automatique.

  2. En utilisant la méthode des moindres carrés: Ici, nous avons une formule directe pour trouver nos paramètres (une certaine algèbre matricielle est nécessaire pour comprendre la dérivation de cette formule) qui est connue comme une équation normale. Méthode des moindres carrés

Ici b représente les paramètres X est la matrice de conception. Les deux méthodes ont leurs propres avantages et limites. Pour obtenir plus de détails: suivez le cours Coursera Machine Learning toujours en cours.

J'espère que ce message pourrait être utile .. :-)

Mohit Kumar
la source