Différences entre la régression logistique et les perceptrons

Si je comprends bien, un réseau de neurones artificiels perceptron / monocouche avec une fonction d'activation sigmoïde logistique est le même modèle que la régression logistique. Les deux modèles sont donnés par l'équation:

$F(x) = \frac{1}{1-e^{-\beta X}}$

L'algorithme d'apprentissage du perceptron est en ligne et induit par des erreurs, tandis que les paramètres de régression logistique peuvent être appris en utilisant une variété d'algorithmes par lots, y compris la descente de gradient et le BFGS à mémoire limitée, ou un algorithme en ligne, comme la descente de gradient stochastique. Existe-t-il d'autres différences entre la régression logistique et un perceptron sigmoïde? Doit-on s'attendre à ce que les résultats d'un régresseur logistique entraîné avec une descente de gradient stochastique soient similaires à ceux du perceptron?

Vous avez déjà mentionné les différences importantes. Les résultats ne devraient donc pas différer beaucoup.

Je crois qu'une différence que vous manquez est le fait que la régression logistique renvoie une probabilité de classification basée sur des principes tandis que les perceptrons classent avec une frontière dure.

Ceci est mentionné dans l'article Wiki sur la régression logistique multinomiale .

Il y a en fait une grande différence substantielle, qui est liée aux différences techniques que vous avez mentionnées. La régression logistique modélise une fonction de la moyenne d'une distribution de Bernoulli comme une équation linéaire (la moyenne étant égale à la probabilité p d'un événement de Bernoulli). En utilisant le lien logit en fonction de la moyenne ( p ), le logarithme des cotes (log-odds) peut être dérivé analytiquement et utilisé comme réponse d'un soi-disant modèle linéaire généralisé. L'estimation des paramètres sur ce GLM est alors un processus statistique qui donne des valeurs de p et des intervalles de confiance pour les paramètres du modèle. En plus de la prédiction, cela vous permet d'interpréter le modèle dans l'inférence causale. C'est quelque chose que vous ne pouvez pas réaliser avec un Perceptron linéaire.

Le Perceptron est un processus d'ingénierie inverse de régression logistique: au lieu de prendre le logit de y, il prend la fonction logit inverse (logistique) de wx , et n'utilise pas d'hypothèses probabilistes pour ni le modèle ni son estimation de paramètre. La formation en ligne vous donnera exactement les mêmes estimations pour les poids / paramètres du modèle, mais vous ne pourrez pas les interpréter dans l'inférence causale en raison du manque de valeurs de p, d'intervalles de confiance et, bien, d'un modèle de probabilité sous-jacent.

En bref, la régression logistique est un GLM qui peut effectuer des prédictions et des inférences, tandis que le Perceptron linéaire ne peut réaliser que des prédictions (auquel cas il effectuera les mêmes que la régression logistique). La différence entre les deux est également la différence fondamentale entre la modélisation statistique et l'apprentissage automatique.