La différence entre la régression logistique et les machines à vecteurs de support?

14

Je sais que la régression logistique trouve un hyperplan qui sépare les échantillons d'entraînement. Je sais également que les machines à vecteurs de support trouvent l'hyperplan avec la marge maximale.

Ma question: est-ce que la différence entre la régression logistique (LR) et les machines à vecteurs de support (SVM) est que LR trouve un hyperplan qui sépare les échantillons d'apprentissage tandis que SVM trouve l'hyperplan avec la marge maximale? Ou ai-je tort?

Remarque: rappelons que dans LR quand alors la fonction logistique donne 0,5 . Si nous supposons 0,5 comme seuil de classification, alors θ x = 0 est un hyperplan ou une frontière de décision.θx=00.50.5θx=0

Jack Twain
la source

Réponses:

8

Vous avez raison si vous parlez de SVM dur et que les deux classes sont linéairement séparables. LR trouve une solution qui sépare les deux classes. Hard SVM trouve "la" solution parmi toutes celles qui ont la marge maximale.

En cas de SVM soft et les classes n'étant pas linéairement séparables, vous avez toujours raison avec une légère modification. L'erreur ne peut pas devenir nulle. LR trouve un hyperplan qui correspond à la minimisation d'une erreur. Soft SVM essaie de minimiser l'erreur (une autre erreur) et en même temps échange cette erreur avec la marge via un paramètre de régularisation.

Une différence entre les deux: SVM est un classificateur difficile mais LR est un classificateur probabiliste. SVM est rare. Il choisit les vecteurs supports (parmi les échantillons d'apprentissage) qui ont le pouvoir le plus discriminant entre les deux classes. Puisqu'il ne conserve pas d'autres points d'entraînement au-delà de cela au moment du test, nous n'avons aucune idée de la répartition de l'une des deux classes.

J'ai expliqué comment la solution LR (utilisant IRLS) se casse en cas de séparabilité linéaire des deux classes et pourquoi elle cesse d'être un classificateur probabiliste dans un tel cas: /stats//a/133292/66491

Seeda
la source
3
Quel type de moindres carrés la régression logistique optimise-t-elle? LR utilise l' entropie croisée comme une perte.
Artem Sobolev
1
ce n'est pas parce que la régression logistique utilise IRLS que cela ne signifie pas qu'il s'agit des moindres carrés - la repondération dans IRLS est fonction de l'estimation actuelle des paramètres, ce qui rend la fonction réelle optimisée très différente des moindres carrés.
Glen_b -Reinstate Monica
En résumé, SVM est une variante améliorée de LR, car il trouve l'hyperplan avec la marge maximale tandis que LR trouve juste un (sorte de parler au hasard?) hyperplan. Êtes-vous d'accord avec ce résumé?
LandonZeKepitelOfGreytBritn