Je sais que la régression logistique trouve un hyperplan qui sépare les échantillons d'entraînement. Je sais également que les machines à vecteurs de support trouvent l'hyperplan avec la marge maximale.
Ma question: est-ce que la différence entre la régression logistique (LR) et les machines à vecteurs de support (SVM) est que LR trouve un hyperplan qui sépare les échantillons d'apprentissage tandis que SVM trouve l'hyperplan avec la marge maximale? Ou ai-je tort?
Remarque: rappelons que dans LR quand alors la fonction logistique donne 0,5 . Si nous supposons 0,5 comme seuil de classification, alors θ ⋅ x = 0 est un hyperplan ou une frontière de décision.
machine-learning
classification
svm
data-mining
Jack Twain
la source
la source
Réponses:
Vous avez raison si vous parlez de SVM dur et que les deux classes sont linéairement séparables. LR trouve une solution qui sépare les deux classes. Hard SVM trouve "la" solution parmi toutes celles qui ont la marge maximale.
En cas de SVM soft et les classes n'étant pas linéairement séparables, vous avez toujours raison avec une légère modification. L'erreur ne peut pas devenir nulle. LR trouve un hyperplan qui correspond à la minimisation d'une erreur. Soft SVM essaie de minimiser l'erreur (une autre erreur) et en même temps échange cette erreur avec la marge via un paramètre de régularisation.
Une différence entre les deux: SVM est un classificateur difficile mais LR est un classificateur probabiliste. SVM est rare. Il choisit les vecteurs supports (parmi les échantillons d'apprentissage) qui ont le pouvoir le plus discriminant entre les deux classes. Puisqu'il ne conserve pas d'autres points d'entraînement au-delà de cela au moment du test, nous n'avons aucune idée de la répartition de l'une des deux classes.
J'ai expliqué comment la solution LR (utilisant IRLS) se casse en cas de séparabilité linéaire des deux classes et pourquoi elle cesse d'être un classificateur probabiliste dans un tel cas: /stats//a/133292/66491
la source