De nombreux auteurs d'articles que j'ai lus affirment que les SVM sont une technique supérieure pour faire face à leur problème de régression / classification, sachant qu'ils ne pourraient pas obtenir de résultats similaires via les NN. Souvent, la comparaison indique que
SVM, au lieu de NN,
- Avoir une théorie fondatrice forte
- Atteindre l'optimum global grâce à la programmation quadratique
- Ne pas avoir de problème pour choisir un nombre approprié de paramètres
- Sont moins enclins à sur-adapter
- Nécessite moins de mémoire pour stocker le modèle prédictif
- Produire des résultats plus lisibles et une interprétation géométrique
Est-ce sérieusement une pensée largement acceptée? Ne citez pas le théorème du déjeuner gratuit ou des affirmations similaires, ma question porte sur l’utilisation pratique de ces techniques.
De l’autre côté, quel genre de problème abstrait vous affronteriez avec NN?
machine-learning
svm
neural-networks
stackovergio
la source
la source
Réponses:
C'est une question de compromis. SVM sont en ce moment NNS être utilisés dans . Vous découvrirez un nombre croissant d'articles faisant état de forêts aléatoires, de modèles graphiques probabilistes ou de méthodes bayésiennes non paramétriques . Quelqu'un devrait publier un modèle de prévision dans les Annals of Improbable Research sur les modèles qui seront considérés comme branchés.
Cela étant dit, pour de nombreux problèmes supervisés réputés difficiles, les modèles individuels les plus performants sont un type de NN, un type de SVM ou une méthode de descente de gradient stochastique spécifique au problème mise en œuvre à l'aide de méthodes de traitement du signal.
Avantages de NN:
Avantages de SVM:
Moins d'hyperparamètres. En général, les SVM nécessitent moins de recherche sur la grille pour obtenir un modèle raisonnablement précis. SVM avec un noyau RBF fonctionne généralement assez bien.
Optimal global garanti.
Inconvénients de NN et SVM:
la source
D'après mon expérience, la réponse à votre question est "non", les SVM ne sont pas vraiment supérieurs, et ce qui fonctionne le mieux dépend de la nature du jeu de données en question et de la compétence relative de l'opérateur avec chaque jeu d'outils. En général, les SVM sont bons parce que l'algorithme d'apprentissage est efficace et qu'il a un paramètre de régularisation, ce qui vous oblige à penser à la régularisation et à la correction. Cependant, il existe des jeux de données dans lesquels les MLP offrent des performances bien meilleures que les SVM (car ils sont autorisés à choisir leur propre représentation interne, au lieu de la spécifier préalablement par la fonction du noyau). Une bonne mise en œuvre des MLP (par exemple, NETLAB) et une régularisation ou un arrêt précoce ou une sélection d'architecture (ou mieux, les trois) peuvent souvent donner de très bons résultats et être reproductibles (du moins en termes de performances).
La sélection de modèle est le problème majeur des SVM: choisir le noyau et optimiser les paramètres de régularité et de noyau peuvent souvent conduire à une sur-adaptation sévère si vous sur-optimisez le critère de sélection de modèle. Bien que la théorie sous-jacente au SVM soit un confort, la plupart ne s’applique qu’à un noyau fixe. Ainsi, dès que vous essayez d’optimiser les paramètres du noyau, elle ne s’applique plus (par exemple, le problème d’optimisation à résoudre lors de l’ajustement du noyau). généralement non convexe et peut avoir des minima locaux).
la source
Je vais juste essayer d'expliquer mon opinion qui semblait être partagée par la plupart de mes amis. J'ai des préoccupations concernant NN qui ne concernent pas du tout SVM:
Cela ne signifie pas que vous ne devez pas utiliser NN, vous devez simplement l'utiliser avec précaution. Par exemple, NN par convolution peut être extrêmement efficace pour le traitement des images, tandis que l’autre Deep NN s’est également avéré bénéfique pour d’autres problèmes.
J'espère que ça va aider.
la source
J'utilise des réseaux de neurones pour la plupart des problèmes. Le fait est que dans la plupart des cas, il s'agit davantage de l'expérience de l'utilisateur que du modèle. Voici quelques raisons pour lesquelles j'aime les NN.
Je passerai en revue vos autres points étape par étape.
Je dirais que les NN sont également forts dans ce cas: puisque vous les formez dans un cadre probabiliste. Cela permet l'utilisation de priors et d'un traitement bayésien (par exemple avec des techniques variationnelles ou des approximations).
Pour un ensemble d'hyperparamètres. Cependant, la recherche de bons hps n’est pas convexe et vous ne saurez pas non plus si vous avez trouvé l’optimum global.
Avec les SVM, vous devez également sélectionner des paramètres hyper.
Vous devez stocker les vecteurs de support. Les SVM ne seront généralement pas meilleur marché pour stocker des MLP, cela dépend des cas.
La couche supérieure d'une MLP est une régression logistique dans le cas de la classification. Ainsi, il existe une interprétation géométrique (séparant l'hyper plan) et une interprétation probabiliste.
la source
À certains égards, ces deux grandes catégories de techniques d’apprentissage automatique sont liées. Bien que n'étant pas parfaits, deux articles que j'ai trouvés utiles pour montrer les similitudes entre ces techniques sont présentés ci-dessous.
et
la source