Support Vector Machine est-il sensible à la corrélation entre les attributs?

Je voudrais former un SVM pour classer les cas (TRUE / FALSE) sur la base de 20 attributs. Je sais que certains de ces attributs sont fortement corrélés. Par conséquent, ma question est la suivante: SVM est-il sensible à la corrélation ou à la redondance entre les fonctionnalités? Une référence?

svm multicollinearity kernel-trick user7064
la source

Je suppose que non, car la génération d'une séparation basée sur une variable rendrait les autres variables corrélées faibles en ce qui concerne les séparations ultérieures. Il peut cependant y avoir une certaine instabilité concernant la variable choisie.

mandata

Parlez-vous d'un SVM linéaire, ou d'un noyau RBF, ou ...?

Dougal

Hmmmm, je ne sais pas ... la réponse dépend-elle de cela?

user7064

Oui absolument. Vous pouvez concevoir un noyau pour traiter explicitement les corrélations, si vous le souhaitez.

Dougal

@Dougal: S'il existe des méthodes pour éliminer l'effet de la corrélation, cela ne signifie-t-il pas que le SVM standard est sensible à la corrélation?

cfh

Réponses:

Noyau linéaire: L'effet ici est similaire à celui de la multicolinéarité dans la régression linéaire. Votre modèle appris peut ne pas être particulièrement stable face à de petites variations dans l'ensemble d'entraînement, car différents vecteurs de poids auront des sorties similaires. Les prédictions des ensembles d'entraînement, cependant, seront assez stables, et il en sera de même pour les tests s'ils proviennent de la même distribution.

Noyau RBF: Le noyau RBF ne regarde que les distances entre les points de données. Ainsi, imaginez que vous avez en fait 11 attributs, mais l'un d'eux est répété 10 fois (un cas assez extrême). Cet attribut répété contribuera alors 10 fois plus à la distance que tout autre attribut, et le modèle appris sera probablement beaucoup plus impacté par cette caractéristique.

Une façon simple d'actualiser les corrélations avec un noyau RBF est d'utiliser la distance de Mahalanobis: , où est un estimation de la matrice de covariance de l'échantillon. De manière équivalente, mappez tous vos vecteurs à puis utilisez le noyau RBF régulier, où est tel que , par exemple la décomposition Cholesky de . $d(x, y) = \sqrt{ (x - y)^T S^{-1} (x - y) }$ $S$ $x$ $C x$ $C$ $S^{-1} = C^T C$ $S^{-1}$

Dougal
la source

C'est une réponse très intéressante; J'aimerais en savoir plus sur la façon d'atténuer ce genre de problèmes. Pouvez-vous ajouter une référence ou deux?

Sycorax dit Réintégrer Monica

Je n'en connais pas un bon, mais je vais en chercher un peu, peut-être ce soir.

Dougal

Impressionnant! Inbox me si vous trouvez un article sympa. Je suis content que mon (+1) puisse vous mettre plus de 3k. (-:

Sycorax dit Réintégrer Monica

L'inverse de la matrice de covariance dans la distance de Mahalanobis est une clé. Si vous pouvez l'estimer de manière fiable, cela peut être expliqué.

Vladislavs Dovgalecs