Quelle est la différence entre PCA et MDS classique? Qu'en est-il des MDS par rapport aux MDS non métriques? Y a-t-il un moment où vous préféreriez l'un plutôt que l'autre? Comment les interprétations diffèrent-elles?
la source
Quelle est la différence entre PCA et MDS classique? Qu'en est-il des MDS par rapport aux MDS non métriques? Y a-t-il un moment où vous préféreriez l'un plutôt que l'autre? Comment les interprétations diffèrent-elles?
La MDS métrique classique de Torgerson est en fait réalisée en transformant des distances en similitudes et en effectuant une ACP (décomposition propre ou décomposition en valeur singulière) sur celles-ci. [L'autre nom de cette procédure ( distances between objects -> similarities between them -> PCA
où les chargements sont les coordonnées recherchées) est Analyse des coordonnées principales ou PCoA .] Ainsi, PCA pourrait être appelé l'algorithme de la plus simple MDS.
Les MDS non métriques sont basées sur un algorithme itératif ALSCAL ou PROXSCAL (ou un algorithme similaire) qui est une technique de mappage plus polyvalente que la PCA et peut également être appliqué à la métrique MDS. Alors que l' APC conserve m dimensions importantes pour vous, ALSCAL / PROXSCAL correspond à la configuration à m dimensions (vous prédéfinir m ) et reproduit dissemblances sur la carte plus directement et avec précision que PCA peut habituellement (section voir illustration ci - dessous).
Ainsi, MDS et PCA ne sont probablement pas au même niveau pour être alignés ou opposés. La PCA n’est qu’une méthode alors que MDS est une classe d’analyse. En tant que mappage, PCA est un cas particulier de MDS. En revanche, l’ACP est un cas particulier d’analyse factorielle qui, en tant que réduction de données, est plus qu’un mappage, alors que MDS n’est qu’un mappage.
En ce qui concerne votre question sur les systèmes métropolitains métriques et non métriques, il y a peu de commentaires à faire car la réponse est simple. Si je crois que mes dissimilarités d'entrée sont si proches pour être des distances euclidiennes qu'une transformation linéaire suffira à les cartographier dans un espace à m dimensions, je préférerai les métriques MDS. Si je ne crois pas, une transformation monotone est nécessaire, impliquant l'utilisation de MDS non métriques.
Une note sur la terminologie pour un lecteur. Terme Classic (al) MDS (CMDS) peut avoir deux significations différentes dans une vaste littérature sur les SMD. Il est donc ambigu et doit être évité. Une définition est que CMDS est un synonyme de la métrique MDS de Torgerson. Une autre définition est que CMDS est une MDS (quel que soit l'algorithme; analyse métrique ou non) avec une entrée matricielle unique (car il existe des modèles analysant plusieurs matrices à la fois - modèle INDSCAL individuel et modèle répliqué).
Illustration à la réponse . Un certain nombre de points (ellipse) est en cours de cartographie sur une carte unidimensionnelle. Une paire de points est représentée par des points rouges.
Les MDS itératifs ou "vrais" visent directement à reconstruire des distances paires par objets. Car c’est la tâche de tout MDS . Divers contraintes ou critères misfit pourraient être réduits au minimum entre o distances riginal et les distances sur la m ap: , , . Un algorithme peut (MDS non métrique) ou non (MDS métrique) inclure une transformation monotone de cette manière.
La MDS basée sur la PCA (Torgerson ou PCoA) n’est pas droite. Il minimise les distances au carré entre les objets de l'espace d'origine et leurs images sur la carte. Ce n'est pas une tâche vraiment authentique du MDS; en tant que MDS, il ne réussit que dans la mesure où les axes principaux juniors écartés sont faibles. Si explique beaucoup plus de variance que le premier peut à lui seul refléter de manière substantielle les distances par paires dans le nuage, en particulier pour les points éloignés les uns des autres le long de l'ellipse. Les MDS itératifs gagneront toujours, surtout lorsque la carte est recherchée dans une très faible dimension. Les MDS itératifs, eux aussi, réussiront mieux quand une ellipse en nuage sera mince, mais rempliront mieux la tâche mds que PCoA. Par la propriété de la matrice à double centrage (décrite ici) il semble que PCoA minimise , ce qui diffère de l’une quelconque des minimisations ci-dessus.
Une fois encore, PCA projette les points du nuage sur le sous-espace le plus avantageux de l’épargne corporelle. Il ne projette pas les distances par paires , ni les emplacements relatifs des points sur un sous-espace qui économise le plus à cet égard, comme le fait MDS itératif. Néanmoins, historiquement, les analyses PCoA / PCA sont considérées parmi les méthodes de mesure métrique.
Euh ... tout à fait différent. Dans PCA, les données continues multivariées (un vecteur multivarié pour chaque sujet) vous sont attribuées et vous essayez de déterminer si vous n'avez pas besoin de autant de dimensions pour les conceptualiser. Dans MDS (métrique), on vous donne la matrice des distances entre les objets et vous essayez de déterminer les emplacements de ces objets dans l'espace (et si vous avez besoin d'un espace 1D, 2D, 3D, etc.). Dans les MDS non métriques, vous savez seulement que les objets 1 et 2 sont plus distants que les objets 2 et 3, vous essayez donc de quantifier cela, en plus de trouver les dimensions et les emplacements.
Avec un effort d'imagination notable, vous pouvez dire qu'un objectif commun de PCA et MDS est de visualiser des objets en 2D ou en 3D. Mais étant donné la différence entre les entrées, ces méthodes ne seront pas discutées comme étant même reliées de manière lointaine dans un manuel multivarié. Je suppose que vous pouvez convertir les données utilisables pour PCA en données utilisables pour MDS (par exemple, en calculant les distances de Mahalanobis entre elles, à l'aide de la matrice de covariance), mais cela entraînerait immédiatement une perte d'informations: MDS n'est défini que jusqu'à l’emplacement et la rotation, et les deux derniers peuvent être réalisés de manière plus informative avec PCA.
Si je devais montrer brièvement à quelqu'un les résultats de MDS non métriques et si je voulais leur donner une idée approximative de ce qu'il fait sans entrer dans les détails, je pourrais dire:
la source
Deux types de MDS métriques
La tâche de mise à l’échelle métrique multidimensionnelle (MDS) peut être formulée de manière abstraite comme suit: étant donné une matrice de distances par paires entre points, trouver une imbrication de points de données dans telle que Les distances euclidiennes entre eux se rapprochent des distances données:n×n D n Rk
Si "approximatif" est compris ici dans le sens habituel de l'erreur de reconstruction, c'est-à-dire si l'objectif est de minimiser la fonction de coût appelée "stress": la solution n’est pas équivalente à PCA. La solution n'est donnée par aucune formule fermée et doit être calculée par un algorithme itératif dédié.
"Classical MDS", également connu sous le nom de "Torgerson MDS", remplace cette fonction de coût par une fonction connexe, mais non équivalente , appelée "contrainte": qui cherche à minimiser les erreurs de reconstruction des produits scalaires centrés au lieu des distances. Il s'avère que peut être calculé à partir de (si sont des distances euclidiennes) et que minimiser l'erreur de reconstruction de est exactement ce que fait la PCA, comme indiqué dans la section suivante.
Le MDS classique (Torgerson) sur les distances euclidiennes est équivalent à PCA
Laissez les données être collectées dans la matrice de taille avec les observations en lignes et les entités en colonnes. Soit la matrice centrée avec les moyennes de colonnes soustraites.X n×k Xc
PCA revient alors à effectuer une décomposition en valeurs singulières , les colonnes de constituant les composants principaux. Une méthode courante pour les obtenir consiste à composer une composition de la matrice de covariance , mais une autre méthode consiste à effectuer une composition eigend de la matrice de Gram : les composantes principales sont ses vecteurs propres mis à l'échelle par les racines carrées des valeurs propres respectives.Xc=USV⊤ US 1nX⊤cX⊤c Kc=X⊤cX⊤c=US2U⊤
Il est facile de voir que , où est une matrice de . On en immédiatement où est une matrice de Gram de données non centrées. Ceci est utile: si nous avons la matrice de Gram des données non centrées, nous pouvons la centrer directement, sans revenir à lui-même. Cette opération est parfois appelée1nn×nKc=(I- 1 nXc=(I−1n1n)X 1n n×n K=XX⊤XKKc
Considérons maintenant une matrice de distances euclidiennes par paires avec. Cette matrice peut-elle être convertie en pour effectuer une PCA? Il s'avère que la réponse est oui.n×n D Dij=∥xi−xj∥ Kc
En effet, selon la loi des cosinus, nous voyons que So ne diffère de que par certaines constantes de ligne et de colonne (ici, signifie un carré élément par élément!). Cela signifie que si nous le centrons deux fois, nous aurons :
Ce qui signifie que, à partir de la matrice de distances euclidiennes par paire nous pouvons effectuer une ACP et obtenir les composantes principales. C’est exactement ce que fait MDS classique (Torgerson): , son résultat est donc équivalent à PCA.D D↦Kc↦US
Bien sûr, si une autre mesure de distance est choisie au lieu de, alors MDS classique aboutira à autre chose.∥xi−xj∥
Référence: Les éléments de l’apprentissage statistique , section 18.5.2.
la source
PCA donne les mêmes résultats EXACT que les MDS classiques si la distance euclidienne est utilisée.
Je cite Cox & Cox (2001), p 43-44:
La section de Cox & Cox l'explique assez clairement:
la source
same results as classical MDS
. Par "MDS classique", vous devez être en train de parler du MDS de Torgerson. La déclaration est alors bien vraie, car la MDS de Torgerson est en réalité PCA (à partir de la matrice de distance seulement). Si définir "MDS classique" différemment (voir ma réponse), l'affirmation n'est pas vraie.Comparaison: "Metric MDS donne le résultat SAME en tant que PCA" - de manière procédurale - lorsque nous examinons la manière dont la SVD est utilisée pour obtenir l'optimum. Mais les critères de haute dimension préservés sont différents. La PCA utilise une matrice de covariance centrée tandis que MDS utilise une matrice de grammes obtenue par des matrices de distance à double centrage.
Fera la différence mathématiquement: PCA peut être vue comme maximisant sur sous des contraintes que est orthogonal, donnant ainsi des axes / composantes principales. Dans mise à l' échelle multidimensionnelle une matrice de Gram (une matrice psd qui peut être représenté sous la forme ) est calculée à partir de la distance euclidienne entre les lignes de et ce qui suit est réduite au minimum sur . minimiser: .XXZTZXY| | G-YTY| | 2 FTr(XT(I−1neeT)X) X X ZTZ X Y ||G−YTY||2F
la source