t-SNE contre MDS

J'ai lu récemment des questions sur t-SNE ( t-Distributed Stochastic Neighbour Embedding ) et j'ai également visité quelques questions sur MDS ( Multidimensional Scaling ).

Ils sont souvent utilisés de manière analogue, il semblait donc judicieux de poser cette question, car il y a de nombreuses questions séparément (ou par rapport à PCA ) ici.

En bref, qu'est-ce qui différencie t-SNE et MDS? par exemple. Quelles subtilités de la hiérarchie des données ils explorent, différentes hypothèses, etc.

Taux de convergence? Qu'en est-il de l'utilisation des noyaux, les deux sont-ils conformes?

PCA sélectionne les dimensions influentes par analyse propre des N points de données eux-mêmes, tandis que MDS sélectionne les dimensions influentes par analyse propre des points de données d'une matrice de distance par paire. Cela a pour effet de mettre en évidence les écarts par rapport à l'uniformité de la distribution. En considérant la matrice de distance comme analogue à un tenseur de contraintes, MDS peut être considéré comme un algorithme de mise en page "dirigé par la force", dont la complexité d'exécution est où . $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

t-SNE, d'autre part, utilise une approximation de champ pour exécuter une forme quelque peu différente de disposition dirigée par la force, généralement via Barnes-Hut qui réduit une complexité basée sur un gradient à , mais les propriétés de convergence sont moins bien comprises pour cette méthode d'approximation stochastique itérative (à ma connaissance), et pour les temps d'exécution typiques observés sont généralement plus longtemps que les autres méthodes de réduction des dimensions. Les résultats sont souvent plus interprétables visuellement que l'analyse propre naïve, et selon la distribution, souvent plus intuitifs que les résultats MDS, qui tendent à préserver la structure globale au détriment de la structure locale retenue par t-SNE.$\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$

MDS est déjà une simplification du noyau PCA, et devrait être extensible avec des noyaux alternatifs, tandis que le noyau t-SNE est décrit dans les travaux de Gilbrecht, Hammer, Schulz, Mokbel, Lueks et al. Je ne le connais pas pratiquement, mais peut-être qu'un autre répondant pourrait l'être.

J'ai tendance à choisir entre MDS et t-SNE sur la base d'objectifs contextuels. Celui qui élucide la structure que je souhaite mettre en évidence, celle qui a le plus grand pouvoir explicatif, c'est l'algorithme que j'utilise. Cela peut être considéré comme un écueil, car il s'agit d'une forme de degré de liberté du chercheur. Mais la liberté utilisée à bon escient n'est pas une si mauvaise chose.