Dans quelles conditions PCA et FA donnent-ils des résultats similaires?

8

Dans quelles conditions l'analyse des composants principaux (ACP) et l'analyse factorielle (AF) devraient-elles donner des résultats similaires?

pca factor-analysis Statistiques
la source
Laisser Lêtre les charges (pas les vecteurs propres) des p-mderniers composants principaux - ceux que vous supprimez dans l'ACP ( pc'est le nombre de variables et mle nombre de composants ou de facteurs que vous avez décidé d'extraire). SiLL′est presque diagonale, vos résultats PCA sont similaires aux résultats FA. Quelques questions à lire: stats.stackexchange.com/q/123063/3277 , stats.stackexchange.com/q/94048/3277 .
ttnphns
1
En d'autres termes: lorsque l'ACP arrive à isoler le bruit spécifique à une variable du signal (facteurs communs) avec autant de succès que l'analyse factorielle le fait régulièrement. PCA, contrairement à FA, n'est pas destiné à faire ce travail, mais dans certaines conditions, il semble souvent le faire. Certaines de ces conditions: 1) psont grandes; 2) le bruit est faible pour toutes les variables; 3) le bruit est à peu près égal pour toutes les variables.
ttnphns

Réponses:

10

C'est une excellente question, mais malheureusement (ou peut-être heureusement?) Je n'ai écrit que très récemment une très longue réponse dans un fil connexe , répondant à votre question presque exactement. Je vous demanderais de bien vouloir y regarder et voir si cela répond à votre question.

Très brièvement, si nous nous concentrons uniquement sur les chargements PCA et FA W, alors la différence est que PCA trouve W pour reconstruire la matrice de covariance (ou corrélation) de l'échantillon C aussi proche que possible:

C≈WW⊤,
alors que FA trouve Wpour reconstruire la partie hors diagonale de la matrice de covariance (ou corrélation) uniquement:
offdiag{C}≈WW⊤.
J'entends par là que FA ne se soucie pas quelles valeurs WW⊤ a sur la diagonale, il ne se soucie que de la partie hors diagonale.

Dans cet esprit, la réponse à votre question devient facile à voir. Si le nombren de variables (taille de C) est grande, la partie hors diagonale de C est presque toute la matrice (la diagonale a la taille n et toute la taille de la matrice n2, donc la contribution de la diagonale est seulement 1/n→0), et nous pouvons donc nous attendre à ce que PCA se rapproche bien de FA. Si les valeurs diagonales sont plutôt petites, alors encore une fois, elles ne jouent pas beaucoup de rôle pour PCA, et PCA finit par être proche de FA, exactement comme @ttnphns l'a dit ci-dessus.

Si, en revanche, C est soit petit soit fortement dominé par la diagonale (en particulier s'il a des valeurs très différentes sur la diagonale), alors l'ACP devra biaiser Wvers la reproduction de la diagonale également, et finira donc par être très différent de FA. Un exemple est donné dans ce fil:

amibe
la source
Dans votre réponse, vous déclarez que `` minimiser ||C−WWT−Ψ||2'' donne les charges d'analyse factorielle. (J'interprète||∙||2comme la norme Frobenius au carré.) Où puis-je trouver une preuve de cette affirmation? Pour PCA, cela découle du théorème d'Eckart-Young, mais je ne vois pas comment cela s'applique à FA.
stats
Connexes, ttnphns affirme que la minimisation ||X−Xk||2 équivaut à minimiser ||XTX−XkTXk||2. Comment cela peut-il être démontré?
stats
À votre première question. Oui, c'est la norme Frobenius. Contrairement à PCA, FA est plus un cadre qu'une méthode définie avec précision; il existe différentes «méthodes d'extraction des facteurs», ce qui donne des résultats non identiques. Bien sûr, il ne peut y avoir aucune preuve pour toutes les versions de FA. Cependant, l'une des méthodes les plus anciennes / les plus simples / les plus répandues consiste à trouverW et Ψ directement en minimisant cette fonction de coût (initialiserΨ au hasard, résoudre pour W via PCA, mise à jour Ψ, etc. jusqu'à la convergence). C'est ce qu'on appelle la méthode du "facteur principal itéré", ou méthode similaire. Alors rien ne reste à prouver :)
amoeba
À votre deuxième question. Je ne sais pas si cela est vrai en général (c'est peut-être le cas, peut-être pas), mais je ne l'utilise jamais dans ma réponse liée. Regardez attentivement ma "mise à jour 2", cette déclaration n'est pas nécessaire.
amoeba