Méthodes de calcul des scores factoriels et quelle est la matrice du «coefficient de score» en ACP ou en analyse factorielle?

Méthodes de calcul des scores des facteurs / composantes

Après une série de commentaires, j'ai finalement décidé d'émettre une réponse (basée sur les commentaires et plus). Il s'agit de calculer les scores des composants dans l'ACP et les scores des facteurs dans l'analyse factorielle.

Scores Facteur / composant sont données par , où sont des variables analysées ( centrées si l'analyse PCA / facteur a été basée sur covariances ou z normalisée si elle était basée sur des corrélations). est la matrice de coefficient (ou poids) de score de facteur / composante . Comment estimer ces poids? $\bf \hat{F}=XB$ $\bf X$ $\bf B$

Notation

-matrice de corrélations ou covariances variables (items), selon le facteur / l'ACP analysé. $\bf R$ p x p

-matrice des charges de facteur / composant. Il peut s'agir de chargements après extraction (souvent aussi notés ) sur lesquels les latentes sont orthogonales ou pratiquement ainsi, ou de chargements après rotation, orthogonaux ou obliques. Si la rotation étaitoblique, il doit s'agirdechargements demotif. $\bf P$ p x m $\bf A$

-matrice de corrélations entre les facteurs / composants après leur (les chargements) rotation oblique. Si aucune rotation ou rotation orthogonale n'a été effectuée, il s'agit delamatrice d'identité. $\bf C$ m x m

-réduite matrice de corrélations reproduites / covariances,(poursolutions orthogonales), il contientcommuns sur sa diagonale. $\bf \hat R$ p x p $\bf = PCP'$ $\bf = PP'$

-matrice diagonale d'unicité (unicité + communauté = élément diagonal de ). J'utilise "2" comme indice ici au lieu d'exposant ( ) pour plus de lisibilité dans les formules. $\bf U_2$ p x p $\bf R$ $\bf U^2$

-matrice complète des corrélations / reproduites . $\bf R^*$ p x p $\bf = \hat R + U_2$

- pseudoinverse d'une matrice ; si est de rang complet, . $\bf M^+$ $\bf M$ $\bf M$ $\bf M^+ = (M'M)^{-1}M'$

- pour une matrice carrée symétrique son élévation à équivaut à la composition de , augmentant les valeurs propres à la puissance et composant de nouveau: . $\bf M^{power}$ $\bf M$ $power$ $\bf HKH'=M$ $\bf M^{power}=HK^{power}H'$

Méthode grossière de calcul des scores de facteur / composante

Cette approche populaire / traditionnelle, parfois appelée Cattell, consiste simplement à faire la moyenne (ou à résumer) les valeurs des éléments qui sont chargés par le même facteur. Mathématiquement, cela revient à la mise en poids pour le calcul des scores . Il existe trois versions principales de l'approche: 1) Utiliser les chargements tels quels; 2) les dichotomiser (1 = chargé, 0 = non chargé); 3) Utiliser les chargements tels quels, mais les chargements à zéro inférieurs à un certain seuil. $\bf B=P$ $\bf \hat{F}=XB$

Souvent, avec cette approche lorsque les articles sont sur la même unité d'échelle, les valeurs sont utilisées uniquement brutes; mais pour ne pas briser la logique de l'affacturage, il vaut mieux utiliser le comme il est entré dans l'affacturage - standardisé (= analyse des corrélations) ou centré (= analyse des covariances). $\bf X$ $\bf X$

Le principal inconvénient de la méthode grossière de calcul des scores des facteurs / composantes est, à mon avis , qu'elle ne tient pas compte des corrélations entre les éléments chargés. Si les articles chargés par un facteur sont étroitement corrélés et que l'un est chargé plus fort que l'autre, ce dernier peut raisonnablement être considéré comme un doublon plus jeune et son poids pourrait être diminué. Les méthodes raffinées le font, mais pas la méthode grossière.

Les scores grossiers sont bien sûr faciles à calculer car aucune inversion de matrice n'est nécessaire. L'avantage de la méthode grossière (expliquant pourquoi elle est encore largement utilisée malgré la disponibilité des ordinateurs) est qu'elle donne des scores plus stables d'un échantillon à l'autre lorsque l'échantillonnage n'est pas idéal (au sens de la représentativité et de la taille) ou des éléments pour les analyses n'étaient pas bien sélectionnées. Pour citer un article, "La méthode de la somme des résultats peut être plus souhaitable lorsque les échelles utilisées pour collecter les données originales ne sont pas testées et exploratoires, avec peu ou pas de preuves de fiabilité ou de validité". De plus , il ne nécessite pas de comprendre le «facteur» nécessairement comme une essence latente univariée, comme l'exige le modèle d'analyse factorielle ( voir , voir). Vous pourriez, par exemple, conceptualiser un facteur comme un ensemble de phénomènes - puis, additionner les valeurs des éléments est raisonnable.

Méthodes raffinées de calcul des scores des facteurs / composants

Ces méthodes sont ce que font les packages d'analyse factorielle. Ils estiment par différentes méthodes. Alors que les charges ou sont les coefficients des combinaisons linéaires pour prédire les variables par facteurs / composants, sont les coefficients pour calculer les scores des facteurs / composants à partir des variables. $\bf B$ $\bf A$ $\bf P$ $\bf B$

Les scores calculés via sont échelonnés: ils ont des variances égales ou proches de 1 (normalisées ou presque normalisées) - pas les vraies variances factorielles (qui égalent la somme des chargements de structure au carré, voir la note 3 ici ). Ainsi, lorsque vous devez fournir des scores de facteur avec la variance du facteur réel, multipliez les scores (en les normalisant à st.dev.1) par la racine carrée de cette variance. $\bf B$

Vous pouvez conserver de l'analyse effectuée, pour pouvoir calculer les scores des nouvelles observations de venir . En outre, peut être utilisé pour pondérer les éléments constituant une échelle d'un questionnaire lorsque l'échelle est développée à partir de ou validée par l'analyse factorielle. Les coefficients (carrés) de peuvent être interprétés comme des contributions d'éléments à des facteurs. Les coefficients peuvent être normalisés comme le coefficient de régression est normalisé $\bf B$ $\bf X$ $\bf B$ $\bf B$ (où) pour comparer les contributions des articles avec différentes variances. $\beta=b \frac{\sigma_{item}}{\sigma_{factor}}$ $\sigma_{factor}=1$

Voir un exemple montrant les calculs effectués en PCA et en FA, y compris le calcul des scores à partir de la matrice des coefficients de score.

Une explication géométrique des chargements (sous forme de coordonnées perpendiculaires) et des coefficients de score (coordonnées asymétriques) dans les paramètres PCA est présentée sur les deux premières images ici . $a$ $b$

Passons maintenant aux méthodes raffinées.

Les méthodes

Calcul de dans PCA $\bf B$

Lorsque les charges des composants sont extraites mais non tournées, , où est la matrice diagonale composée de valeurs propres; cette formule revient à diviser simplement chaque colonne de par la valeur propre respective - la variance du composant. $\bf B= AL^{-1}$ $\bf L$ m $\bf A$

De manière équivalente, . Cette formule est également valable pour les composants (chargements) tournés, orthogonalement (tels que varimax) ou obliquement. $\bf B= (P^+)'$

Certaines des méthodes utilisées dans l'analyse factorielle (voir ci-dessous), si elles sont appliquées dans l'ACP, renvoient le même résultat.

Les scores des composants calculés ont des variances 1 et ce sont de véritables valeurs standardisées des composants .

Ce qui, dans l'analyse des données statistiques, est appelé matrice de coefficient de composant principal , et s'il est calculé à partir d'une matrice de chargement complète et non tournée de quelque manière que ce soit , dans la littérature sur l'apprentissage automatique, est souvent appelée matrice de blanchiment (basée sur l'ACP) , et les composants principaux standardisés sont reconnus comme des données "blanchies". $\bf B$ p x p

Calcul de dans l'analyse factorielle commune $\bf B$

A la différence des scores composant, facteur scores sont jamais exactes ; ce ne sont que des approximations des vraies valeurs inconnues des facteurs. C'est parce que nous ne connaissons pas les valeurs des communités ou des particularités au niveau des cas, car les facteurs, contrairement aux composants, sont des variables externes distinctes des variables manifestes et ayant leur propre distribution, inconnue de nous. Quelle est la cause de cette indétermination du score factoriel . Notez que le problème d'indétermination est logiquement indépendant de la qualité de la solution factorielle: combien un facteur est vrai (correspond au facteur latent qui génère des données dans la population) est un autre problème que la quantité de scores d'un répondant pour un facteur vrai (estimations précises du facteur extrait). $\bf F$

Étant donné que les scores factoriels sont des approximations, d'autres méthodes de calcul existent et se font concurrence.

La régression ou la méthode de Thurstone ou Thompson d'estimation des scores factoriels est donnée par , où est la matrice des charges de structure (pour les solutions de facteurs orthogonaux, nous savons ). Le fondement de la méthode de régression se trouve dans la note de bas de page . $\bf B=R^{-1} PC = R^{-1} S$ $\bf S=PC$ $\bf A=P=S$ $^1$

Remarque. Cette formule pour est utilisable également avec PCA: elle donnera, en PCA, le même résultat que les formules citées dans la section précédente. $\bf B$

En FA (pas PCA), les scores factoriels calculés par régression n'apparaîtront pas tout à fait "standardisés" - auront des variances non pas 1, mais égales à de régression de ces scores par les variables. Cette valeur peut être interprétée comme le degré de détermination d'un facteur (ses vraies valeurs inconnues) par des variables - le carré R de la prédiction du facteur réel par celles-ci, et la méthode de régression le maximise, - la "validité" du calcul scores. L'imagemontre la géométrie. (Veuillez noter que $\frac {SS_{regr}}{(n-1)}$ $^2$ sera égal à la variance des scores pour toute méthode affinée, mais seulement pour la méthode de régression, cette quantité sera égale à la proportion de détermination de vrai f. valeurs par f. scores.) $\frac {SS_{regr}}{(n-1)}$

En variante de la méthode de régression, on peut utiliser à la place de dans la formule. Elle est justifiée au motif que dans une bonne analyse factorielle, et sont très similaires. Cependant, lorsqu'ils ne le sont pas, en particulier lorsque le nombre de facteurs est inférieur au nombre réel de la population, la méthode produit un fort biais dans les scores. Et vous ne devez pas utiliser cette méthode de "régression R reproduite" avec l'ACP. $\bf R^*$ $\bf R$ $\bf R$ $\bf R^*$ m

La méthode de l'ACP , également connue sous le nom d'approche variable de Horst (Mulaik) ou idéale (isée) (Harman). Ceci est la méthode de régression avec à la place de dans sa formule. On peut facilement montrer que la formule se réduit alors à (et donc oui, nous n'avons en fait pas besoin de connaître avec). Les scores des facteurs sont calculés comme s'il s'agissait de scores de composants. $\bf \hat R$ $\bf R$ $\bf B= (P^+)'$ $\bf C$

[Étiquette variable « idéalisée » vient du fait que , puisque selon le facteur ou d'un composant modèle de la partie prédite des variables est , il suit , mais nous substituer pour l'inconnu , pour estimer comme scores ; on "idéalise" donc ] $\bf \hat X = FP'$ $\bf F= (P^+)' \hat X$ $\bf X$ $\bf \hat X$ $\bf F$ $\bf \hat F$ $\bf X$

Veuillez noter que cette méthode ne fait pas passer les scores des composantes de l'APC pour les scores des facteurs, car les chargements utilisés ne sont pas les chargements de l'APC mais l'analyse factorielle »; seulement que l'approche de calcul des scores reflète celle de l'ACP.

Méthode de Bartlett . Ici, . Cette méthode vise à minimiser, pour chaque répondant, la varince à travers des facteurs uniques ("erreur"). Les écarts des scores des facteurs communs résultants ne seront pas égaux et peuvent dépasser 1. $\bf B'=(P'U_2^{-1}P)^{-1} P' U_2^{-1}$ p

$\bf B'=(P'U_2^{-1}RU_2^{-1}P)^{-1/2} P'U_2^{-1}$

$\bf B= R^{-1/2} GH' C^{1/2}$ $\bf G$ $\bf H$ $\text{svd} \bf (R^{1/2}U_2^{-1}PC^{1/2}) = G \Delta H'$ m $\bf G$

$\bf G$ $\bf H$ $\text{svd} \bf (R^{-1/2}PC^{3/2}) = G \Delta H'$ m $\bf G$

Méthode de Krijnen et al . Cette méthode est une généralisation qui intègre les deux précédentes par une seule formule. Il n'ajoute probablement pas de nouvelles fonctionnalités nouvelles ou importantes, donc je n'y pense pas.

Comparaison entre les méthodes raffinées .

La méthode de régression maximise la corrélation entre les scores des facteurs et les vraies valeurs inconnues de ce facteur (c.-à-d. Maximise la validité statistique ), mais les scores sont quelque peu biaisés et ils corrèlent quelque peu incorrectement entre les facteurs (par exemple, ils sont en corrélation même lorsque les facteurs d'une solution sont orthogonaux). Ce sont des estimations des moindres carrés.
La méthode de l'ACP est également la méthode des moindres carrés, mais avec une validité statistique moindre. Ils sont plus rapides à calculer; ils ne sont pas souvent utilisés dans l'analyse factorielle de nos jours, en raison des ordinateurs. (Dans PCA , cette méthode est native et optimale.)
$\bf X$
Les scores d' Anderson-Rubin / McDonald-Anderson-Rubin et de Green sont appelés préservation de la corrélation car ils sont calculés pour corréler avec précision les scores factoriels d'autres facteurs. Les corrélations entre les scores des facteurs sont égales aux corrélations entre les facteurs dans la solution (donc en solution orthogonale, par exemple, les scores seront parfaitement non corrélés). Mais les scores sont quelque peu biaisés et leur validité peut être modeste.

Consultez également ce tableau:

[Remarque pour les utilisateurs de SPSS: si vous effectuez une PCA (méthode d'extraction des «composants principaux») mais que vous demandez des scores de facteurs autres que la méthode de «régression», le programme ignorera la demande et vous calculera à la place les scores de «régression» (qui sont exacts scores des composants).]

Les références

Grice, James W. Calcul et évaluation des scores des facteurs // Psychological Methods 2001, Vol. 6, n ° 4, 430-450.
DiStefano, Christine et al. Comprendre et utiliser les scores factoriels // Évaluation pratique, recherche et évaluation, Vol 14, No 20
ten Berge, Jos MFet al. Quelques nouveaux résultats sur les méthodes de prédiction des scores des facteurs préservant la corrélation // Algèbre linéaire et ses applications 289 (1999) 311-318.
Mulaik, Stanley A. Fondements de l'analyse factorielle, 2e édition, 2009
Harman, Harry H.Analyse factorielle moderne, 3e édition, 1976
Neudecker, Heinz. Sur la meilleure prédiction affine non biaisée préservant la covariance des scores des facteurs // SORT 28 (1) janvier-juin 2004, 27-36

$^1$ $F=b_1X_1+b_2X_2$ $s_1$ $s_2$ $F$

$s_1=b_1r_{11}+b_2r_{12}$

$s_2=b_1r_{12}+b_2r_{22}$

$r$ $X$ $\bf s=Rb$ $F$ $b$ $r$ $s$

$^2$

entrez la description de l'image ici

ttnphns
la source

Belle réponse, votée! Je voulais juste vous dire que je suis impressionné par votre connaissance des statistiques en général et de l'analyse factorielle en particulier. Sera heureux de se connecter avec vous sur LinkedIn et d'autres réseaux sociaux. Soit dit en passant, pour info: le lien vers le site de votre entreprise dans votre profil est rompu.

Aleksandr Blekh

X

$\bf X$

F A

$\bf F \bf A$

F

$\bf F$

R^{- 1} A

$\bf R^{-1} \bf A$

(I + A^{⊤} U^{- 2} A)^{- 1} A^{⊤} U^{- 2}

$(\bf I + \bf A^\top \bf U^{-2} \bf A)^{-1} \bf A^\top \bf U^{-2}$

I

$\bf I$

@amoeba, j'ai ajouté un peu d'informations à la réponse, en ce qui concerne votre premier commentaire. Pour votre deuxième commentaire - désolé, je pense que je ne peux pas y répondre sans me creuser dans les livres. Si vous trouvez vous-même la réponse, merci de bien vouloir l'élucider pour le public. :-)

ttnphns

Mise à jour incroyable @ttnphns, excellent travail. J'ai remarqué que ce fil a été vu 13k fois, il doit figurer en bonne position dans certaines recherches google populaires.

amibe dit Reinstate Monica