Conseils sur la construction d'une échelle scientifiquement solide

8

J'ai reçu un ensemble de 20 articles de Likert (allant de 1 à 5, taille d'échantillon n = 299) dans le domaine de la recherche organisationnelle. Les articles sont destinés à mesurer un concept latent qui est multidimensionnel, multiforme et hétérogène dans sa nature même. Le but est de créer une ou des échelles qui peuvent être bien utilisées pour analyser différentes organisations et être utilisées dans la régression logistique. À la suite de l'association américaine de psychologie, une échelle devrait être (1) unidimensionnelle, (2) fiable et (3) valide.

Par conséquent, nous avons décidé de sélectionner quatre dimensions ou sous-échelles avec 4/6/6/4 articles chacune; qui sont supposés représenter le concept.

Les éléments ont été construits en utilisant l'approche réflexive (générant de nombreux éléments possibles et supprimant de manière itérative les éléments en utilisant la représentation alpha et conceptuelle de Cronbach (validité) dans trois groupes ultérieurs).

En utilisant les données disponibles, une analyse factorielle explicative parallèle préliminaire basée sur des corrélations polychoriques et utilisant la rotation varimax a révélé que les éléments se chargent sur d'autres facteurs que prévu. Il y a au moins 7 facteurs latents, contre quatre hypothétiques. La corrélation inter-items moyenne est assez faible (r = 0,15) bien que positive. Le coefficient cronbach-alpha est également très faible (0,4-0,5) pour chaque échelle. Je doute qu'une analyse factorielle confirmatoire donnerait un bon ajustement du modèle.

Si deux dimensions étaient supprimées, le cronbachs alpha serait acceptable (0,76,0,7 avec 10 éléments par échelle, qui pourrait encore être agrandi en utilisant la version ordinale de cronbachs alpha) mais les échelles elles-mêmes seraient toujours multidimensionnelles!

Comme je suis nouveau dans les statistiques et que je n'ai pas les connaissances appropriées, je ne sais pas comment aller plus loin. Comme j'hésite à abandonner complètement la ou les échelles et à me résigner à une approche descriptive uniquement, j'ai différentes questions:

I) Est-ce mal d'utiliser des échelles fiables, valides mais pas unidimensionnelles?

II) Serait-il approprié d'interpréter le concept par la suite comme formateur et d'utiliser le test de tétrade disparaissante pour évaluer la spécification du modèle et utiliser les moindres carrés partiels (PLS) pour arriver à une solution possible? Après tout, le concept semble être plus formatif que réflexif.

III) L'utilisation des modèles de réponse aux items (Rasch, GRM, etc.) serait-elle utile? Comme je l'ai lu, les modèles rasch etc. ont également besoin de l'hypothèse d'unidimensionnalité

IV) Serait-il approprié d'utiliser les 7 facteurs comme de nouvelles "sous-échelles"? Jeter simplement l'ancienne définition et en utiliser une nouvelle en fonction des charges factorielles?

J'apprécierais toute réflexion sur celui-ci :)

EDIT: ajout de charges factorielles et corrélations

> fa.res$fa
Factor Analysis using method =  ml
Call: fa.poly(x = fl.omit, nfactors = 7, rotate = "oblimin", fm = "ml") 

Charges factorielles calculées à partir de la matrice de modèle de facteur et de la matrice d'intercorrélation de facteur, seules les valeurs supérieures à 0,2 sont affichées

Charges factorielles

Jack Shade
la source
3
Une suggestion que je peux faire est que vous ne devriez pas utiliser la rotation Varimax (ou toute autre rotation qui suppose des facteurs orthogonaux), il est bien préférable d'utiliser une rotation oblique, comme quartimin directe. Premièrement, il n'est pas clair pourquoi les facteurs sous-jacents doivent être orthogonaux; deuxièmement, les méthodes obliques vous permettent d'estimer les corrélations factorielles; et troisièmement, si les facteurs sont orthogonaux, une rotation oblique retournera fondamentalement les mêmes résultats que varimax. D'un autre côté, si les facteurs sous-jacents ne sont pas orthogonaux, le varimax peut donner des résultats dangereusement erronés.
gung - Rétablir Monica
Bonne question et vous semblez être sur une "bonne piste". Pourquoi ne postez-vous pas vos charges factorielles et vos corrélations inter-facteurs après avoir suivi les conseils avisés de @gung? Cela devrait aider les gens à évaluer la dimensionnalité de votre ensemble d'articles. (Mais qu'entendez-vous par "analyse factorielle explicative parallèle"? Peut-être une analyse factorielle exploratoire utilisant l'analyse parallèle pour choisir le nombre de facteurs?) Soit dit en passant, ce sont les échelles que vous allez créer qui sont des "échelles de Likert"; il n'est pas correct d'appeler des éléments «éléments Likert» à moins qu'ils aient été soumis à quelque chose comme le processus que vous avez décrit.
rolando2
3
Une autre considération est qu'il existe généralement un compromis entre la cohérence interne d'une échelle (telle que mesurée par l'alpha de Cronbach) et sa validité (comme l'indique l'étendue des sujets qu'elle couvre). Une cohérence interne parfaite n'est bien sûr pas souhaitable, car cela signifie que nous avons perdu notre temps à traiter de nombreuses questions redondantes. Et une couverture trop large signifie que l'échelle mesure trop de choses, et aucune d'elles à fond. Les directives APA penchent probablement trop loin pour favoriser la cohérence interne, mais vous devez faire votre propre argument pour votre propre compromis préféré.
rolando2
@ rolando2 Oui, je voulais dire une analyse factorielle exploratoire utilisant une analyse parallèle pour choisir le nombre de facteurs!
Jack Shade
2
Aucun problème. Il semble que @ rolando2 ait plus d'expérience que moi avec ces problèmes, et il semble que vous soyez sur la bonne voie. Je devrais le laisser vous guider davantage, mais je mentionnerai encore une chose motivée par votre chiffre: il est généralement recommandé de ne pas utiliser de facteurs à moins qu'ils ne soient pris en charge par au moins 3 variables mesurées. Mais certains des vôtres semblent n'en avoir que 2 ou 1. Vous souhaiterez peut-être trouver plus d'éléments qui se chargent principalement sur ces facteurs pour améliorer leur fiabilité, ou supprimer ces éléments et facteurs.
gung - Rétablir Monica

Réponses:

1

je suppose que le but de votre analyse est d'obtenir des preuves de la validité de votre balance / instrument. Donc, tout d'abord, votre instrument a été conçu sur la base de 4 constructions hypothétiques, par conséquent, vous devez l'approche à l'aide de l'analyse factorielle confirmatoire (CFA). l'analyse factorielle exploratoire (EPT) est appropriée lorsqu'il n'y a pas de théorie a priori décrivant la relation entre les variables observées (c'est-à-dire les éléments) et les constructions et peut entraîner des facteurs ininterprétables, comme vous le voyez ici.

examinez ensuite les résultats de votre modèle CFA. les diverses statistiques d'ajustement (par exemple, X ^ 2, RMSEA, indices de modification, statistiques de test wald) peuvent vous guider dans le perfectionnement de votre modèle.

si vous préférez une approche plus exploratoire, envisagez également la «recherche en arrière»: Chou CP, Bentler, PM (2002). Modification de modèle dans la modélisation d'équations structurelles en imposant des contraintes, Computational Statistics & Data Analysis, 41, (2), 271-287.

allinonemove
la source
4

Une situation difficile. Les facteurs 6, 4 et 7 semblent assez bien mesurés, mais pas les autres, et je parie que la cohérence interne sera faible pour les facteurs 1, 3 et 5. Est-il possible d'évaluer la fiabilité par une autre méthode, telle que comme rel. inter-évaluateur? Ou pour évaluer la validité par une autre méthode que la validité de construction par l'analyse factorielle? Même si différentes échelles (ou éléments individuels) sont validées de différentes manières - parfois, vous devez prendre tout ce que vous pouvez.

En tout cas, je pouvais voir utiliser v6 et v17 individuellement. Pourquoi les forcer dans une échelle multi-éléments lorsque les chargements et les corrélations ressemblent à ceci.

Et même compte tenu de ce que j'ai dit ci-dessus à propos de la couverture impliquant la validité, je conviens que vous voulez garder vos prédicteurs de régression éventuels à peu près unidimensionnels - d'autant plus que vous avez un grand nombre de prédicteurs, comme avec les variables multidimensionnelles, les eaux deviendront très, très boueuses . Ceci est particulièrement pertinent car vous semblez adopter beaucoup plus un mode explicatif qu'un mode purement prédictif (vous vous souciez de la causalité).

rolando2
la source
Oui, je me soucie de la causalité des relations construction / article, car il y a aussi l'approche formative, qui dit essentiellement "nous avons ces 20 articles et ils forment la construction" par opposition à "la construction existe et elle doit être reflétée par chacun articles individuels ". L'approche formative permettrait de se débarrasser de leur nécessité d'avoir des corrélations et unidimensionnalité élevées, mais l'interprétation serait difficile. Merci beaucoup!
Jack Shade
À quoi ressemblerait une approche plus prédictive?
Jack Shade