Je suppose que votre questionnaire doit être considéré comme une seule échelle unidimensionnelle (sinon l'alpha de Cronbach n'a pas beaucoup de sens). Il vaut la peine d'effectuer une analyse factorielle exploratoire pour vérifier cela. Il vous permettra également de voir comment les articles sont liés à l'échelle (c'est-à-dire à travers leurs chargements).
Les étapes de base pour valider vos articles et votre balance doivent inclure:
- un rapport complet sur les statistiques de base des éléments (fourchette, quartiles, tendance centrale, effets de plafond et de plancher, le cas échéant);
- vérifier la cohérence interne comme vous l'avez fait avec votre alpha (mieux, donnez des intervalles de confiance à 95%, car il dépend de l'échantillon);
- décrire votre mesure récapitulative (par exemple, score total ou moyen, aka score d'échelle) avec les statistiques habituelles (histogramme + densité, quantiles, etc.);
- vérifiez vos réponses sommaires par rapport à des covariables spécifiques qui sont censées être liées à la construction que vous évaluez - c'est ce qu'on appelle la validité de groupe connu;
- si possible, comparez vos réponses sommaires à des instruments connus qui prétendent mesurer la même construction ( validité concurrente ou convergente).
Si votre échelle n'est pas unidimensionnelle, ces étapes doivent être effectuées pour chaque sous-échelle, et vous pouvez également factoriser la matrice de corrélation de vos facteurs pour évaluer la structure factorielle du second ordre (ou utiliser la modélisation d'équations structurelles ou l'analyse factorielle confirmatoire, ou tout ce que vous voulez). Vous pouvez également évaluer la validité convergente et discriminante en utilisant la mise à l'échelle multi-trait ou la modélisation multi-méthode multi-trait (basée sur les corrélations inter-éléments à l'intérieur et entre les échelles), ou, encore une fois, les SEM.
Ensuite, je dirais que la théorie de la réponse aux éléments n'aiderait pas beaucoup à moins que vous ne souhaitiez raccourcir votre questionnaire, filtrer certains éléments qui montrent le fonctionnement différentiel des éléments ou utiliser votre test dans une sorte de test adaptatif informatique .
Dans tous les cas, le modèle Rasch est destiné aux éléments binaires. Pour les articles commandés polytomiques, les modèles les plus couramment utilisés sont:
- le modèle de réponse graduée
- le modèle de crédit partiel
- le modèle d'échelle de notation.
Seuls les deux derniers sont de la famille Rasch, et ils utilisent essentiellement une formulation de cotes adjacente, avec l'idée que le sujet doit «passer» plusieurs seuils pour approuver une catégorie de réponse donnée. La différence entre ces deux modèles est que le PCM n'impose pas que les seuils soient également espacés sur l' échelle thêta ( capacité ou emplacement du sujet sur le trait latent). Le modèle de réponse graduée repose sur une formulation de cotes cumulatives. Sachez que ces modèles supposent tous que l'échelle est unidimensionnelle; c'est-à-dire qu'il n'y a qu'un seul trait latent. Il existe des hypothèses supplémentaires comme, par exemple, l'indépendance locale (c.-à-d. Que les corrélations entre les réponses s'expliquent par la variation de l'échelle des capacités).
Quoi qu'il en soit, vous trouverez une documentation très complète et des indices utiles pour appliquer des méthodes psychométriques en R dans le volume 20 du Journal of Statistical Software: Volume spécial: psychométrie en R . Fondamentalement, les packages R les plus intéressants que j'utilise dans mon travail quotidien sont: ltm , eRm , psych , psy . D'autres sont référencés sur la vue de tâche CRAN Psychométrie . D'autres ressources intéressantes sont:
Un bon examen de l'utilisation de l'AF par rapport à l'IRT dans le développement de l'échelle se trouve dans Construction et évaluation d'échelle dans la pratique: un examen de l'analyse factorielle par rapport aux applications de la théorie de la réponse aux éléments , par ten Holt et al (Psychological Test and Assessment Modeling (2010) 52 (3): 272-297).
Valider un questionnaire signifie prouver qu'il mesure ce qu'il est censé mesurer. Je dirais donc que ce n'est généralement pas une question statistique et qu'il est impossible d'y répondre sans connaître le contenu spécifique de votre questionnaire. Cronbach alpha n'est pas sur la validité, mais de la cohérence interne, ce qui est quelque peu liée à la fiabilité (ou l' on peut dire qu'il est la fiabilité présumant vos questions sont interchangeables - mais ils ne sont pas).
Que pourriez-vous faire pour valider votre questionnaire? Vous pouvez étudier quels processus psychologiques donnent lieu à un schéma de résultats spécifique (par exemple en essayant d'induire de tels schémas avec des manipulations expérimentales ou en utilisant une procédure de réflexion à voix haute ["analyse de protocole", Ericsson & Simon, 1992]). Ou comparez certains groupes contrastés (par exemple, les patients avec des contrôles) qui devraient avoir des scores différents. Ou corrélez-le avec un critère externe qui devrait être corrélé avec le trait que vous mesurez. Ou mesurer le trait par le Psychoscope (TM) et l'utiliser comme critère.
Les autres réponses sont plus utiles pour souligner ce que vous pouvez probablement faire de manière réaliste - même si la plupart ne sont pas à proprement parler de validité (sauf les références de Chi à la «validité de groupe connue» et à la validité externe).
Voir également Markus et Borsboom (2013) pour une approche moderne de la validité (ceci et quelques autres références utiles sur la page d'accueil de Borsboom ).
la source