Quels critères doivent être remplis pour conclure qu'un «effet plafond» se produit?

Selon l' Encyclopédie SAGE des méthodes de recherche en sciences sociales …

[un] effet de plafond se produit lorsqu'une mesure possède une limite supérieure distincte pour les réponses potentielles et qu'une forte concentration de participants obtient un score égal ou proche de cette limite. L'atténuation de l'échelle est un problème méthodologique qui se produit chaque fois que la variance est limitée de cette manière. … Par exemple, un effet de plafond peut se produire avec une mesure des attitudes dans laquelle un score élevé indique une attitude favorable et la réponse la plus élevée ne parvient pas à saisir l'évaluation la plus positive possible. … La meilleure solution au problème des effets de plafond est le test pilote, qui permet d'identifier rapidement le problème . Si un effet plafond est trouvé , [et] la mesure du résultat est la performance de la tâche, la tâche peut être rendue plus difficile pour augmenter la gamme de réponses potentielles. ¹ [non souligné dans l'original]

Il semble y avoir beaucoup de conseils et de questions ( et ici ) traitant de l'analyse des données qui montrent des effets de plafond similaires à ceux décrits dans la citation ci-dessus.

Ma question peut être simple ou naïve, mais comment peut-on réellement détecter qu'un effet de plafond est présent dans les données? Plus précisément, disons qu'un test psychométrique est créé et est soupçonné de conduire à un effet de plafond (examen visuel uniquement), puis le test est révisé pour produire une plus grande gamme de valeurs. Comment peut-on montrer que le test révisé a supprimé l'effet plafond des données qu'il génère? Existe-t-il un test qui montre qu'il existe un effet de plafond dans l'ensemble de données a mais aucun effet de plafond dans l'ensemble de données b ?

Mon approche naïve serait de simplement examiner le biais de distribution et si ce n'est pas le cas, de conclure qu'il n'y a pas d'effet plafond. Est-ce trop simpliste?

Éditer

Pour ajouter un exemple plus concret, disons que je développe un instrument qui mesure un trait latent x qui augmente avec l'âge mais finit par se stabiliser et commence à décliner dans la vieillesse. Je fais la première version, qui a une plage de 1 à 14, je fais un peu de pilotage, et je trouve qu'il semble y avoir un effet de plafond (un grand nombre de réponses à 14 ou près, le maximum .. Je conclus ceci juste en en regardant les données. Mais pourquoi? Existe-t-il une méthode rigoureuse pour étayer cette affirmation?

Ensuite, je révise la mesure pour avoir une plage de 1 à 20 et recueillir plus de données. Je vois que la tendance correspond mieux à mes attentes, mais comment savoir que la plage de mesure est suffisamment large. Dois-je le réviser à nouveau? Visuellement, cela semble correct, mais existe-t-il un moyen de le tester pour confirmer mes soupçons?

Je veux savoir comment je peux détecter cet effet de plafond dans les données plutôt que de simplement le regarder. Les graphiques représentent des données réelles et non théoriques. L'élargissement de la gamme de l'instrument a créé une meilleure diffusion des données, mais est-ce suffisant? Comment puis-je tester cela?

¹ Hessling, R., Traxel, N., et Schmidt, T. (2004). Effet plafond. Dans Michael S. Lewis-Beck, A. Bryman et Tim Futing Liao (éd.), The SAGE Encyclopedia of Social Science Research Methods . (p. 107). Thousand Oaks, Californie: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

Tout d'abord, je voudrais dire que les deux graphiques m'apportent une preuve claire de la présence d'un effet de plafond. La façon dont j'essaierais de mesurer cet effet plutôt que simplement visuellement serait d'observer que tant qu'une partie non triviale des observations se trouve près de la limite supérieure de la plage de l'instrument. En règle générale, un effet de plafond existera toujours tant qu'il y aura une partie non négligeable de candidats qui obtiendront le score maximum au test.

Cependant, cela dit, la technologie d'analyse de test a beaucoup progressé car nous devions interpréter directement les scores sur un instrument basé sur le score correct. Nous pouvons maintenant utiliser la théorie de la réponse des objets pour estimer les paramètres des objets individuels et utiliser ces objets pour identifier la capacité du sujet. Bien sûr, il peut y avoir des effets de plafond sur un test si nous rendons le test trop facile. Cependant, en raison des pouvoirs de la théorie de la réponse aux items, nous devrions être en mesure de mettre au moins quelques items de difficulté suffisamment élevée dans l'instrument afin d'empêcher seulement mais une portion insignifiante de la population d'atteindre le plafond.

Merci pour la question. C'est très intéressant!

Je suppose qu'une méthode approximative et prête serait simplement de mesurer la variance à mesure que l'échelle augmente. Si cela montre une réduction, c'est la preuve d'un effet de plafond et sinon il n'y a pas d'effet de plafond. Vous pouvez faire une homogénéité du graphique de variance. Le test de Levene pourrait être utile pour déterminer si la variance est significative à différents points de l'échelle.

Le problème critique pour décider si un regroupement autour du point le plus haut ou le plus bas est dû à un effet plafond / plancher est de savoir si les valeurs des cas "représentent" réellement la valeur. Lorsque des effets de plafond / plancher se produisent, certains des cas, bien qu'ils supposent la valeur maximale ou minimale, sont en réalité supérieurs / inférieurs à la valeur maximale ou minimale (imaginez qu'un adulte et un enfant terminent tous les deux un test mathématique extrêmement simple censé mesurer sa capacité en mathématiques, et les deux ont obtenu 100%). Ici, les données sont censurées.

Un autre scénario est également possible lorsque nous utilisons des échelles bornées telles qu'une échelle de type Likert qui a des limites supérieures et inférieures inhérentes. Il est tout à fait possible que ceux qui ont obtenu le score le plus élevé valent effectivement ce score et aucune différence (comme l'exemple mathématique ci-dessus) n'existe parmi tous ceux qui ont obtenu le score le plus élevé. Dans un tel cas, les données sont tronquées aux limites, pas censurées.

Sur la base du raisonnement ci-dessus, je pense que l'on devrait concevoir une procédure pour adapter tout ensemble de données donné à la troncature et à la censure des données. Si le modèle de censure correspond le mieux aux données, je pense que l'on peut alors conclure qu'un effet plafond / plancher est présent.