Complications d'avoir un très petit échantillon dans un modèle d'équation structurelle

13

J'utilise un modèle d'équation structurelle (SEM) à Amos 18. Je cherchais 100 participants pour mon expérience (utilisée de manière lâche), qui a été jugée probablement insuffisante pour mener à bien une SEM. On m'a dit à plusieurs reprises que SEM (avec EFA, CFA) est une procédure statistique "à large échantillon". Pour faire court, je n'ai pas atteint 100 participants (quelle surprise!), Et je n'en ai que 42 après avoir exclu deux points de données problématiques. Par intérêt, j'ai quand même essayé le modèle, et à ma grande surprise, il semblait très bien s'adapter! CFI> .95, RMSEA <.09, SRMR <.08.

Le modèle n'est pas simple, en fait, je dirais qu'il est relativement complexe. J'ai deux variables latentes, une avec deux observées et l'autre avec 5 variables observées. J'ai également quatre variables supplémentaires observées dans le modèle. Il existe de nombreuses relations entre les variables, indirectes et directes, certaines variables étant endogènes à quatre autres, par exemple.

Je suis un peu nouveau au SEM; cependant, deux personnes que je connais qui connaissent assez bien le SEM me disent que tant que les indices d'ajustement sont bons, les effets sont interprétables (tant qu'ils sont significatifs) et il n'y a rien de vraiment "mauvais" avec le modèle. Je sais que certains indices d'ajustement sont biaisés pour ou contre de petits échantillons en termes de suggestion d'un bon ajustement, mais les trois que j'ai mentionnés plus tôt semblent corrects, et je ne pense pas qu'ils soient également biaisés. Pour tester les effets indirects, j'utilise le bootstrap (environ 2000 échantillons), confiance corrigée de 90%, monte carlo. Une note supplémentaire est que j'exécute trois SEM différents pour trois conditions différentes.

J'ai deux questions que j'aimerais que certains d'entre vous examinent et veuillez répondre si vous avez quelque chose à apporter:

  1. Y a-t-il des faiblesses importantes dans mon modèle qui ne sont pas démontrées par les indices d'ajustement? Le petit échantillon sera mis en évidence comme une faiblesse de l'étude, mais je me demande s'il y a un énorme problème statistique auquel je suis complètement inconscient. J'ai l'intention d'obtenir 10 à 20 participants supplémentaires à l'avenir, mais cela me laissera encore un échantillon relativement petit pour de telles analyses.

  2. Y a-t-il des problèmes avec mon utilisation du bootstrapping étant donné mon petit échantillon ou le contexte dans lequel je l'utilise?

J'espère que ces questions ne sont pas trop "basiques" pour ce forum. J'ai lu un certain nombre de chapitres sur SEM et des sujets connexes, mais je trouve que les gens sont très dispersés en termes d'opinions dans ce domaine!

À votre santé

Behacad
la source
1
@Behacad - problème bien expliqué. Vous estimez un grand nombre de paramètres à l'aide de données très rares. L'inférence va donc être terriblement fragile. Mais je voudrais prendre du recul et demander - utilisez-vous ces 42 pour déduire les relations entre une population plus large? Si oui, le 42 est-il un échantillon aléatoire, ou du moins un échantillon manifestement représentatif?
rolando2
Merci pour ton commentaire rolando2! L'échantillon comprend 42 étudiants universitaires et j'examine la relation entre un certain nombre de facteurs et l'anxiété. Les relations que je cherche à déduire concerneraient la population générale. Mes déductions sont limitées parce que les participants sont tous des étudiants relativement jeunes, mais je ne recherche aucune population spécifique (par exemple, des personnes souffrant d'un trouble anxieux). Je suis intéressé à dire par exemple que X est indirectement associé à Y dans un échantillon non clinique. Cela répond-t-il à vos questions?
Behacad
1
@Behacad - en supposant que vous pouvez défendre à vos critiques potentiels la représentativité de votre échantillon, je dirais sans équivoque que tenter d'estimer les relations entre 12 variables demande trop de vos 42 cas. Voyez si vous pouvez simplifier votre modèle pour inclure uniquement les 3 prédicteurs les plus intéressants. Bien que je réalise qu'il est difficile de se séparer des données que vous avez peut-être travaillé dur pour collecter!
rolando2
Merci pour la réponse. J'ai le "sentiment" qu'il est difficile d'estimer les relations entre toutes ces variables avec 42 points de données, et je vois d'où vous venez. Cela étant dit, quelle serait une raison statistique (de préférence citée) de ce problème? En quoi est-ce différent de l'exécution d'un certain nombre de régressions / corrélations sur différentes variables dépendantes? L'ajustement est bon (et j'utilise actuellement trois modèles différents pour différentes tâches expérimentales) et les résultats sont cohérents entre les modèles et conformes à la théorie. Désolé si je me présente comme défensif!
Behacad
(Pas défensif - pas de soucis!) Le fait d'avoir 42 cas vous expose à tout le moins à des erreurs d'échantillonnage, même lors de l'estimation de statistiques univariées. Maintenant, dans SEM, chaque variable est utilisée plusieurs fois, car vous estimez la relation de A à B tout en contrôlant C, D, etc. Ainsi, les effets de l'erreur d'échantillonnage seront propagés, ce qui, à ma connaissance, explique on veut généralement de gros échantillons. Dans votre cas, vous avez potentiellement plus de types d'erreur que d'erreur d'échantillonnage, car vous n'avez pas d'échantillonnage aléatoire. Vous devez donc tracer un très grand intervalle crédible autour de tout résultat obtenu.
rolando2

Réponses:

4

Un point: il n'y a pas de "question de base", vous ne savez que ce que vous savez, et non ce que vous ne savez pas. poser une question est souvent le seul moyen de le savoir.

Chaque fois que vous voyez de petits échantillons, vous découvrez qui a vraiment "foi" en ses modèles et qui ne l'a pas. Je dis cela parce que les petits échantillons sont généralement ceux où les modèles ont le plus d'impact.

Étant moi-même un modéliste passionné (psycho?), Je dis: allez-y! Vous semblez adopter une approche prudente, et vous avez reconnu un biais potentiel, etc. en raison du petit échantillon. Une chose à garder à l'esprit lors de l'ajustement des modèles aux petites données est que vous avez 12 variables. Maintenant, vous devriez penser - dans quelle mesure un modèle à 12 variables pourrait-il être déterminé par 42 observations? Si vous aviez 42 variables, alors n'importe quel modèle pourrait être parfaitement adapté à ces 42 observations (en gros), donc votre cas n'est pas trop loin d'être trop flexible. Que se passe-t-il lorsque votre modèle est trop flexible? Il a tendance à s'adapter au bruit - c'est-à-dire aux relations qui sont déterminées par des choses autres que celles que vous supposez.

Vous avez également la possibilité de mettre votre ego là où se trouve votre modèle en prédisant quels seront les futurs échantillons 10-20 de votre modèle. Je me demande comment vos critiques réagiront à un modèle dit "douteux" qui donne les bonnes prédictions. Notez que vous obtiendrez un "Je vous l'avais dit" similaire si votre modèle ne prédit pas bien les données.

Une autre façon de vous assurer que vos résultats sont fiables est d'essayer de les casser. Gardez vos données d'origine intactes, créez un nouvel ensemble de données et voyez ce que vous devez faire pour ce nouvel ensemble de données afin de rendre vos résultats SEM ridicules. Ensuite, regardez ce que vous aviez à faire et réfléchissez: est-ce un scénario raisonnable? Mes données "ridicules" ressemblent-elles à une possibilité réelle? Si vous devez amener vos données sur un territoire ridicule afin de produire des résultats ridicules, cela donne une certaine assurance (heuristique et non formelle) que votre méthode est solide.

probabilitéislogique
la source
1

Le principal problème que je vois avec cela est le manque de puissance. Le facteur de confirmation et les tests SEM cherchent à accepter la valeur nulle - vous voulez voir une valeur p non significative - donc le manque de puissance peut être un problème. La puissance du test dépend de la taille de l'échantillon (42) et des degrés de liberté. AMOS vous donne les degrés de liberté. Vous ne l'avez pas cité, mais il ne sera pas important dans ce cas. Avec 12 variables, vous commencez avec 66 DF et soustrayez 1 pour chaque paramètre que vous estimez. Je ne sais pas combien cela serait, mais vous dites que vous avez plusieurs facteurs et corrélations entre diverses constructions.

Je ne suis pas entièrement d'accord avec Rolando2. En SEM, vous gagnez en ayant beaucoup de variables, en supposant qu'elles sont des indicateurs fiables des constructions sous-jacentes. Ne réduisez donc pas le nombre de variables. Pour la même raison, je ne suis pas entièrement d'accord avec @probabilityislogic. En SEM, vous n'essayez pas de modéliser 12 variables avec 42 observations. Vous essayez de modéliser les constructions à travers 12 indicateurs, renforcés par 42 répétitions. Un modèle factoriel très simple - 1 facteur avec 12 indicateurs - pourrait éventuellement être testé avec 42 personnes.

La RMSEA et les autres mesures de la qualité de l'ajustement auront tendance à s'améliorer à mesure que vous approchez de la saturation du modèle, donc encore une fois, vous courez le risque d'un résultat trompeur.

Cela étant dit, j'ai vu de petits ensembles de données rejeter un modèle factoriel. Cela signifie probablement quelque chose que l'ajustement semble être bon.

Remarque: Vous pouvez également vérifier les résidus d'un modèle SEM. Ce sont les différences entre la matrice de covariance estimée et la matrice de covariance du modèle. AMOS vous les remettra si vous en faites la demande. L'examen des résidus pourrait indiquer s'ils sont uniformément répartis ou si certaines covariances sont très mal ajustées.

Placidia
la source