Modèle conjoint avec termes d'interaction et régressions distinctes pour une comparaison de groupe

13

Après avoir recueilli de précieux commentaires sur les questions et discussions précédentes, j'ai posé la question suivante: Supposons que le but est de détecter les différences d'effet entre deux groupes, hommes vs femmes par exemple. Il y a deux façons de procéder:

  1. exécuter deux régressions distinctes pour les deux groupes et utiliser le test de Wald pour rejeter (ou non) l'hypothèse nulle : , où est le coefficient d'un IV dans la régression masculine, et est le coefficient de la même IV dans la régression féminine.H0b1−b2=0b1b2

  2. regrouper les deux groupes ensemble et exécuter un modèle commun en incluant un mannequin de genre et un terme d'interaction (mannequin de genre IV *). Ensuite, la détection de l'effet de groupe sera basée sur le signe de l'interaction et le test t de signification.

Que se passe-t-il si Ho est rejeté dans le cas (1), c'est-à-dire que la différence de groupe est significative, mais le coefficient du terme d'interaction dans le cas (2) est statistiquement insignifiant, c'est-à-dire que la différence de groupe est insignifiante. Ou vice versa, Ho n'est pas rejeté dans le cas (1) et le terme d'interaction est significatif dans le cas (2). Je me suis retrouvé plusieurs fois avec ce résultat, et je me demandais quel résultat serait le plus fiable et quelle est la raison de cette contradiction.

Merci beaucoup!

statistical-significance interaction regression-coefficients Bill718
la source
1
la différence entre les procédures est que l'on suppose la même variance pour les deux groupes. L'analyse séparée suppose des variances différentes.
probabilityislogic
Merci beaucoup! Êtes-vous au courant de toute référence discutant de la question des écarts lors de la comparaison de différents modèles?
Bill718

Réponses:

7

Le premier modèle interagira pleinement entre les sexes avec toutes les autres covariables du modèle. Essentiellement, l'effet de chaque covariable (b2, b3 ... bn). Dans le deuxième modèle, l'effet du sexe n'interagit qu'avec votre IV. Donc, en supposant que vous ayez plus de covariables que la IV et le sexe, cela peut conduire à des résultats quelque peu différents.

Si vous venez d'avoir les deux covariables, il existe des cas documentés où la différence de maximisation entre le test de Wald et le test du rapport de vraisemblance conduit à des réponses différentes (voir plus sur wikipedia ).

Dans ma propre expérience, j'essaie de me laisser guider par la théorie. S'il existe une théorie dominante qui suggère que le sexe n'interagirait qu'avec le IV, mais pas les autres covariables, j'irais avec l'interaction partielle.

mCorey
la source
Merci! Oui, en fait, il existe différentes covariables, pas seulement une IV, je viens de mentionner une IV dans la question pour plus de simplicité. Le fait est qu'il n'y a pas de théorie solide qui pourrait soutenir l'interaction entre le sexe et certaines covariables, c'est une analyse exploratoire, j'ai donc besoin d'expérimenter de nombreuses interactions et ajustements de modèles; le modèle initial contient 30 prédicteurs ...
Bill718
@ Bill718 De plus, les modèles séparés auront une interception différente, tandis que le modèle unique ne le sera pas, sauf si vous spécifiez le sexe seul comme IV supplémentaire (et pas seulement comme interaction).
Robert Kubrick
5

Chaque fois que deux procédures différentes sont utilisées pour tester une hypothèse particulière, il y aura différentes valeurs de p. Dire que l'un est important et que l'autre ne l'est pas peut être simplement prendre une décision en noir et blanc au niveau 0,05. Si un test donne une valeur de p de 0,03 et l'autre dit 0,07, je n'appellerais pas les résultats contradictoires. Si vous allez être aussi strict dans votre réflexion sur la signification, il est facile de faire surgir la situation (i) ou (ii) lorsque la signification du tableau de bord est le cas.

Comme je l'ai mentionné en réponse à la question précédente, ma préférence pour la recherche d'une interaction est de faire une régression combinée.

Michael R. Chernick
la source
Oui, il est vrai que la régression combinée semble mieux fonctionner, du moins dans mon cas, et c'est une méthode très flexible, car quelqu'un pourrait essayer avec différentes interactions et ajustements de modèle. Je voulais juste, par curiosité "statistique" disons , pour savoir quelle est la raison des résultats quelque peu différents. En ce qui concerne les valeurs de p, j'ai entendu certaines personnes accepter la signification uniquement à un niveau = 0,5% ou moins. Je suis plus flexible, en utilisant un niveau = 1%, mais le gros mal de tête survient lorsque les valeurs de p sont complètement différentes.
Bill718
J'ai vu des études par exemple, où un IV est très significatif lorsqu'un modet logit ordonné est utilisé, tandis que le même IV devient insignifiant quand un OLS est appliqué. Donc, dans ce cas, l'explication des résultats peut être un peu délicate. Merci beaucoup pour vos commentaires et retours!
Bill718
+1, le point d'environ est excellent. 0.07≈0.03
gung - Rétablir Monica
2

Dans le deuxième cas, un logiciel standard vous suggérerait une t-stat avec des valeurs p de t-étudiant alors que pour le premier cas les tests de Wald peuvent avoir deux options. Sous l'hypothèse de normalité des erreurs, la statistique de Wald suit une statistique de Fisher exacte (qui est équivalente à la t-stat car elle suppose la normalité de l'erreur). Alors que dans la normalité asymptotique, la statistique de Wald suit une distribution de Chi2 (qui est analogue à la a-stat suivant une distribution normale de manière asimptotique) Quelle distribution supposez-vous? En fonction de cela, vos valeurs p risquent de vous donner des résultats différents.

Dans les manuels, vous constaterez que pour les tests bilatéraux uniques (un paramètre), les statistiques t-étudiant et Fisher sont équivalentes.

Si votre échantillon n'est pas grand, la comparaison de la comparaison des valeurs p chi2 et t-stat donnerait certainement des résultats différents. Dans ce cas, il ne serait pas raisonnable de supposer une distribution asymptotique. SI votre échantillon est assez petit, alors en supposant que la normalité semble plus raisonnable, cela implique respectivement les valeurs de t-stat et de p de Fisher pour les cas 2 et 1.

JDav
la source
En effet, j'ai deux échantillons de taille inégale, le premier a 3000 observations, mais le second est relativement petit, 500 observations. Et le logiciel rapporte le chi carré lors du calcul des statistiques Wald. Il semble donc que ce soit la raison de l'écart. Cependant, les deux échantillons sont normalement distribués, en particulier dans le cas d'un grand échantillon. Merci beaucoup!
Bill718
1
Je suis désolé de vous tromper, mais la taille inégale des sous-échantillons n'est pas un problème. De plus, le vôtre ressemble à un grand échantillon pour moi. les deux procédures devraient donc donner des résultats similaires. J'ai remarqué que @probabilityislogic a fait un bon point. L'utilisation d'un échantillon groupé implique des variances résiduelles égales, ce qui peut être une source d'hétérogénéité. Je ne sais pas comment vous implémentez la procédure de régression séparée, mais il est facile de faire des erreurs si vous calculez vous-même la statistique. Cela fait de la régression groupée une approche simple et sûre.
JDav
1
Pour résoudre le problème des variances inégales entre les groupes (hétérosckédasticité), essayez un estimateur de variance blanc (alias Newey-west, Sandwich ou Robust si vous utilisez des statistiques). Cette approche corrige les types d'hétéroscédascité inconnus.
JDav
Oh, ok, je vois, en fait les observations dans l'échantillon proviennent de différentes régions d'un pays, donc il est très possible que je suppose que des problèmes d'hétérogénéité existent!
Bill718