Comment tester la signification statistique d'une variable catégorielle en régression linéaire?

Si dans une régression linéaire j'ai une variable catégorielle ... comment puis-je connaître la signification statique de la variable catégorielle?

Disons que le facteur $X_1$ a 10 niveaux ... il y aura 10 valeurs t résultantes différentes, sous l'égide d'une variable de facteur $X_1$ ...

Il me semble que la signification statistique est testée pour chaque niveau de la variable factorielle? Non?

@Macro: Suite à votre suggestion, j'ai construit l'exemple suivant:

Il semble que x3 soit utile et doit être inclus dans le modèle, à partir de la comparaison de modèles ci-dessous.

Mais en fait c'est faux ...

n=100    
x1=1:n
x2=(1:n)^2 
x3=rnorm(n)
ee=rnorm(n)
y=3*x1-2*x2+x3+3+ee
lm1=lm(y~x1+x2+x3)
summary(lm1)

lm2=lm(y~x1+x2) 
summary(lm2)

anova(lm1, lm2)

> anova(lm1, lm2)
Analysis of Variance Table

Model 1: y ~ x1 + x2 + x3
Model 2: y ~ x1 + x2
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1     96  82.782                                  
2     97 146.773 -1    -63.99 74.207 1.401e-13 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

regression statistical-significance categorical-data Luna
la source

@Luna, pourquoi est-ce mal? Il semble que vous ayez utilisé x3pour générer le ys, il devrait donc être inclus dans le modèle et la valeur

est d'accord avec cette conclusion.

p

$p$

Macro

@Seth - vous avez raison. Je donnais juste un exemple de jouet utilisant anova généralement dans la comparaison de modèles. Ce n'est donc pas lié à ma question initiale.

Luna

@Macro - vous avez raison. Maintenant, je vois le point. Je vous remercie!

Luna

La fonction 'Anova' du package R 'voiture' ( pdf ) vous permet de tester la signification globale d'une variable catégorielle. Il fonctionne avec de nombreux packages et types de régression différents.

SK4ndal

Vous avez raison de dire que ces valeurs vous indiquent uniquement si la moyenne de chaque niveau est significativement différente de la moyenne du niveau de référence. Par conséquent, ils ne vous parlent que des différences par paire entre les niveaux. Tester si le prédicteur catégorique, dans son ensemble, est significatif équivaut à tester s'il existe une hétérogénéité dans les moyennes des niveaux du prédicteur. Lorsqu'il n'y a pas d'autres prédicteurs dans le modèle, c'est un classique $p$ ANOVA problème.

Lorsqu'il existe d'autres prédicteurs dans le modèle. vous avez deux options pour tester la signification d'un prédicteur catégorique:

(1) Le test de rapport de vraisemblance: Supposons que vous avez un résultat , les facteurs prédictifs quantitatifs et le prédicteur catégorique avec niveaux. Le modèle sans prédicteur catégorique est $Y_i$ $X_{i1}, ..., X_{ip}$ $C_i$ $k$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \varepsilon_i$

Dans Rvous pouvez adapter ce modèle avec la lm()commande et extraire la vraisemblance du journal avec la logLikcommande. Appelons cette log-vraisemblance . Ensuite, vous pouvez ajuster le modèle avec le prédicteur catégorique: $L_0$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + \sum_{j = 1}^{k - 1} α_{j} B_{j} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \sum_{j=1}^{k-1} \alpha_j B_j + \varepsilon_i$

$B_j$ $1$ $D_i = j$ $0$ $k$ $k-1$ Rlm() $L_1$ $D_i$

λ = 2 (L_{1} - L_{0})

$\lambda = 2 \left( L_1 - L_0 \right )$

$\chi^2$ $k-1$ $p$ 1-pchisq(2*(L1-L0),df=k-1)R

$F$ RRlm()g1g0anova(g1,g0)

$F$

Macro
la source

Merci beaucoup Macro. J'ai trouvé que mes données n'étaient pas normales. Le tracé QQ est le suivant: la courbe est entièrement en dessous de la droite de 45 degrés. La courbe est tangente à cette ligne droite. Et la courbe ressemble à la courbe de f (x) = - x ^ 2 (en forme). À quel type de problème suis-je confronté? Et comment dois-je résoudre ce problème? Je vous remercie!

Luna

@Luna, Vos données sont très anormales ou les résidus sont très anormaux? De plus, je ne pense pas qu'il soit possible que l'ensemble des points se situe sous la ligne des 45 degrés.

Macro

oh en fait vous avez raison ... Je viens de jeter un coup d'œil au complot QQ. Ce n'est pas l'ensemble des points sous la ligne des 45 degrés. C'est la courbe avec la forme de f (x) = - x ^ 2 est "tangente" à la ligne de 45 degrés. Par «tangente», j'aurais dû dire que ces points autour du point «tangent» sont en fait au-dessus de la ligne de 45 degrés, très légèrement cependant. Par conséquent, visuellement, la plupart des données (~ 98%) sont en dessous de la ligne de 45 degrés ... que dois-je faire pour résoudre ce problème avant de comparer les modèles? Je vous remercie!

Luna

p

$p$

@ Druss2k, oui c'est correct.

Macro

Comment tester la signification statistique d'une variable catégorielle en régression linéaire?

Réponses: