L'ajout d'un prédicteur de régression linéaire diminue le R au carré

Mon ensemble de données ( ) a une variable dépendante (DV), cinq variables "de base" indépendantes (P1, P2, P3, P4, P5) et une variable indépendante d'intérêt (Q). $N \approx 10,000$

J'ai exécuté des régressions linéaires OLS pour les deux modèles suivants:

DV ~ 1 + P1 + P2 + P3 + P4 + P5
                                  -> R-squared = 0.125

DV ~ 1 + P1 + P2 + P3 + P4 + P5 + Q
                                  -> R-squared = 0.124

C'est-à-dire, l'ajout du prédicteur Q a diminué la quantité de variance expliquée dans le modèle linéaire. Pour autant que je sache, cela ne devrait pas se produire .

Pour être clair, il s'agit de valeurs R au carré et non de valeurs R au carré ajustées.

J'ai vérifié les valeurs au carré R- en utilisant Jasp et de Python de statsmodels .

Y a-t-il une raison pour laquelle je pourrais voir ce phénomène? Peut-être quelque chose concernant la méthode OLS?

regression linear r-squared Cai
la source

problèmes numériques? Les chiffres sont assez proches les uns des autres ...

@ user2137591 C'est ce que je pense, mais je n'ai aucune idée de comment le vérifier. La différence absolue des valeurs R au carré est de 0,000513569, ce qui est petit, mais pas si petit.

Cai

J'espère que vous connaissez l'algèbre linéaire: si est la matrice de conception de ce qui précède, pourriez-vous s'il vous plaît calculer , où est la matrice transposée et est la matrice déterminante?

X

$\mathbf{X}$

det X^{T} X

$\det\mathbf{X}^{T}\mathbf{X}$

T

$T$

det

$\det$

Clarinettiste

Les valeurs manquantes sont-elles automatiquement supprimées?

generic_user

0,000513569 est un très petit nombre: c'est une variation de 0,41%. Il s'agit très probablement d'un problème numérique. Ce que le clarinettiste essaie de dire, c'est que votre matrice de conception a peut-être un mauvais numéro de condition et lors de l'inversion, elle est numériquement instable ...

L'ajout d'un prédicteur de régression linéaire diminue le R au carré

Réponses: