Quelle est la relation entre le R au carré et la valeur de p dans une régression?

tl; dr - pour la régression OLS, un R au carré plus élevé implique-t-il également une valeur P plus élevée? Spécifiquement pour une seule variable explicative (Y = a + bX + e) mais serait également intéressé de connaître pour n plusieurs variables explicatives (Y = a + b1X + ... bnX + e).

Contexte - J'effectue une régression OLS sur une gamme de variables et j'essaie de développer la meilleure forme fonctionnelle explicative en produisant un tableau contenant les valeurs R au carré entre les linéaires, logarithmiques, etc., les transformations de chaque variable explicative (indépendante) et la variable de réponse (dépendante). Cela ressemble un peu à:

Nom de variable - forme linéaire-- --ln (variable) --exp (variable) - ... etc

Variable 1 ------- R au carré ---- R au carré ---- R au carré -
... etc ...

Je me demande si le R au carré est approprié ou si les valeurs P seraient meilleures. Vraisemblablement, il existe une certaine relation, car une relation plus significative impliquerait un pouvoir explicatif plus élevé, mais vous ne savez pas si cela est vrai de manière rigoureuse.

regression modeling p-value r-squared question économétrique
la source

Également intéressant: le R ^ 2 est-il utile ou dangereux? .

whuber

Réponses:

La réponse est non, il n'y a pas une telle relation régulière entre et la valeur de p de régression globale, car dépend autant de la variance des variables indépendantes que de la variance des résidus (auxquels il est inversement proportionnelle), et vous êtes libre de modifier la variance des variables indépendantes par des montants arbitraires. $R^2$ $R^2$

À titre d'exemple, considérons tout ensemble de données multivariées avec indexant les observations et supposons que l'ensemble de valeurs de la première variable indépendante, , a un maximum unique séparé de la deuxième valeur la plus élevée par un montant positif . Appliquer une transformation non linéaire de la première variable qui envoie toutes les valeurs inférieures à $((x_{i1}, x_{i2}, \ldots, x_{ip}, y_i))$ $i$ $\{x_{i1}\}$ $x^*$ $\epsilon$ dans la plage et envoie lui-même à une grande valeur . Pour un tel cela peut être fait par une transformation Box-Cox appropriée (mise à l'échelle) , par exemple, donc nous ne parlons pas de quelque chose d'étrange ou de «pathologique». Ensuite, comme $x^* - \epsilon/2$ $[0,1]$ $x^*$ $M \gg 1$ $M$ $x \to a((x-x_0)^\lambda - 1)/(\lambda-1))$ $M$ augmente arbitrairement, s'approche de aussi près que vous le souhaitez, quelle que soit la gravité de l'ajustement, car la variance des résidus sera limitée tandis que la variance de la première variable indépendante est asymptotiquement proportionnelle à . $R^2$ $1$ $M^2$

Vous devriez plutôt utiliser des tests d'ajustement (entre autres techniques) pour sélectionner un modèle approprié dans votre exploration: vous devez vous soucier de la linéarité de l'ajustement et de l' homoscédasticité des résidus. Et ne prenez pas de valeurs p de la régression résultante sur la confiance: elles finiront par être presque dénuées de sens après que vous ayez effectué cet exercice, car leur interprétation suppose que le choix d'exprimer les variables indépendantes ne dépendait pas des valeurs de la variable dépendante du tout, ce qui n'est pas du tout le cas ici.

whuber
la source

Cette réponse ne traite pas directement de la question centrale; ce n'est rien de plus que des informations supplémentaires qui sont trop longues pour un commentaire.

Je le signale parce que la question économétrique rencontrera sans aucun doute cette information, ou quelque chose comme ça à un moment donné (indiquant que et sont liés) et je me demande si les informations fournies dans d'autres réponses ici sont fausses - ce n'est pas faux - mais je pense il vaut mieux être clair sur ce qui se passe. $F$ $R^2$

Il existe une relation dans un ensemble particulier de circonstances; si vous tenez le nombre d'observations et le nombre de prédicteurs fixés pour un modèle donné, est en fait monotone dans , puisque $F$ $R^2$

F = \frac{R^{2} / (k - 1)}{(1 - R^{2}) / (N - k)}

$F = \frac{R^2/(k-1)}{(1-R^2)/(N-k)}$

(Si vous divisez le numérateur et le dénominateur par et retirez les constantes de , vous pouvez voir que si vous maintenez et constants.) $R^2$ $k$ $1/F \propto 1/R^2 - 1$ $N$ $k$

Étant donné que pour df fixe et la valeur p sont monotones, et la valeur sont également monotones. $F$ $R^2$ $p$

Mais changez presque tout sur le modèle, et cette relation ne tient pas compte des nouvelles circonstances.

Par exemple, ajouter un point rend plus grand et en supprimer un le rend plus petit mais faire l'une ou l'autre peut augmenter ou diminuer , donc il semble que et ne se déplacent pas nécessairement ensemble si vous ajoutez ou supprimez des données. L'ajout d'une variable diminue mais augmente (et vice-versa), donc encore une fois, n'est pas nécessairement lié à $(N-k)/(k-1)$ $R^2$ $F$ $R^2$ $(N-k)/(k-1)$ $R^2$ $R^2$ quand tu fais ça. $F$

De toute évidence, une fois que vous comparez les valeurs et travers des modèles ayant des caractéristiques différentes, cette relation ne tient pas nécessairement, comme le prouve le cas dans le cas des transformations non linéaires. $R^2$ $p$

Glen_b -Reinstate Monica
la source

Je ne suis pas en désaccord avec vous, mais il semble que vous répondiez à une question différente de la mienne. Il a fallu un peu de lecture, mais j'ai conclu que la question demande quelle relation, le cas échéant, existe entre

p

$p$

R^{2}

$R^2$ lorsque (caeteris paribus) les variables indépendantes sont transformées de façon non linéaire. Ce n'est que lorsque ces variables restent inchangées - ou, tout au plus, transformées linéairement entre elles - que nous pouvons dire quoi que ce soit sur une telle relation. Cela fait partie du sens dans lequel je pense que votre qualificatif "pour un modèle donné" doit être compris.

whuber

Je réponds à une autre question; et je crois que votre interprétation de la signification est correcte. J'étais plus inquiet qu'un problème tel que celui que j'ai soulevé ne prête à confusion s'il n'était pas expliqué. Tous mes points tiennent, à ma connaissance. (Maintenant, je crains, en fait, que ma réponse ne serve peut-être pas à clarifier, comme je l'avais espéré, mais qu'elle brouille simplement le problème. Pensez-vous qu'il existe une modification appropriée qui pourrait l'aider? Dois-je la supprimer?)

Glen_b -Reinstate Monica

Je détesterais le voir supprimé, Glen. Si vous avez l’intention d’apporter des modifications, pensez à indiquer plus explicitement sur quels aspects de ce problème vous écrivez ( par exemple, , ce que vous entendez précisément par un «modèle donné» et ce que vous avez en tête à propos des modèles ayant des «caractéristiques différentes»). C'est dans cet esprit (collaboratif, pas critique) dans lequel j'ai proposé mon commentaire.

whuber

Je ne me suis pas senti critiqué - vous avez semblé clarifier et rien de plus - mais la nécessité de cela met en évidence une insuffisance de la réponse qui m'inquiétait avant que vous ne commentiez. L'imprécision de `` différentes caractéristiques '' est parce que c'est une chose assez générale - varier beaucoup de choses (je donne même des exemples de quelque chose d'aussi simple que de supprimer un point ou d'ajouter une variable pour illustrer combien peu de choses doivent changer) peut rendre cette relation monotone évaporer. Je vais réfléchir à ce que je pourrais dire de plus.

Glen_b -Reinstate Monica

+1 pour l'édition: ce sont des commentaires précieux et il est particulièrement utile de voir la formule pour

F

$F$

"pour la régression OLS, un R au carré plus élevé implique-t-il également une valeur P plus élevée? Spécifiquement pour une seule variable explicative (Y = a + bX + e)"

$R^2$ $F$ $t$ $R^2$ $p$ $t$ $R^2$

$|t| = \sqrt{\frac{R^2}{(1- R^2)}(n -2)}$

$n$ $R^2$ $t$

"mais serait également intéressé de connaître pour n plusieurs variables explicatives (Y = a + b1X + ... bnX + e)."

La réponse est la même, mais au lieu de regarder une seule variable, nous regardons maintenant toutes les variables ensemble - d'où la $F$ statistique, comme l'a montré Glen_b. Et ici, vous devez corriger les deux $n$ et le nombre de paramètres. Ou, pour mieux dire, fixez les degrés de liberté.

Contexte - J'effectue une régression OLS sur une série de variables et j'essaie de développer la meilleure forme fonctionnelle explicative (...)

Ok, donc c'est en fait un problème différent. Si vous recherchez la meilleure forme fonctionnelle explicative, vous devriez également jeter un œil aux techniques de validation croisée . Même si $R^2$ est la quantité d'intérêt pour votre problème (ce n'est généralement pas le cas), trouver le meilleur ajustement dans l'échantillon peut être très trompeur - vous voulez généralement que vos résultats se généralisent hors de l'échantillon, et une validation croisée appropriée peut vous aider à ne pas suréquiper trop vos données.

Et ici, je suppose que vous voulez un pouvoir "prédictif" (puisque vous dites que vous voulez trouver "la meilleure forme fonctionnelle explicative"). Si vous voulez faire une inférence causale, par exemple, alors le $R^2$ ou d'autres mesures de performance prédictives sont de peu d'utilité sans une connaissance plus structurelle / substantielle du problème.

Carlos Cinelli
la source