Certains de mes prédicteurs sont à des échelles très différentes - dois-je les transformer avant d'ajuster un modèle de régression linéaire?

Je voudrais exécuter une régression linéaire sur un ensemble de données multidimensionnelles. Il existe des différences entre les différentes dimensions en termes de leur ordre de grandeur. Par exemple, la dimension 1 a généralement une plage de valeurs de [0, 1] et la dimension 2 a une plage de valeurs de [0, 1000].

Dois-je effectuer une transformation pour garantir que les plages de données pour différentes dimensions sont à la même échelle? Si c'est le cas, existe-t-il des indications pour ce type de transformation?

Les variables de décalage / mise à l'échelle n'affecteront pas leur corrélation avec la réponse

Pour voir pourquoi cela est vrai, supposons que la corrélation entre et soit . Alors la corrélation entre et estX ρ Y ( X - a ) /$Y$$X$$\rho$$Y$$(X-a)/b$

qui découle de la définition de la corrélation et de trois faits:

• ${\rm cov}(Y, X+a) = {\rm cov}(Y,X) + \underbrace{{\rm cov}(Y,a)}_{=0} = {\rm cov}(Y,X)$

• ${\rm cov}(Y,aX) = a {\rm cov}(Y,X)$

• ${\rm SD}(aX) = a \cdot {\rm SD}(X)$

Par conséquent, en termes d'ajustement du modèle (par exemple ou les valeurs ajustées), le déplacement ou la mise à l'échelle de vos variables (par exemple en les mettant sur la même échelle) ne changera pas le modèle$R^2$ , car les coefficients de régression linéaire sont liés aux corrélations entre les variables. Cela ne changera l'échelle de vos coefficients de régression , qui doit être gardé à l'esprit lorsque vous interprétez la sortie si vous choisissez de transformer vos prédicteurs.

Edit: Ce qui précède a supposé que vous parlez de régression ordinaire avec l'interception. Quelques points supplémentaires à ce sujet (merci @cardinal):

• L'interception peut changer lorsque vous transformez vos variables et, comme le souligne @cardinal dans les commentaires, les coefficients changeront lorsque vous déplacerez vos variables si vous omettez l'interception du modèle, bien que je suppose que vous ne le faites pas à moins que vous n'ayez une bonne raison (voir par exemple cette réponse ).

• Si vous régularisez vos coefficients d'une manière ou d'une autre (par exemple, Lasso, régression de crête), le centrage / la mise à l'échelle affectera l'ajustement. Par exemple, si vous pénalisez (la pénalité de régression de crête), vous ne pouvez pas récupérer un ajustement équivalent après la normalisation, sauf si toutes les variables étaient à la même échelle en premier lieu, c'est-à-dire qu'il n'y a pas de multiple constant qui récupérer la même pénalité.$\sum \beta_{i}^{2}$

Concernant quand / pourquoi un chercheur peut vouloir transformer les prédicteurs

Une circonstance courante (discutée dans la réponse suivante de @Paul) est que les chercheurs normaliseront leurs prédicteurs afin que tous les coefficients soient à la même échelle. Dans ce cas, la taille des estimations ponctuelles peut donner une idée approximative des prédicteurs qui ont le plus grand effet une fois que l'amplitude numérique du prédicteur a été normalisée.

Une autre raison pour laquelle un chercheur peut souhaiter mettre à l'échelle de très grandes variables est que les coefficients de régression ne sont pas à une échelle extrêmement petite. Par exemple, si vous vouliez examiner l'influence de la taille de la population d'un pays sur le taux de criminalité (ne pouvait pas penser à un meilleur exemple), vous pourriez vouloir mesurer la taille de la population en millions plutôt qu'en unités d'origine, puisque le coefficient peut être quelque chose comme .$.00000001$

La soi-disant «normalisation» est une routine courante pour la plupart des méthodes de régression. Il y a deux façons:

1. Mappez chaque variable dans des limites [-1, 1] (mapminmax dans MatLab.
2. Supprimer la moyenne de chaque variable et diviser son écart type (mapstd dans MatLab), c'est-à-dire "normaliser". Si la moyenne réelle d'une déviation est inconnue, il suffit de prendre des caractéristiques d'échantillon: $$\tilde{X}_{ij}=\frac{X_{ij}-\mu_i}{\sigma_i}$$ $$\tilde{X}_{ij}=\frac{X_{ij} - \overline{X_i}}{std({X_i})}$$ $E[X_i] = \mu$$E[X_i^2-E[X_i]^2]=\sigma^2$$\overline{X_i}=\frac{1}{N}\sum_{j=1}^{N}X_{ij}$$std({X_i}) = \sqrt{\frac{1}{N}\sum_{j=1}^{N}(X_{ij}^2 -\overline{X_{i}}^2)}$

Comme la régression linéaire est très sensible aux plages de variables, je suggère généralement de normaliser toutes les variables si vous n'avez aucune connaissance préalable de la dépendance et que vous vous attendez à ce que toutes les variables soient relativement importantes.

Il en va de même pour les variables de réponse, bien que cela ne soit pas très important pour elles.

Pourquoi faire de la normalisation ou de la standardisation? Surtout pour déterminer l'impact relatif de différentes variables dans le modèle, ce qui peut être obtenu si toutes les variables sont dans les mêmes unités.

J'espère que cela t'aides!