Comment choisir la meilleure transformation pour atteindre la linéarité?

Je veux faire une régression linéaire multiple puis prédire de nouvelles valeurs avec peu d'extrapolation. J'ai ma variable de réponse dans la plage de -2 à +7 et trois prédicteurs (les plages d'environ +10 à +200). La distribution est presque normale. Mais la relation entre la réponse et les prédicteurs n'est pas linéaire, je vois des courbes sur les graphiques. Par exemple, comme ceci: http://cs10418.userapi.com/u17020874/153949434/x_9898cf38.jpg

Je voudrais appliquer une transformation pour atteindre la linéarité. J'ai essayé de transformer la variable de réponse en vérifiant différentes fonctions et en regardant les graphiques résultants pour voir une relation linéaire entre la réponse et les prédicteurs. Et j'ai trouvé qu'il existe de nombreuses fonctions qui peuvent me donner une relation linéaire visible. Par exemple, les fonctions

$t_1=\log(y+2.5)$

$t_2=\frac{1}{\log(y+5)}$

$t_3=\frac{1}{y+5}$

$t_4=\frac{1}{(y+10)^3}$

etc. donnent les mêmes résultats: http://cs10418.userapi.com/u17020874/153949434/x_06f13dbf.jpg $t_5=\frac{1}{(y+3)^\frac{1}{3}}$

Après je vais retransformer les valeurs prédites (pour comme $t=\frac{1}{(y+10)^3}$ et ainsi de suite). Les distributions sont plus ou moins similaires à la normale. $y’=\frac{1}{t^\frac{1}{3}}-10$

Comment choisir la meilleure transformation pour mes données? Existe-t-il une manière quantitative (et pas très compliquée) d'évaluer la linéarité? Pour prouver que la transformation sélectionnée est la meilleure ou pour la trouver automatiquement si possible.

Ou la seule façon est de faire la régression multiple non linéaire?

regression data-transformation Nadya
la source

J'ai essayé d'améliorer la mise en forme de vos formules, mais j'ai peut-être introduit des erreurs - veuillez vérifier.

Peter Ellis

Je ne te crois pas. Il n'est pas mathématiquement possible que

aient simultanément une relation linéaire avec une sixième variable sur la plage

. Je pense que vous avez peut-être fait une erreur dans le calcul de ces transformations de

t_{1}

$t_1$

t_{5}

$t_5$

0 \dots 200

$0\ldots 200$

y

$y$

whuber

@whuber Merci pour la réponse. J'ai fait les parcelles en R cs9579.userapi.com/u17020874/153949434/z_9fa17c02.jpg cs9579.userapi.com/u17020874/153949434/z_7fa6891c.jpg

nadya

Vous avez raison. C'est assez étonnant qu'un si large éventail de ré-expressions de y resterait dans une relation linéaire avec r. Merci de partager ça. Si vous indiquerez les résidus, vous constaterez que

regards sur la meilleure, et

n'a pas besoin d'réexpression: .

1 / (y + 5)

$1/(y+5)$

r

$r$ plot(lm(1/(y+5)~r))

whuber

Réponses:

C'est un peu un art, mais il y a des choses simples et standard que l'on peut toujours essayer.

La première chose à faire est de ré-exprimer la variable dépendante ( ) pour rendre les résidus normaux. Ce n'est pas vraiment applicable dans cet exemple, où les points semblent tomber le long d'une courbe non linéaire lisse avec très peu de dispersion. Nous passons donc à l'étape suivante. $y$

La prochaine étape consiste à ré-exprimer la variable indépendante ( ) pour linéariser la relation. Il existe un moyen simple et facile de le faire. Choisissez trois points représentatifs le long de la courbe, de préférence aux deux extrémités et au milieu. À partir du premier chiffre, j'ai lu les paires ordonnées = , et . Sans aucune autre information que celle semble toujours être positive, un bon choix est d'explorer les transformations de Box-Cox $r$ $(r,y)$ $(10,7)$ $(90,0)$ $(180,-2)$ $r$ pour différentes puissances , généralement choisi pour êtremultiple de ou et typiquement comprise entre et . (La valeur limite lorsque s'approche de est .) Cette transformation créera une relation linéaire approximative à condition que la pente entre les deux premiers points soit égale à la pente entre la deuxième paire. $r \to (r^p-1)/p$ $p$ $1/2$ $1/3$ $-1$ $1$ $p$ $0$ $\log(r)$

$(0-7)/(90-10)$ $0.088$ $(-2-0)/(180-90)$ $-0.022$ $p=-1/2$ $(0-7)/(\frac{90^{-1/2}-1}{-1/2}-\frac{10^{-1/2}-1}{-1/2})$ $-16.6$ $-32.4$ $p \approx 0$ $-7.3$ $-6.6$ $y = \alpha + \beta \log(r)$ $y$ pour les rendre approximativement symétriques, et itérer.

$y$

whuber
la source

Merci pour les conseils de la transformation Box-Cox. Est-il judicieux de vérifier le R au carré de lm (1 / (y + 5) ~ r) et le lm des autres fonctions, puis de comparer ces R au carré?

nadya

r

R^{2}

$R^2$ r

R^{2}

$R^2$

Merci beaucoup pour la réponse! Je ne vais pas transformer mes variables indépendantes

nadya

y

$y$

@Erich Chaque morceau de ce livre est profondément enrichissant: après tout, si vous pouvez faire quelque chose avec un crayon et du papier, vous pouvez programmer un ordinateur pour le faire :-). Avec une seule variable, il est souvent agréable de la transformer pour la symétrie (de sa distribution empirique); Tukey appelle cela un "petit accord". Un moyen simple d'identifier une telle transformation est décrit dans la section 3E, «Regarder rapidement». Il illustre ce qui peut être appris d'un coup d'œil à un résumé à N lettres (Tukey suggère un résumé à 7 ou 9 lettres). L'acquisition de cette compétence est plus précieuse que d'avoir un programme informatique faire les calculs pour vous.

whuber

Si votre variable de réponse (ou plutôt, ce qui deviendra les résidus de votre variable de réponse) sur l'échelle d'origine a une distribution normale comme vous l'impliquez, alors la transformer pour créer une relation linéaire avec les autres variables signifie qu'elle n'est plus normale et il modifiera également la relation entre sa variance et les valeurs moyennes. Donc, d'après cette partie de votre description, je pense qu'il vaut mieux utiliser une régression non linéaire que de transformer la réponse. Sinon, après une transformation linéaire de la réponse, vous aurez besoin d'une structure d'erreur plus complexe (bien que cela puisse être une question de jugement et que vous devrez vérifier, en utilisant des méthodes graphiques).

Vous pouvez également étudier la transformation des variables explicatives . En plus des transformations droites, vous avez également la possibilité d'ajouter en termes quadratiques.

Plus généralement, la transformation est plus un art qu'une science, s'il n'y a pas de théorie existante pour suggérer ce que vous devriez utiliser comme base de la transformation.

Peter Ellis
la source