Régression linéaire vs non linéaire

J'ai un ensemble de valeurs $x$ et $y$ qui sont théoriquement liées de façon exponentielle:

$y = ax^b$

Une façon d'obtenir les coefficients consiste à appliquer des logarithmes naturels des deux côtés et à ajuster un modèle linéaire:

> fit <- lm(log(y)~log(x))
> a <- exp(fit$coefficients[1])
> b <- fit$coefficients[2]

Une autre façon d'obtenir cela consiste à utiliser une régression non linéaire, étant donné un ensemble théorique de valeurs de départ:

> fit <- nls(y~a*x^b, start=c(a=50, b=1.3))

Mes tests montrent de meilleurs résultats et plus liés à la théorie si j'applique le deuxième algorithme. Cependant, j'aimerais connaître la signification statistique et les implications de chaque méthode.

Lequel d'entre eux est le meilleur?

"Mieux" est fonction de votre modèle.

Une partie de la raison de votre confusion est que vous n'avez écrit que la moitié de votre modèle.

Lorsque vous dites , ce n'est pas vraiment vrai. Votre observé$y=ax^b$valeurs ynesont paségales à a x b ; ils ont un composant d'erreur.$y$$ax^b$

Par exemple, les deux modèles que vous mentionnez (et non les seuls modèles possibles par tous les moyens) font des hypothèses entièrement différentes sur l'erreur.

Vous voulez probablement dire quelque chose de plus proche de $E(Y|X=x) = ax^b\,$.

Mais alors, que dit-on de la variation de par rapport à cette attente à un x donné? Cela compte!$Y$$x$

• Lorsque vous ajustez le modèle des moindres carrés non linéaires, vous dites que les erreurs sont additives et que l'écart-type des erreurs est constant dans les données:

  $\: y_i \sim N(ax_i^b,\sigma^2)$

  ou équivalent

  , avec var ( e i$\: y_i = ax_i^b + e_i$$\text{var}(e_i) = \sigma^2$

• en revanche, lorsque vous prenez des journaux et ajustez un modèle linéaire, vous dites que l'erreur est additive sur l'échelle logarithmique et (sur l'échelle logarithmique) constante dans les données. Cela signifie qu'à l'échelle des observations, le terme d'erreur est multiplicatif , et donc les erreurs sont plus grandes lorsque les valeurs attendues sont plus grandes:

  $\: y_i \sim \text{logN}(\log a+b\log x_i,\sigma^2)$

  ou équivalent

  , avec η i ∼ logN ( 0 , σ 2$\: y_i = ax_i^b \cdot \eta_i$$\eta_i \sim \text{logN}(0,\sigma^2)$

  $\text{E}(\eta)$$\sigma^2$

(Vous pouvez faire des moindres carrés sans supposer des distributions de normalité / lognormale, mais le problème central discuté s'applique toujours ... et si vous n'êtes pas du tout proche de la normalité, vous devriez probablement envisager un modèle d'erreur différent de toute façon)

Le meilleur dépend donc du type de modèle d'erreur qui décrit votre situation.

$y$$x$$x$

Lorsque vous ajustez l'un ou l'autre modèle, vous supposez que l'ensemble des résidus (écarts entre les valeurs observées et prévues de Y) suit une distribution gaussienne. Si cette hypothèse est vraie avec vos données brutes (régression non linéaire), alors ce ne sera pas le cas pour les valeurs transformées en log (régression linéaire), et vice versa.

Quel modèle est "meilleur"? Celui où les hypothèses du modèle correspondent le mieux aux données.