Hypothèses de distribution résiduelle de régression

Pourquoi est-il nécessaire de poser l'hypothèse distributionnelle sur les erreurs, c'est-à-dire

ϵ i ∼ N ( 0 , σ 2$y_i = X\beta + \epsilon_{i}$ , avec .$\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

Pourquoi ne pas écrire

y i ~ N ( X β , σ 2$y_i = X\beta + \epsilon_{i}$ , avec ,$y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$

où dans les deux cas . Je l'ai vu souligné que les hypothèses de distribution sont placées sur les erreurs, pas sur les données, mais sans explication. $\epsilon_i = y_i - \hat{y}$

Je ne comprends pas vraiment la différence entre ces deux formulations. À certains endroits, je vois des hypothèses de distribution être placées sur les données (Bayesian lit. il semble surtout), mais la plupart du temps, les hypothèses sont placées sur les erreurs.

Lors de la modélisation, pourquoi choisir / devrait-on commencer par des hypothèses sur l'une ou l'autre?

Dans un cadre de régression linéaire, il est courant de faire des analyses et de dériver des résultats conditionnels à , c'est-à-dire conditionnels aux "données". Ainsi, ce dont vous avez besoin est que soit normal, c'est-à-dire que vous avez besoin de pour être normal. Comme l'illustre l'exemple de Peter Flom, on peut avoir la normalité de sans avoir la normalité de , et donc, puisque ce dont vous avez besoin est la normalité de , c'est l'hypothèse sensée.y ∣ X ϵ ϵ y $X$$y\mid X$$\epsilon$$\epsilon$$y$$\epsilon$

J'écrirais la deuxième définition comme

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

ou (comme le suggère Karl Oskar +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

c'est-à-dire que l'hypothèse de modélisation est que la variable de réponse est normalement distribuée autour de la droite de régression (qui est une estimation de la moyenne conditionnelle), avec une variance constante . Ce n'est pas la même chose que de suggérer que sont normalement distribués, car la moyenne de la distribution dépend de .y i X $\sigma^2$$y_i$$X_i$

Je pense avoir vu des formulations similaires à cela dans la littérature sur l'apprentissage automatique; pour autant que je puisse voir qu'elle est équivalente à la première définition, tout ce que j'ai fait est de ré-exprimer la deuxième formulation un peu différemment pour éliminer les et les .$\epsilon_i$$\hat{y}$

La différence est plus facile à illustrer avec un exemple. En voici une simple:

Supposons que Y soit bimodal, la modalité étant représentée par une variable indépendante. Par exemple, supposons que Y soit la hauteur et que votre échantillon (pour une raison quelconque) se compose de jockeys et de basketteurs. par exemple dansR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

la première densité est très anormale. Mais les résidus du modèle sont extrêmement proches de la normale.

Quant à savoir pourquoi les restrictions sont placées de cette façon - je laisserai quelqu'un d'autre répondre à celle-ci.

$$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$$ $\hat y$$\bf x_i$

---

$\hat y_i$ y i ~ N ( x i β , σ 2 ε ) E [ x i β$\bf x_i\boldsymbol{\hat\beta}$

$$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$$
$$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$$ (Et évidemment les variances sont égales.) En d'autres termes, ce n'est pas une différence d'hypothèses, mais simplement une différence de notation.

La question devient donc: y a-t-il une raison de préférer présenter l'idée en utilisant la première formulation?

Je pense que la réponse est oui pour deux raisons:

1. Les gens confondent souvent si les données brutes doivent être normalement distribuées (ie, ), ou si les données conditionnelles à / les erreurs doivent être normalement distribuées (ie, / ), par exemple, voir : Et si les résidus sont normalement distribués, mais y ne l'est pas?$Y$$\bf X$$Y|\bf X$$\varepsilon$
2. Les gens confondent également souvent ce qui est censé être indépendant, les données brutes ou les erreurs. De plus, nous mentionnons souvent le fait que quelque chose devrait être iid (indépendant et identique); si vous pensez en termes de cela peut être une autre source potentielle de confusion, car peut être indépendant, mais ne peut être distribué de manière identique à moins que l'hypothèse nulle ne soit vérifiée (car la moyenne varierait). $Y|\bf X$$Y|\bf X$

Je crois que ces confusions utilisent plus probablement la deuxième formulation que la première.