Comment la distribution du terme d'erreur affecte-t-elle la distribution de la réponse?

Donc, quand je suppose que les termes d'erreur sont normalement distribués dans une régression linéaire, qu'est-ce que cela signifie pour la variable de réponse, $y$ ?

Peut-être que je m'en vais, mais je pense que nous devrions nous interroger sur , c'est ainsi que je lis l'OP. Dans le cas le plus simple de régression linéaire, si votre modèle est y = X β + ϵ, la seule composante stochastique de votre modèle est le terme d'erreur. En tant que tel, il détermine la distribution d'échantillonnage de y . Si ϵ ∼ N ( 0 , σ 2 I ) alors y | X , β ∼ N ( X β $f(y|\beta, X)$$y=X\beta + \epsilon$$y$$\epsilon\sim N(0, \sigma^2I)$ . Ce que dit @Aniko est certainement vrai pour f ( y ) (légèrement sur X , β ), cependant. En l'état, la question est légèrement vague.$y|X, \beta\sim N(X\beta, \sigma^2I)$$f(y)$$X, \beta$

La réponse courte est que vous ne pouvez rien conclure sur la distribution de , car cela dépend de la distribution des x et de la force et de la forme de la relation. Plus formellement, y aura une distribution de "mélange de normales", qui dans la pratique peut être à peu près n'importe quoi.$y$$x$$y$

Voici deux exemples extrêmes pour illustrer cela:

1. Supposons qu'il n'y ait que deux valeurs possibles , 0 et 1, et y = 10 x + N ( 0 , 1 ) . Alors $x$$y = 10x + N(0,1)$$y$ aura une distribution fortement bimodale avec des bosses à 0 et 10.
2. Supposons maintenant la même relation, mais que soit uniformément distribué sur l'intervalle 0-1 avec beaucoup de valeurs. Ensuite, y sera réparti presque uniformément sur l'intervalle 0-10 (avec quelques queues semi-normales sur les bords).$x$$y$

En fait, puisque chaque distribution peut être approximativement arbitrairement bien avec un mélange de normales, vous pouvez vraiment obtenir n'importe quelle distribution pour .$y$

Nous inventons le terme d'erreur en imposant un modèle fictif aux données réelles; la distribution du terme d'erreur n'affecte pas la distribution de la réponse.

Nous supposons souvent que l'erreur est distribuée normalement et essayons donc de construire le modèle de telle sorte que nos résidus estimés soient normalement distribués. Cela peut être difficile pour certaines distributions de . Dans ces cas, je suppose que vous pourriez dire que la distribution de la réponse affecte le terme d'erreur.$y$

Si vous écrivez la réponse comme Où m est le "modèle" (la prédiction pour y ) et e est les "erreurs", alors cela peut être réorganisé pour indiquer y - m = e . Assigner une distribution pour les erreurs revient donc à indiquer les façons dont votre modèle est incomplet. Autrement dit, cela indique dans quelle mesure vous ne savez pas pourquoi la réponse observée était la valeur qu'elle était réellement, et non ce que le modèle avait prédit. Si vous saviez que votre modèle était parfait, vous attribueriez une distribution de probabilité avec toute sa masse à zéro pour les erreurs. Attribution d'un N

$\bf{m}$$\bf{e}$$\bf{m}$$\bf{e}$$\bf{y}$$\bf{y}=m+e=(m+b)+(e-b)=m'+e'$. L'affectation d'une distribution d'erreur et d'une équation de modèle indique essentiellement quels vecteurs arbitraires sont plus plausibles que d'autres.