J'ai lu que ce sont les conditions d'utilisation du modèle de régression multiple:

1. les résidus du modèle sont presque normaux,
2. la variabilité des résidus est presque constante
3. les résidus sont indépendants, et
4. chaque variable est liée linéairement au résultat.

En quoi 1 et 2 sont-ils différents?

Vous pouvez en voir un ici juste:

Ainsi, le graphique ci-dessus indique que le résidu qui est à 2 écart-type est à 10 de Y-hat. Cela signifie que les résidus suivent une distribution normale. Vous ne pouvez pas en déduire 2? Que la variabilité des résidus est presque constante?

1. Distribution normale des résidus :

La condition de normalité entre en jeu lorsque vous essayez d'obtenir des intervalles de confiance et / ou des valeurs de p.

$\varepsilon\vert X\sim N (0,\sigma^2 I_n)$ n'est pas une condition de Gauss Markov .

Ce graphique tente d'illustrer la distribution des points de la population en bleu (avec la ligne de régression de la population sous forme de ligne cyan solide), superposée à un ensemble de données échantillon en gros points jaunes (avec sa ligne de régression estimée tracée en ligne jaune en pointillés). Évidemment, cela ne concerne que la consommation conceptuelle, car il y aurait des points d'infini pour chaque valeur de ) - il s'agit donc d'une discrétisation iconographique graphique du concept de régression comme la distribution continue des valeurs autour d'une moyenne (correspond à la valeur prédite de la variable "indépendante") à chaque valeur donnée du régresseur, ou variable explicative.$X = x$

Si nous exécutons des tracés de diagnostic R sur les données de "population" simulées, nous obtiendrions ...

La variance des résidus est constante le long de toutes les valeurs de$X.$

L'intrigue typique serait:

Conceptuellement, l'introduction de plusieurs régresseurs ou variables explicatives ne modifie pas l'idée. Je trouve le didacticiel pratique du package swirl()extrêmement utile pour comprendre comment la régression multiple est vraiment un processus de régression des variables dépendantes les unes contre les autres, entraînant la variation résiduelle et inexpliquée du modèle; ou plus simplement, une forme vectorielle de régression linéaire simple :

La technique générale consiste à choisir un régresseur et à remplacer toutes les autres variables par les résidus de leurs régressions contre celui-ci.

2. La variabilité des résidus est presque constante (homoskédasticité) :

$E[ \varepsilon_i^2 \vert X ] = \sigma^2$

Le problème avec la violation de cette condition est:

L'hétéroscédasticité a de graves conséquences pour l'estimateur OLS. Bien que l'estimateur OLS reste sans biais, le SE estimé est erroné. Pour cette raison, les intervalles de confiance et les tests d'hypothèses ne peuvent pas être utilisés. De plus, l'estimateur OLS n'est plus BLEU.

Dans ce graphique, la variance augmente avec les valeurs du régresseur (variable explicative), par opposition à rester constante. Dans ce cas, les résidus sont normalement distribués, mais la variance de cette distribution normale change (augmente) avec la variable explicative.

Notez que la "vraie" ligne de régression (population) ne change pas par rapport à la ligne de régression de la population sous homoskédasticité dans le premier graphique (bleu foncé continu), mais il est intuitivement clair que les estimations vont être plus incertaines.

Les tracés de diagnostic sur l'ensemble de données sont ...

ce qui correspond à une distribution "à queue lourde" , ce qui est logique, c'est que nous devions télescoper toutes les parcelles gaussiennes verticales "côte à côte" en une seule, qui conserverait sa forme de cloche, mais aurait de très longues queues.

@Glen_b "... une couverture complète de la distinction entre les deux considérerait également homoskedastic-but-not-normal."

Les résidus sont fortement asymétriques et la variance augmente avec les valeurs de la variable explicative.

Ce seraient les parcelles de diagnostic ...

correspondant à l'inclinaison droite marquée.

Pour fermer la boucle, nous verrions également une asymétrie dans un modèle homoscédastique avec une distribution non gaussienne des erreurs:

avec des tracés de diagnostic comme ...

Ce n'est pas la faute de l'OP, mais je commence à me lasser de la désinformation de lecture comme celle-ci.

J'ai lu que ce sont les conditions d'utilisation du modèle de régression multiple:

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

Le «modèle de régression multiple» n'est qu'un libellé déclarant qu'une variable peut être exprimée en fonction d'autres variables.

Ni le vrai terme d'erreur ni les résidus du modèle n'ont besoin de presque rien en particulier - si les résidus semblent normaux, cela est bon pour l'inférence statistique ultérieure .

La variabilité (variance) du terme d'erreur n'a pas besoin d'être presque constante - si ce n'est pas le cas, nous avons un modèle à hétéroscédasticité qui est de nos jours assez facilement manipulé.

Les résidus ne sont en aucun cas indépendants, car chacun est fonction de l'ensemble de l'échantillon. Les vrais termes d'erreur n'ont pas besoin d'être indépendants - s'ils ne le sont pas, nous avons un modèle avec autocorrélation, qui, bien que plus difficile que l'hétéroskédasticité, peut être traité jusqu'à un certain degré.

Il n'est pas nécessaire que chaque variable soit liée linéairement au résultat. En fait, la distinction entre régression "linéaire" et "non linéaire" n'a rien à voir avec la relation entre les variables - mais comment les coefficients inconnus entrent dans la relation.

Ce que l'on pourrait dire, c'est que si les trois premiers sont valides et que le quatrième est correctement énoncé, nous obtenons alors le "modèle de régression linéaire normale classique", qui n'est qu'une (bien qu'historiquement la première) variante des modèles de régression multiple.

Antoni Parellada a eu une réponse parfaite avec une belle illustration graphique.

Je veux juste ajouter un commentaire pour résumer la différence entre deux déclarations

1. les résidus du modèle sont presque normaux

2. la variabilité des résidus est presque constante

• L'énoncé 1 indique que la "forme" du résidu est une "courbe en forme de cloche" .
• L'énoncé 2 affine la propagation de la "forme" (est constante), dans le tracé d'Antoni Parellada 3. il y a 3 courbes en forme de cloche, mais elles sont différentes.

Il n'y a pas un seul ensemble unique d'hypothèses de régression, mais il existe plusieurs variantes. Certains de ces ensembles d'hypothèses sont plus stricts, c'est-à-dire plus étroits, que d'autres. De plus, dans la plupart des cas, vous n'en avez pas besoin et, dans de nombreux cas, vous ne pouvez pas vraiment supposer que la distribution est normale.

Les hypothèses que vous avez citées sont plus strictes que la plupart, mais elles sont formulées dans un langage inutilement vague. Par exemple, qu'est-ce qui est exactement près ? De plus, ce ne sont pas les résidus sur lesquels nous imposons les hypothèses, ce sont les erreurs . Les résidus sont des estimations d'erreurs qui ne sont pas observables. Cela me dit que vous citez d'une mauvaise source. Jetez-le.

La réponse brève à votre question est que si vous considérez une distribution, par exemple la distribution de Student t, pour vos erreurs (je vais utiliser le terme correct dans ma réponse), alors vous pouvez voir comment les erreurs peuvent avoir une variation "presque constante" sans être de la distribution normale, et comment avoir une variance "presque constante" ne nécessite pas une distribution normale. En d'autres termes, non, vous ne pouvez pas concevoir une hypothèse à partir d'une autre sans exigence supplémentaire.

1. $\mathcal N(.)$
2. $\sigma$$\varepsilon_i$
3. $\mathcal N$$X$
4. $y=X\beta$

Ainsi, lorsque nous regroupons toutes les hypothèses de cette façon dans une ou deux équations, il peut sembler qu'elles dépendent toutes l'une de l'autre, ce qui n'est pas vrai. Je vais le démontrer ensuite.

Exemple 1

Exemple 2

J'ai essayé d'ajouter une nouvelle dimension à la discussion et de la rendre plus générale. Veuillez m'excuser si c'était trop rudimentaire.

Un modèle de régression est un moyen formel d'exprimer les deux ingrédients essentiels d'une relation statistique:

1. $Y$$X$
2. Une dispersion de points autour de la courbe de relation statistique.

$Y$

En postulant que:

1. $Y$$X$

2. $X$

$Y$

$Y$$X$

$Y$$X$$Y$$X$

Source: Modèles statistiques linéaires appliqués, KNNL

$Y$$X$

$Y_i$$X_i$

$\beta_0\\$$\beta_1\\$ sont des paramètres

$\epsilon\\$$N(O,\sigma^2)$

$i$

$E(Y|X)$$\beta_0\\$$\beta_1\\$$\sigma^2$$\beta_0\\$$\beta_1\\$$\sigma^2$

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

En quoi 1 et 2 sont-ils différents?

Venir à la question

Les première et deuxième hypothèses que vous avez énoncées sont deux parties de la même hypothèse de normalité avec une moyenne nulle et une variance constante. Je pense que la question devrait être posée comme quelles sont les implications des deux hypothèses pour un modèle de régression d'erreur normal plutôt que la différence entre les deux hypothèses. Je dis cela parce que cela ressemble à comparer des pommes à des oranges parce que vous essayez de trouver une différence entre les hypothèses sur la distribution d'une dispersion de points et les hypothèses sur sa variabilité. La variabilité est une propriété d'une distribution. Je vais donc essayer de répondre à une question plus pertinente des implications des deux hypothèses.

Dans l'hypothèse de normalité, les estimateurs du maximum de vraisemblance (MLE) sont les mêmes que les estimateurs des moindres carrés et les MLE ont la propriété d'être UMVUE, ce qui signifie qu'ils ont une variance minimale entre tous les estimateurs.

$\beta_0\\$$\beta_1\\$$t$