Quand utiliser la distribution de Student ou normale dans la régression linéaire?

10

Je regarde certains problèmes, et dans certains cas, pour tester les coefficients, parfois je vois des gens utiliser la distribution de Student, et parfois je vois une distribution normale. Quelle est la règle?

regression distributions hypothesis-testing Leo
la source

3

Ce n'est pas une réponse, mais notez que la distribution

s'approche de la distribution normale lorsque le paramètre de degrés de liberté

augmente. Au-delà de

, il n'y a pas de différence appréciable, en particulier dans la plupart des cadres de test d'hypothèses. Le comportement limite est "d'en haut" dans le sens où si

et

, alors

est stochastiquement plus grand que

.

t

$t$

ν

$\nu$

ν \geq 30

$\nu \geq 30$

T \sim t_{ν}

$T \sim t_{\nu}$

Z \sim N (0, 1)

$Z \sim \mathcal{N}(0,1)$

| T |

$|T|$

| Z |

$|Z|$

cardinal

15

La distribution normale est la grande distribution de l'échantillon dans de nombreux problèmes statistiques significatifs qui impliquent une certaine version du théorème central limite: vous avez (approximativement) des informations indépendantes qui sont additionnées pour arriver à la réponse. Si les estimations des paramètres sont asymptotiquement normales, leurs fonctions seront également asymptotiquement normales (dans les cas réguliers).

D'un autre côté, la distribution de Student est dérivée dans des conditions plus restrictives des erreurs de régression normales. Si vous pouvez acheter cette hypothèse, vous pouvez acheter la distribution utilisée pour tester l'hypothèse en régression linéaire. L'utilisation de cette distribution fournit des intervalles de confiance plus larges que l'utilisation de la distribution normale. La signification substantielle de cela est que dans de petits échantillons, vous devez estimer votre mesure d'incertitude, l'erreur quadratique moyenne de régression ou l'écart-type des résidus, . (Dans les grands échantillons, vous avez un peu plus d'informations que si vous le saviez, donc la distribution dégénère en distribution normale.) $t$ $t$ $\sigma$ $t$

Il existe des cas de régression linéaire, même avec des échantillons finis, où la distribution de Student ne peut pas être justifiée. Ils sont liés à des violations des conditions de second ordre sur les erreurs de régression; à savoir, qu'ils sont (1) à variance constante et (2) indépendants. Si ces hypothèses sont violées et que vous corrigez vos erreurs standard à l'aide de l' estimateur Eicker / White pour les résidus hétéroscédastiques, mais indépendants; ou estimateur de Newey-West pour les erreurs corrélées en série ou les erreurs standard groupéespour les données corrélées aux clusters, il est impossible de tirer une justification raisonnable de la distribution des étudiants. Cependant, en utilisant une version appropriée de l'argument de la normalité asymptotique (tableaux traingulaires et autres), vous pouvez justifier l'approximation normale (bien que vous devez garder à l'esprit que vos intervalles de confiance seraient très probablement trop étroits).

StasK
la source

1

(+1) J'adore l'implication, dans l'ouverture du troisième paragraphe, que la régression linéaire se fait avec des échantillons infinis (non "finis")!

whuber

@whuber: :) Dans mes livres, si c'est normal, ça doit s'appuyer sur le CLT ou quelque chose d'asymptotique. Sinon, cela a autant de sens que cela .

StasK

6

J'aime la représentation de la distribution de Student comme un mélange d'une distribution normale et d'une distribution gamma:

S t u ré e n t (X | μ, σ^{2}, ν) = \int_{0}^{\infty} N o r m une l (X | μ, \frac{σ^{2}}{ρ}) g une m m une (ρ | \frac{ν}{2}, \frac{ν}{2}) ré ρ

$Student(x|\mu,\sigma^2,\nu)=\int_{0}^{\infty}Normal\left(x|\mu,\frac{\sigma^2}{\rho}\right)Gamma\left(\rho|\frac{\nu}{2},\frac{\nu}{2}\right)d\rho$

Notez que la moyenne de la distribution gamma est et la variance de cette distribution est $E[\rho|\nu]=1$ . Nous pouvons donc considérer la distribution t comme généralisant l'hypothèse de variance constante à une hypothèse de variance "similaire". contrôle essentiellement la similitude avec laquelle nous autorisons les variances. Vous voyez également cela comme une régression "pondérée au hasard", car nous pouvons utiliser l'intégrale ci-dessus comme une représentation de "variable cachée" comme suit: $V[\rho|\nu]=\frac{2}{\nu}$ $\nu$

y_{je} = μ_{je} + \frac{e_{je}}{\sqrt{ρ_{je}}}

$y_i=\mu_i+\frac{e_i}{\sqrt{\rho_i}}$

Où et $e_i\sim N(0,\sigma^2)$ $\rho_i\sim Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)$ $Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)\sim \frac{1}{\nu}\chi^2_\nu$

$y_i-\mu_i$ $\sigma^2$ $\rho_i$ $\sigma^2$ $\rho_i$ $\rho_i$ $\mu_i=x_i^T\beta$ $\rho_i$ $\rho_i$

\hat{β} = (\sum_{je} ρ_{je} X_{je} X_{je}^{T})^{- 1} (\sum_{je} ρ_{je} X_{je} y_{je})

$\hat{\beta}=(\sum_i\rho_ix_ix_i^T)^{-1}(\sum_i\rho_ix_iy_i)$

$\rho_i$ $\rho_i$

Notez qu'il n'y a pas de «règle» pour décider de ces choses, bien que la mienne et d'autres réponses à cette question puissent être utiles pour trouver certains tests que vous pouvez faire le long du chemin de variance finie (l'élève t est une variance infinie pour des degrés de liberté inférieurs ou égaux à deux).

probabilitéislogique
la source

+1: cela semble correct, mais je ne pense pas que vous devriez dire un mélange d'une distribution normale et d'une distribution gamma, mais plutôt une distribution composée normale-gamma-normale et motiver cette construction en disant que la distribution normale-gamma est la conjugué avant la distribution normale (paramétré par moyenne et précision).

Neil G

Ouais, point pris sur le mélange - bien que je ne puisse pas penser à un moyen non maladroit de le corriger en ce moment. Notez que cette forme n'est pas unique aux distributions conjuguées - par exemple, si nous remplaçons le pdf gamma par un pdf exponentiel inversé, nous obtenons la distribution de laplace. Cela conduit à des «écarts les moins absolus» au lieu des moindres carrés comme une forme de robustification de la distribution normale. D'autres distributions conduiraient à d'autres «robustifications» - peut-être pas aussi joliment analytiques que les étudiants.

probabilités

\frac{X}{\sqrt{(U / ν)}}

${\frac {X}{\sqrt {(U/\nu )}}}$

Quand utiliser la distribution de Student ou normale dans la régression linéaire?

Réponses: