Régression linéaire avec bruit de grenaille

Je cherche la bonne terminologie statistique pour décrire le problème suivant.

Je veux caractériser un appareil électronique qui a une réponse linéaire

$Y = \beta_0 + \beta_1 X + \epsilon$

où $\epsilon \sim N(0,\sigma^2_{ro})$ est un terme dû au bruit de lecture de l'appareil. Afin de déterminer $\beta_0, \beta_1, \sigma^2_{ro}$ Je mesurerais une série de réponses $\{X_i,Y_i\}$ et appliquez la boîte à outils de régression linéaire standard. Mais je ne sais pas $X_i$ sont exactement, car j'utilise une source qui est affectée par le bruit de tir. C'est-à-dire que je sais que si je règle le cadran de la source sur une certaine valeur $J_i$ puis $X_i \sim N(\mu, \mu)$ (un gaussien avec une moyenne $\mu$ et variance $\mu$ ).

Cela ressemble à un modèle d'erreurs dans les variables de régression linéaire ( http://en.wikipedia.org/wiki/Errors-in-variables_models ), sans le fait que pour caractériser mon appareil sur toute sa plage d'entrée , pendant les mesures, je dois changer la valeur de $J_i$ , et maintenant la variance du $X_i$ n'est pas fixe, mais cela dépend $X_i$ (par J_i), bien qu'en raison du bruit de tir si $X_i=X_j$ cela ne signifie pas que la variance de $X_i$ est la même que la variance de $X_j$ .

Comment s'appelle ce modèle et y a-t-il des articles où je peux découvrir qu'un tel problème est abordé? Ou est-ce que je formule mal?

regression maximum-likelihood heteroscedasticity errors-in-variables GVstats
la source

Var (Xi) = μ = E (Xi)> 0. Si cela était corrigé, ce serait une erreur dans le modèle de variables avec un rapport de variance σ

^{2}

$^2$

_{r} o

$_ro$ / μ. Ce n'est pas parce que μ change avec le Xi. J'ai vu des modèles avec variance non constante en Y et des modèles avec des erreurs dans les variables mais pas ce type de modèle qui a des erreurs dans les variables avec une variance non constante. Lorsque la variance dans Y n'est pas constante, il est parfois possible de modéliser la variance en fonction de la valeur de la covariable x. Peut-être que quelque chose comme ça pourrait être fait pour l'erreur dans X.

Michael R. Chernick

Réponses:

Le modèle de probabilité pour un tel bruit de tir est

X \sim Poisson (μ), Y | X \sim Normal (β_{0} + β_{1} X, σ^{2}) .

$X \sim \text{Poisson}(\mu),\quad Y|X \sim \text{Normal}(\beta_0+\beta_1 X, \sigma^2).$

Une bonne estimation de $\mu$ est la moyenne de $X$ et une bonne estimation de $(\beta_0, \beta_1)$ est fourni par les moindres carrés ordinaires, car les valeurs de $Y$ sont supposés indépendants, identiques et normaux.

L'estimation de $\sigma^2$ donné par OLS est inapproprié ici, cependant, en raison du caractère aléatoire de $X$ . L'estimation du maximum de vraisemblance est

s^{2} = \frac{S_{x y}^{2} - 2 S_{x} S_{y} S_{x y} + S_{x x} (S_{y}^{2} - S_{y y}) + S_{x}^{2} S_{y y}}{S_{x}^{2} - S_{x x}} .

$s^2 = \frac{S_{xy}^2 - 2 S_x S_y S_{xy} + S_{xx}\left(S_y^2 - S_{yy}\right) + S_x^2 S_{yy}}{S_x^2 - S_{xx}}.$

Dans cette notation, $S_x$ est la moyenne $X$ valeur, $S_{xy}$ est la moyenne des produits de la $X$ et $Y$ valeurs, etc.

Nous pouvons nous attendre à ce que les erreurs d'estimation standard dans les deux approches (OLS, qui n'est pas tout à fait raison, et MLE comme décrit ici) diffèrent . Il existe différentes manières d'obtenir les erreurs standard ML: consultez une référence. Parce que la probabilité logarithmique est relativement simple (en particulier lorsque le Poisson $(\mu)$ la distribution est approximée par un Normal $(\mu,\mu)$ distribution pour les grands $\mu$ ), ces erreurs standard peuvent être calculées sous forme fermée si l'on le souhaite.

Par exemple, j'ai généré $12$ $X$ valeurs d'un Poisson $(100)$ Distribution:

94,99,106,87,91,101,90,102,93,110,97,123

Ensuite, en définissant $\beta_0=3$ , $\beta_1=1/2$ , et $\sigma=1$ , J'ai généré $12$ correspondant $Y$ valeurs:

47.4662,53.5622,54.6656,45.3592,49.0347,53.8803,48.3437,54.2255,48.4506,58.6761,50.7423,63.9922

La moyenne $X$ la valeur est égale $99.4167$ , l'estimation de $\mu$ . Les résultats OLS (identiques aux MLE des coefficients) estiment $\beta_0$ comme $1.24$ et $\beta_1$ comme $0.514271$ . Il n'est pas surprenant de l'estimation de l'interception, $\beta_0$ , s'écarte de sa vraie valeur de $3$ , car ces $X$ les valeurs restent loin de l'origine. L'estimation de la pente, $\beta_1$ , est proche de la valeur réelle de $0.5$ .

L'estimation OLS de $\sigma^2$ est cependant $0.715$ , inférieur à la valeur réelle de $1$ . Le MLE de $\sigma^2$ fonctionne à $0.999351$ . (C'est un accident que les deux estimations soient faibles et que le MLE soit supérieur à l'estimation de l'OLS.)

La droite correspond à la fois à l'ajustement OLS et à l'estimation du maximum de vraisemblance pour le modèle de probabilité conjoint Poisson-Normal.

whuber
la source