Fonctions d'influence et OLS

J'essaie de comprendre comment fonctionnent les fonctions d'influence. Quelqu'un pourrait-il expliquer dans le contexte d'une simple régression OLS

$$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$$

où je veux la fonction d'influence pour .$\beta$

Les fonctions d'influence sont essentiellement un outil analytique qui peut être utilisé pour évaluer l'effet (ou "influence") de la suppression d'une observation sur la valeur d'une statistique sans avoir à recalculer cette statistique . Ils peuvent également être utilisés pour créer des estimations de variance asymptotique. Si l'influence est égale à variance asymptotique est .I $I$$\frac{I^2}{n}$

La façon dont je comprends les fonctions d'influence est la suivante. Vous avez une sorte de CDF théorique, noté . Pour les OLS simples, vous avez$F_{i}(y)=Pr(Y_{i}<y_{i})$

$$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$$ Où est le CDF normal standard, et est la variance d'erreur. Vous pouvez maintenant montrer que toute statistique sera une fonction de ce CDF, d'où la notation (c'est-à-dire une fonction de ). Supposons maintenant que nous modifions la fonction F d'un "petit peu", en F ( i ) ( z ) = ( 1 + ζ ) F ( z ) - ζ δ ( i )$\Phi(z)$$\sigma^2$$S(F)$$F$$F$ Où δ i ( z ) = I ( y i < z ) et ζ = $F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$$\delta_{i}(z)=I(y_{i}<z)$ . AinsiF(i)représente le CDF des données avec le "ième" point de données supprimé. On peut faire une série taylor deF(i)(z)surζ=0. Cela donne:$\zeta=\frac{1}{n-1}$$F_{(i)}$$F_{(i)}(z)$$\zeta=0$

$$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$$

Notez que donc nous obtenons: S [ F ( i ) ( z , ζ ) ] ≈ S [ F ( z ) ] + ζ [ ∂ S [ F ( i ) ( z , ζ ) $F_{(i)}(z,0)=F(z)$

$$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$$

La dérivée partielle est appelée ici la fonction d'influence. Cela représente donc une correction approximative de "premier ordre" à apporter à une statistique en raison de la suppression de la "ième" observation. Notez que dans la régression, le reste ne va pas à zéro de façon asymétrique, de sorte qu'il s'agit d'une approximation des changements que vous pouvez réellement obtenir. Maintenant écrivez comme:$\beta$

$$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$$

Ainsi, le bêta est fonction de deux statistiques: la variance de X et la covariance entre X et Y. Ces deux statistiques ont des représentations en termes de CDF comme:

et v a r ( X ) = ∫ ( X - μ x ( F ) ) 2 d F où μ x = ∫ x d

$$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$$ $$var(X)=\int(X-\mu_x(F))^{2}dF$$ $$\mu_x=\int xdF$$

$F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

$$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$$ $$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$$

$\zeta^{2}$

$$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$$ $$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$$

$\beta_{(i)}$$\zeta$

$$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$$

Nous pouvons maintenant utiliser la série Taylor:

$$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$$

Simplifier cela donne:

$$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$$

$\mu_y$$\mu_x$$var(X)$$\zeta=\frac{1}{n-1}$

$$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$$

$\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

$$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$$

Voici une façon super générale de parler des fonctions d'influence d'une régression. Je vais d'abord aborder une façon de présenter les fonctions d'influence:

$F$$\Sigma$$F_\epsilon(x)$

$$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$$ $\delta_x$$\Sigma$$\{x\}$$\Sigma$

À partir de cela, nous pouvons définir la fonction d'influence assez facilement:

$\hat{\theta}$$F$$\psi_i:\mathcal{X}\to\Gamma$

$$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$$

$\hat\theta$$F$$\delta_x$

L'estimation OLS est une solution au problème:

$$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$$

$(x,y)$

$$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$$

Prendre des conditions de première commande:

$$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$$

Puisque la fonction d'influence n'est qu'un dérivé de Gateaux, nous pouvons maintenant dire:

$$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$$

$\epsilon=0$$\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

$$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$$

L'échantillon fini de cette fonction d'influence est:

$$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$$

En général, je trouve ce cadre (travailler avec des fonctions d'influence comme dérivées de Gateaux) plus facile à gérer.