Régression linéaire avec erreurs de Laplace

Considérons un modèle de régression linéaire:

$$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$$ où $\varepsilon _i \sim \mathcal L(0, b)$ , c'est-à-dire , La distribution de Laplace avec $0$ moyenne et paramètre d'échelle $b$ , sont tous indépendants les uns des autres. Considérons une estimation de vraisemblance maximale d'un paramètre inconnu $\boldsymbol \beta$ : $$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$ à partir de laquelle $$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$

Comment trouver une distribution des résidus $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ dans ce modèle?

Les résidus (en fait appelés erreurs) sont supposés être distribués aléatoirement avec une distribution exponentielle double (distribution de Laplace). Si vous ajustez ces points de données x et y, faites-le numériquement. Vous calculez d'abord beta-hat_ML pour ces points dans leur ensemble en utilisant la formule que vous avez publiée ci-dessus. Cela déterminera une ligne à travers les points. Ensuite, soustrayez la valeur y de chaque point de la valeur y de la ligne à cette valeur x. C'est le résidu pour ce point. Les résidus de tous les points peuvent être utilisés pour construire un histogramme qui vous donnera la distribution des résidus.

Il y a un bon article mathématique à ce sujet par Yang (2014) .

--Lee