Pourquoi la pénalité de Lasso est-elle équivalente à la double exponentielle (Laplace) antérieure?

J'ai lu dans un certain nombre de références que l'estimation de Lasso pour le vecteur de paramètre de régression est équivalente au mode postérieur de dans lequel la distribution antérieure pour chaque est une distribution exponentielle double (également connue sous le nom de distribution de Laplace).$B$$B$$B_i$

J'ai essayé de le prouver, quelqu'un peut-il étoffer les détails?

Pour simplifier, considérons une seule observation d'une variable $Y$ telle que

$\mu \sim \mbox{Laplace}(\lambda)$ et l'a priori impropre $f(\sigma) \propto \mathbb{1}_{\sigma>0}$ .

Alors la densité conjointe de $Y, \mu, \sigma^2$ est proportionnelle à

Prendre un log et éliminer les termes qui n'impliquent pas , log f ( Y , μ , σ 2 ) = - $\mu$

Ainsi le maximum de (1) sera une estimation MAP et est bien le problème de Lasso après avoir reparamétrisé . $\tilde \lambda = \lambda \sigma^2$

L'extension à la régression est claire - remplacer par X β dans la vraisemblance normale, et définir l'a priori sur β pour être une séquence de distributions indépendantes de laplace ( λ ) .$\mu$$X\beta$$\beta$$(\lambda)$

Cela est évident en examinant la quantité que le LASSO optimise.

Prenez l'a priori pour que soit Laplace indépendant avec un zéro moyen et une certaine échelle τ .$\beta_i$$\tau$

Donc .$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Le modèle des données est l'hypothèse de régression habituelle .$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Maintenant, moins deux fois le journal de la partie postérieure est de la forme

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Soit et on obtient - 2 log - postérieur de$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

L'estimateur MAP pour minimise ce qui précède, ce qui minimise$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

L'estimateur MAP pour est donc LASSO.$\beta$

(Ici, j'ai traité comme étant effectivement fixé, mais vous pouvez faire d'autres choses avec lui et toujours faire sortir LASSO.)$\sigma^2$

Edit: C'est ce que j'obtiens pour composer une réponse hors ligne; Je n'ai pas vu une bonne réponse a déjà été publiée par Andrew. Le mien ne fait vraiment rien de ce qu'il ne fait pas déjà. Je vais laisser le mien pour l'instant car il donne quelques détails supplémentaires sur le développement en termes de .$\beta$