Comment former une régression (logistique?) Dans R en utilisant la fonction de perte L1?

Je peux former une régression logistique en Rutilisant

glm(y ~ x, family=binomial(logit)))

mais, IIUC, cela optimise la vraisemblance logarithmique.

Existe-t-il un moyen de former le modèle en utilisant la fonction de perte linéaire ( $L_1$ ) (qui dans ce cas est la même que la distance de variation totale )?

C'est-à-dire, étant donné un vecteur numérique $x$ et un vecteur bit (logique) $y$ , je veux construire une fonction monotone (en fait croissante) $f$ telle que $\sum |f(x)-y|$ est minimisé.

Voir également

Comment former une régression logistique en R à l'aide de la fonction de perte L1?

logistic sds
la source

Ce que vous voulez n'existe pas, et pour être franc, cela n'a pas beaucoup de sens. Nous pouvons discuter d'alternatives mais vous devez indiquer plus en détail ce que vous essayez de faire. Pourquoi voulez-vous adapter un modèle logistique avec une perte L1?

user603

@ user603: Parce que je veux évaluer mon modèle en utilisant TVD

sds

Vous semblez parler d'ajuster une courbe logistique aux données, plutôt que d'ajuster des données à distribution binomiale - c'est-à-dire une forme de régression non linéaire , mais en utilisant la norme

plutôt que

. En effet, la fonction de perte

suggère que le maximum n'est pas

(si tel est le cas, il fait référence au GLM binomial trompeur). En revanche, si elle est vraiment limitée à 0-1, la fonction de perte n'a pas de sens. Pouvez-vous donner des détails sur votre situation actuelle, s'il vous plaît?

L_{1}

$L_1$

L_{2}

$L_2$

\sum | f (x) - y |

$\sum |f(x)-y|$

1

$1$

Glen_b -Reinstate Monica

Veuillez noter que l' aide vous demande de ne pas publier la même question sur plusieurs sites, mais de choisir plutôt un seul site. Si vous changez plus tard d'avis sur le meilleur site, signalez-le à l'attention du modérateur et demandez-lui de le déplacer.

Glen_b -Reinstate Monica

@Glen_b: Je pense que le "vecteur b (logique) y" implique une réponse 0/1.

sds

Réponses:

Ce que vous voulez faire n'existe pas car il est, faute d'un meilleur mot, mathématiquement défectueux.

Mais d'abord, je soulignerai pourquoi je pense que les prémisses de votre question sont valables. J'essaierai ensuite d'expliquer pourquoi je pense que les conclusions que vous en tirez reposent sur une mauvaise compréhension du modèle logistique et, enfin, je proposerai une approche alternative.

Je noterai vosobservations (les lettres les plus audacieuses désignent des vecteurs) qui se trouvent dans l'espace dimensionnel(la première entrée de $\{(\pmb x_i,y_i)\}_{i=1}^n$ $n$ $p$ est 1) avec,et $\pmb x_i$ $p<n$ $y_i\in [0,1]$ est une fonction monotone de $f(\pmb x_i)= f(\pmb x_i'\pmb\beta)$ , disons comme lacourbe logistiquepour fixer les idées. Par commodité, je suppose simplement que estsuffisammentgrand par rapport à . $\pmb x_i'\pmb\beta$ $n$ $p$

Vous avez raison de dire que si vous avez l'intention d'utiliser TVD comme critère pour évaluer le modèle ajusté, alors il est raisonnable de s'attendre à ce que votre ajustement optimise ce même critère parmi tous les candidats possibles, sur vos données. Par conséquent

β β^{*} = \underset{β β \in R^{p}}{\arg min} | | y y - F (X X_{je}^{'} β β) | |_{1}

$\pmb\beta^*=\underset{\pmb\beta\in\mathbb{R}^{p}}{\arg\min}\;\;\;\;\;||\pmb y-f(\pmb x_i'\pmb\beta)||_1$

Le problème est le terme d'erreur : et si nous appliquons $\epsilon_i=y_i-f(\pmb x_i'\pmb\beta)$ (nous voulons simplement que notre modèle soit asymptotiquementnon biaisé), alors, doitêtrehétéroscédastique. En effet, ne peut prendre que deux valeurs, 0 et 1. Par conséquent, étant donné $E(\pmb\epsilon)=0$ $\epsilon_i$ $y_i$ , ne peut également prendre que deux valeurs: $\pmb x_i$ $\epsilon_i$ lorsque , ce qui se produit avec la probabilité $1-f(\pmb x_i'\pmb\beta)$ $y_i=1$ , et $f(\pmb x_i'\pmb\beta)$ lorsque , ce qui se produit avec la probabilité $-f(\pmb x_i'\pmb\beta)$ $y_i=1$ $1-f(\pmb x_i'\pmb\beta)$ .

Ensemble, ces considérations impliquent que:

var (ϵ ϵ) = E (ϵ ϵ^{2}) = (1 - F (X X^{'} β β))^{2} F (X X^{'} β β) + (- F (X X^{'} β β))^{2} (1 - F (X X^{'} β β)) = (1 - F (X X^{'} β β)) F (X X^{'} β β) = E (y y | X X) E (1 - y y | X X)

$\text{var}(\pmb\epsilon)=E(\pmb\epsilon^2)=(1-f(\pmb x'\pmb\beta))^2f(\pmb x'\pmb\beta)+(-f(\pmb x'\pmb\beta))^2(1-f(\pmb x'\pmb\beta))\\ \;\;\;\;\;\;\;\;\;\;\;\;\;=(1-f(\pmb x'\pmb\beta))f(\pmb x'\pmb\beta)=E(\pmb y|\pmb x)E(1-\pmb y|\pmb x)$

d'où n'est pas constant mais en forme de parabole concave et est maximisé lorsque $\text{var}(\pmb\epsilon)$ est tel que $\pmb x$ . $E(y|\pmb x)\approx .5$

Cette hétéroscédasticité inhérente des résidus a des conséquences . Cela implique entre autres que lorsque vous minimisez la fonction de perte , vous surpondérez asymptotiquement une partie de votre échantillon. Autrement dit, le ajusté $l_1$ ne correspond pas du tout aux données, mais seulement à la partie de celles-ci qui est regroupée autour des endroits où $\pmb\beta^*$ est tel que $\pmb x$ . À savoir, ce sontles points de données les moins informatifs de votre échantillon: ils correspondent aux observations pour lesquelles la composante de bruit est la plus importante. Par conséquent, votre ajustement est tiré vers $E(\pmb y|\pmb x)\approx .5$ , p.ex. rendu non pertinent. $\pmb\beta^*=\pmb\beta:f(\pmb x'\pmb\beta)\approx .5$

Une solution, comme il ressort de l'exposé ci-dessus, consiste à supprimer l'exigence de non-impartialité. Une façon populaire de biaiser l'estimateur (avec une interprétation bayésienne jointe) est d'inclure un terme de rétrécissement. Si nous redimensionnons la réponse:

y_{je}^{+} = 2 (y_{je} - .5), 1 \leq je \leq n

$y^+_i=2(y_i-.5),1\leq i\leq n$

et, pour des raisons de calcul, remplacer par une autre fonction monotone $f(\pmb x'\pmb\beta)$ --il sera commode pour la suite pour désigner la première composante du vecteur de paramètretant que et le reste les $g(\pmb x,[c,\pmb\gamma])=\pmb x'[c,\pmb\gamma]$ $c$ $p-1$ $\pmb\gamma$ $||\pmb\gamma||_2$

[c^{*}, γ γ^{*}] = \underset{[[c, γ γ] \in R^{p}}{\arg min} \sum_{je = 1}^{n} max (0, 1 - y_{je}^{+} X X_{je}^{'} [[c, γ γ]) + \frac{1}{2} | | γ γ | |_{2}

$[c^*,\pmb\gamma^{*}]=\underset{\pmb[c,\pmb\gamma]\in\mathbb{R}^{p}}{\arg\min}\;\;\sum_{i=1}^n\max(0,1-y_i^+\pmb x_i'\pmb[c,\pmb\gamma])+\frac{1}{2}||\pmb\gamma||_2$

$\pmb x'\pmb[c,\gamma]$ pour un mal classé - comme dans le $l_1$ perte. le $[c^*,\pmb\gamma^*]$ solution à ce deuxième problème d'optimisation sont les célèbres coefficients svm linéaires (avec séparation parfaite). Contrairement à la $\pmb\beta^*$ , il est logique d'apprendre ces $[c^*,\pmb\gamma^{*}]$ à partir des données avec une pénalité de type TVD («type» en raison du terme de biais). Par conséquent, cette solution est largement mise en œuvre. Voir par exemple le package R LiblineaR .

user603
la source

J'aimerais pouvoir te donner plus de 25 points :-)

sds

@sds; merci: c'était une excellente question :) Je reviendrai dans la journée et remplirai les détails, corrigera quelques fautes de frappe.

user603

Je ne sais pas pourquoi vous voudriez utiliser la perte L1 pour quelque chose contraint entre 0 et 1. Selon votre objectif, vous voudrez peut-être envisager quelque chose comme la perte de charnière, qui est similaire à la perte L1 dans une direction et à plat dans l'autre.

Dans tous les cas, le code ci-dessous devrait faire ce que vous avez demandé. Notez que la réponse optimale est fondamentalement une fonction pas à pas.

set.seed(1)

# Fake data
x = seq(-1, 1, length = 100)
y = rbinom(100, plogis(x), size = 1) # plogis is the logistic function

# L1 loss
loss = function(y, yhat){
  sum(abs(y - yhat))
}

# Function to estimate loss associated with a given slope & intercept
fn = function(par){
  a = par[1]
  b = par[2]
  loss(y = y, yhat = plogis(a + b * x))
}

# Find the optimal parameters
par = optim(
  par = c(a = 0, b = 0),
  fn = fn
)$par

# Plot the results
plot(y ~ x)
curve(plogis(par[1] + par[2] * x), add = TRUE, n = 1000)

David J. Harris
la source

Vous pouvez utiliser le package glmnet pour adapter les modèles L1, L2. Il ne se limite pas à la régression logistique mais l'inclut.

Voici la vignette: http://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html

Il existe également un webminar: https://www.youtube.com/watch?v=BU2gjoLPfDc

Liblinear est bon, mais j'ai trouvé glmnet plus facile à démarrer. Glmnet comprend une fonction qui effectue une validation croisée et sélectionne un paramètre de régularisation pour vous en fonction de différentes métriques telles que l'AUC.

Concernant la théorie, je lirais l'article de tibshiarini concernant le lasso (régularisation L1) et le chapitre sur les éléments de l'apprentissage statistique. http://statweb.stanford.edu/~tibs/lasso/lasso.pdf

À propos de la perte de journal, c'est juste pour évaluer les modèles. Ce n'est pas une fonction de perte pour l'ajustement du modèle.

marbel
la source