Gradient pour la fonction de perte logistique

Je voudrais poser une question liée à celle-ci .

J'ai trouvé un exemple d'écriture d'une fonction de perte personnalisée pour xgboost ici :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

La fonction de perte logistique est

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

où est log-odds et est labels (0 ou 1). $P$ $y$

Ma question est: comment obtenir un gradient (dérivée première) simplement égal à la différence entre les valeurs vraies et les probabilités prédites (calculées à partir des log-odds as preds <- 1/(1 + exp(-preds)))?

r machine-learning gradient-descent boosting loss-functions Ogurtsov
la source

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

p

$p$

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

Quand vous dites le "gradient", de quel gradient parlez-vous? Le gradient de la perte? C'est une relation mathématique simple que si la dérivée d'une expression est une différence linéaire, alors l'expression est une différence quadratique, ou une perte d'erreur quadratique.

AdamO

Oui, tout dépend du gradient de la perte. C'est simple, lorsque la fonction de perte est une erreur quadratique. Dans ce cas, la fonction de perte est une perte logistique ( en.wikipedia.org/wiki/LogitBoost ), et je ne trouve pas de correspondance entre le gradient de cette fonction et l'exemple de code donné.

Ogurtsov

Réponses:

Ma réponse à ma question: oui, on peut montrer que le gradient de perte logistique est égal à la différence entre les valeurs réelles et les probabilités prédites. Une brève explication a été trouvée ici .

Tout d'abord, la perte logistique est simplement une log-vraisemblance négative, nous pouvons donc commencer par l'expression de log-vraisemblance ( p. 74 - cette expression est log-vraisemblance elle-même, pas log-vraisemblance négative):

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Dérivée première obtenue à l'aide de Wolfram Alpha:

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

Après avoir changé de signe, nous avons l'expression du gradient de la fonction de perte logistique:

p_{i} - y_{i}

$p_{i}-y_{i}$

Ogurtsov
la source

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$