Pourquoi existe-t-il deux formules / notations de pertes logistiques différentes?

J'ai vu deux types de formulations de pertes logistiques. On peut facilement montrer qu'ils sont identiques, la seule différence est la définition de l'étiquette $y$ .

Formulation / notation 1, $y \in \{0, +1\}$ :

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

où $p=\frac 1 {1+\exp(-\beta^Tx)}$ , où la fonction logistique mappe un nombre réel $\beta^T x$ à 0,1 intervalle.

Formulation / notation 2, $y \in \{-1, +1\}$ :

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Choisir une notation, c'est comme choisir une langue, il y a des avantages et des inconvénients à utiliser l'une ou l'autre. Quels sont les avantages et les inconvénients de ces deux notations?

Mes tentatives pour répondre à cette question est qu'il semble que la communauté des statistiques aime la première notation et la communauté informatique aime la deuxième notation.

La première notation peut être expliquée par le terme "probabilité", car la fonction logistique transforme un nombre réel $\beta^Tx$ en intervalle 0,1.
Et la deuxième notation est plus concise et plus facile à comparer avec une perte de charnière ou une perte de 0-1.

Ai-je raison? D'autres idées?

logistic generalized-linear-model notation loss-functions Haitao Du
la source

Je suis sûr que cela a déjà dû être demandé plusieurs fois. Par exemple, stats.stackexchange.com/q/145147/5739

StasK

Pourquoi dites-vous que la deuxième notation est plus facile à comparer à la perte de charnière? Tout simplement parce qu'il est défini sur

au lieu de

, ou autre chose?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

shadowtalker

J'aime un peu la symétrie de la première forme, mais la partie linéaire est enterrée assez profondément, donc il peut être difficile de travailler avec.

Matthew Drury

@ssdecontrol veuillez vérifier cette figure, cs.cmu.edu/~yandongl/loss.html où l'axe x est

, et l'axe y est la valeur de perte. Une telle définition est pratique à comparer avec une perte de 01, une perte de charnière, etc.

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

Haitao Du

Réponses:

La version courte

La version longue

La bonne chose à propos de la modélisation mathématique est qu'elle est flexible. Ce sont en effet des fonctions de perte équivalentes, mais elles dérivent de modèles sous-jacents très différents des données.

Formule 1

La première notation dérive d'un modèle de probabilité de Bernoulli pour , qui est conventionnellement défini sur . Dans ce modèle, le résultat / étiquette / classe / prédiction est représenté par une variable aléatoire qui suit une distribution . Par conséquent, sa probabilité est: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

pour . L'utilisation de 0 et 1 comme valeurs d'indicateur nous permet de réduire la fonction par morceaux à l'extrême droite à une expression concise. $p\in[0, 1]$

Comme vous l'avez souligné, vous pouvez ensuite lier à une matrice de données d'entrée en laissant . De là, une manipulation algébrique simple révèle que est le même que le premier dans votre question (indice: ). Donc, minimiser la perte de journal sur $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ équivaut à l'estimation du maximum de vraisemblance d'un modèle de Bernoulli. $\{0, 1\}$

Cette formulation est également un cas particulier du modèle linéaire généralisé , qui est formulé comme pour une fonction inversible et différenciable et une distribution dans la famille exponentielle . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Formule 2

En fait .. Je ne connais pas la Formule 2. Cependant, définir sur est standard dans la formulation d'une machine à vecteurs de support . Le montage d'un SVM correspond à la maximisation de $y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

Il s'agit de la forme lagrangienne d'un problème d'optimisation contraint. C'est aussi un exemple d'un problème d'optimisation régularisé avec la fonction objectif Pour une certaine fonction de perte et un hyperparamètre scalaire qui contrôle la quantité de régularisation (également appelée "rétrécissement") appliquée à . La perte de charnière n'est qu'une des nombreuses possibilités de chute pour , qui incluent également le deuxième

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

dans votre question.

L (y, β^{T} x)

$L(y, \beta^Tx)$

shadowtalker
la source

En Formule 1, ne devrait-il pas être:

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

glebm

Je pense que @ssdecontrol a eu une très bonne réponse. Je veux juste ajouter quelques commentaires sur la formule 2 pour ma propre question.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

La raison pour laquelle les gens aiment cette formulation est qu'elle est très concise et qu'elle supprime les "détails d'interprétation des probabilités".

$\hat y$ $y$ $\hat y$ est un nombre réel ici. Par rapport à la formulation 1, nous avons besoin de deux étapes supplémentaires pour passer à l'étiquette discrète, étape 1. fonction sigmod étape 2. appliquer un seuil de 0,5.

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

$y \cdot \hat y$ $\hat y$ est un nombre réel, et ce nombre peut provenir d'une forme linéaire $\beta^Tx$ ou d'autres formes. Une telle notation cache les détails de probabilité.

Haitao Du
la source

Je vois ce que vous entendez par comparaison facile

shadowtalker