Quelle fonction de perte est correcte pour la régression logistique?

J'ai lu deux versions de la fonction de perte pour la régression logistique, laquelle est correcte et pourquoi?

1. De Machine Learning , Zhou ZH (en chinois), avec :$\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$

   $$l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$$

2. De mon cours collégial, avec :$z_i = y_if(x_i)=y_i(w^Tx_i + b)$

   $$L(z_i)=\log(1+e^{-z_i}) \tag 2$$

---

Je sais que le premier est une accumulation de tous les échantillons et le second est pour un seul échantillon, mais je suis plus curieux de la différence sous la forme de deux fonctions de perte. D'une certaine manière, j'ai le sentiment qu'ils sont équivalents.

La relation est la suivante: $l(\beta) = \sum_i L(z_i)$ .

Définissez une fonction logistique comme $f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$ . Ils possèdent la propriété $f(-z) = 1-f(z)$ . Ou en d'autres termes:

$$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$$

Si vous prenez l'inverse des deux côtés, alors prenez le journal que vous obtenez:

$$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$$

Soustrayez $z$ des deux côtés et vous devriez voir ceci:

$$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$$

Modifier:

En ce moment, je cette réponse et je ne sais pas comment j'ai obtenu que soit égal à . Il y a peut-être une faute de frappe dans la question d'origine.$-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

Modifier 2:

Dans le cas où il n'y avait pas de faute de frappe dans la question d'origine, @ManelMorales semble correct pour attirer l'attention sur le fait que, lorsque , la fonction de masse de probabilité peut être écrite comme , en raison de la propriété que . Je le réécris différemment ici, car il introduit une nouvelle équivoque sur la notation . Le reste suit en prenant la log-vraisemblance négative pour chaque codage . Voir sa réponse ci-dessous pour plus de détails.$y \in \{-1,1\}$$P(Y_i=y_i) = f(y_i\beta^Tx_i)$$f(-z) = 1 - f(z)$$z_i$$y$

OP croit à tort que la relation entre ces deux fonctions est due au nombre d'échantillons (c.-à-d. Un seul vs tous). Cependant, la différence réelle est simplement la façon dont nous sélectionnons nos étiquettes de formation.

Dans le cas d'une classification binaire, nous pouvons attribuer les étiquettes ou .$y=\pm1$$y=0,1$

Comme cela a déjà été dit, la fonction logistique est un bon choix car elle a la forme d'une probabilité, c'est-à-dire et comme . Si nous choisissons les étiquettes nous pouvons attribuer $\sigma(z)$$\sigma(-z)=1-\sigma(z)$$\sigma(z)\in (0,1)$$z\rightarrow \pm \infty$$y=0,1$

$$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$$

qui peut être écrit de manière plus compacte comme .$\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$

Il est plus facile de maximiser la probabilité de journalisation. Maximiser la log-vraisemblance équivaut à minimiser la log-vraisemblance négative. Pour échantillons , après avoir pris le logarithme naturel et quelques simplifications, nous découvrirons:$m$$\{x_i,y_i\}$

$$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$$

Une dérivation complète et des informations supplémentaires peuvent être trouvées sur ce carnet jupyter . D'un autre côté, nous avons peut-être plutôt utilisé les étiquettes . Il est alors assez évident que nous pouvons attribuer$y=\pm 1$

$$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$$

Il est également évident que . En suivant les mêmes étapes que précédemment, nous minimisons dans ce cas la fonction de perte$\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$

$$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$$

Où la dernière étape suit après que nous prenons l'inverse qui est induit par le signe négatif. Bien que nous ne devrions pas assimiler ces deux formes, étant donné que dans chaque forme, prend des valeurs différentes, ces deux formes sont néanmoins équivalentes:$y$

$$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$$

Le cas est trivial à montrer. Si , alors sur le côté gauche et sur le côté droit.$y_i=1$$y_i \neq 1$$y_i=0$$y_i=-1$

Bien qu'il puisse y avoir des raisons fondamentales pour lesquelles nous avons deux formes différentes (voir Pourquoi il y a deux formulations / notations de pertes logistiques différentes ), une des raisons de choisir la première est pour des considérations pratiques. Dans le premier, nous pouvons utiliser la propriété pour calculer trivialement et , les deux étant nécessaires pour l'analyse de convergence (c'est-à-dire pour déterminer la convexité de la fonction de perte en calculant la Hesse ).$\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$$\nabla l(z)$$\nabla^2l(z)$

J'ai appris la fonction de perte pour la régression logistique comme suit.

La régression logistique effectue une classification binaire, et donc les sorties d'étiquette sont binaires, 0 ou 1. Soit la probabilité que la sortie binaire soit 1 étant donné le vecteur de caractéristique d'entrée . Les coefficients sont les poids que l'algorithme essaie d'apprendre.$P(y=1|x)$$y$$x$$w$

$$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$$

La régression logistique étant binaire, la probabilité est simplement de 1 moins le terme ci-dessus.$P(y=0|x)$

$$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$$

La fonction de perte est la somme de (A) la sortie multipliée par et (B) de la sortie multipliée par pour un exemple d'apprentissage, additionnée plus de exemples de formation.$J(w)$$y=1$$P(y=1)$$y=0$$P(y=0)$$m$

$$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$$

où indique l' étiquette dans vos données d'entraînement. Si une instance d'apprentissage a une étiquette de , alors , en laissant le sommet gauche en place mais en faisant le sommet droit avec devenir . D'un autre côté, si une instance d'apprentissage a , alors le sommet droit avec le terme reste en place, mais le sommet gauche devient . La probabilité logarithmique est utilisée pour faciliter le calcul.$y^{(i)}$$i^{th}$$1$$y^{(i)}=1$$1-y^{(i)}$$0$$y=0$$1-y^{(i)}$$0$

Si nous remplaçons alors et par les expressions précédentes, alors nous obtenons:$P(y=1)$$P(y=0)$

$$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$$

Vous pouvez en savoir plus sur ce formulaire dans ces notes de cours de Stanford .

Au lieu de l'erreur quadratique moyenne, nous utilisons une fonction de coût appelée entropie croisée, également connue sous le nom de perte de journal. La perte d'entropie croisée peut être divisée en deux fonctions de coût distinctes: une pour y = 1 et une pour y = 0.

$$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$$

Lorsque nous les assemblons, nous avons:

$$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$$

La multiplication par et dans l'équation ci-dessus est une astuce sournoise qui nous permet d'utiliser la même équation pour résoudre à la fois les cas et . Si , le premier côté s'annule. Si , le deuxième côté s'annule. Dans les deux cas, nous n'effectuons que l'opération que nous devons effectuer.$y$$(1−y)$$y=1$$y=0$$y=0$$y=1$

Si vous ne voulez pas utiliser de forboucle, vous pouvez essayer une forme vectorisée de l'équation ci-dessus

$$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$$

L'explication complète peut être consultée sur Cheatsheet Machine Learning .