Pourquoi la régression logistique produit-elle des modèles bien calibrés?

Je comprends que l'une des raisons pour lesquelles la régression logistique est fréquemment utilisée pour prédire les taux de clics sur le Web est qu'elle produit des modèles bien calibrés. Y a-t-il une bonne explication mathématique à cela?

regression logistic lsankar4033
la source

régression logistique faite pour prédire les probabilités -> qui conduisent à des prédictions calibrées sinon sur-ajustées. alors que la plupart des modèles d'apprentissage automatique ne prédisent pas les probabilités, mais plutôt des classes - et il y a une certaine contorsion aux pseudo-probabilités dérivées de ces prédictions -> d'où une note bien calibrée

charles

J'aurais dû clarifier la question, mais ma question portait davantage sur la raison pour laquelle LR est si utile pour prédire les probabilités.

lsankar4033

Il convient de noter que vous pouvez simplement ajuster une régression logistique à la sortie d'un classificateur mal calibré pour obtenir un modèle calibré. Cela s'appelle Platt Scaling en.wikipedia.org/wiki/Platt_scaling

generic_user

Réponses:

Oui.

Le vecteur de probabilité prédit de la régression logistique satisfait l'équation de la matrice $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

Où est la matrice de conception et $X$ est le vecteur de réponse. Ceci peut être considéré comme un ensemble d'équations linéaires, une provenant de chaque colonne de la matrice de plan . $y$ $X$

Spécialisée dans la colonne d'interception (qui est une ligne de la matrice transposée), l'équation linéaire associée est

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

la probabilité globale prédite moyenne est donc égale à la moyenne de la réponse.

Plus généralement, pour une colonne d' binaire $x_{ij}$ , l'équation linéaire associée est

\sum_{i} x_{i j} (p_{i} - y_{i}) = \sum_{i ∣ x_{i j} = 1} (p_{i} - y_{i}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

la somme (et donc la moyenne) des probabilités prédites est égale à la somme de la réponse, même en se spécialisant dans les enregistrements pour lesquels . $x_{ij} = 1$

Matthew Drury
la source

@MatthewDrury comment puis-je interpréter votre première équation? est

de la forme

? Néanmoins cette relation linéaire est vraie? Je vous remercie!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

Ric

Oui, p est de cette forme. La première équation vient de la mise à zéro de la dérivée de la fonction de perte.

Matthew Drury

Cela ne concerne que l'étalonnage dans le grand qui n'est pas ce que nous voulons: l'étalonnage dans le petit.

Frank Harrell

@FrankHarrell Vous voulez élaborer? Je n'ai jamais entendu ces termes auparavant.

Matthew Drury

Il y a une longue histoire dans la littérature sur les prévisions de probabilité datant du US Weather Service 1950 - c'est là que le score Brier a été utilisé pour la première fois. L'étalonnage dans le petit signifie que si l'on examine les risques prévus de 0,01, 0,02, ..., 0,99, chacun d'eux est exact, c'est-à-dire que pour toutes les périodes où le risque prévu était de 0,4, le résultat est arrivé à environ 0,4 de le temps. J'appelle "l'étalonnage dans le minuscule" l'étape suivante: pour les hommes où la prédiction était de 0,4, le résultat était présent 0,4 du temps, puis pour les femmes.

Frank Harrell

Je pense que je peux vous fournir une explication facile à comprendre comme suit:

On sait que sa fonction de perte peut s'exprimer comme la fonction suivante:

J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
Oùmreprésente le nombre de tous les échantillons d'apprentissage,

y^{(i)}

$y^{(i)}$ l'étiquette du ième échantillon,

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$ la probabilité prédite du ième échantillon:

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$ . (remarquez le biais

α

$\alpha$ ici)

Le but de la formation étant de minimiser la fonction de perte, évaluons sa dérivée partielle par rapport à chaque paramètre $\theta_j$ (la dérivation détaillée se trouve ici ):

\frac{\partial J (θ)}{\partial θ_{j}} = \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x^{(i)}) - y^{(i)}] x_{j}^{(i)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$
Et le mettre à zéro yeils:

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{j}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{j}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Cela signifie que si le modèle est entièrement formé, les probabilités prédites que nous obtenons pour l'ensemble d'apprentissage se répartissent de sorte que pour chaque caractéristique, la somme des valeurs pondérées (toutes) de cette caractéristique soit égale à la somme des valeurs de cette caractéristique des échantillons positifs.

Ce qui précède s'adapte à toutes les fonctionnalités afin que le biais $\alpha$ . Fixer $x_0$ à 1 et $\alpha$ à $\theta_0$ yeilds:

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{0}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{0}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{i = 1}^{m} p^{(i)} = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

On voit bien que la régression logistique est bien calibrée.

Référence: modèles log-linéaires et champs aléatoires conditionnels par Charles Elkan

Lerner Zhang
la source