Une régression logistique maximisant la vraisemblance maximise-t-elle aussi nécessairement l'ASC par rapport aux modèles linéaires?

Étant donné un ensemble de données avec des résultats binaires $y\in\{0,1\}^n$ et une matrice prédictive $X\in\mathbb{R}^{n\times p}$ , le modèle de régression logistique standard estime les coefficients $\beta_{MLE}$ qui maximisent la vraisemblance binomiale. Lorsque $X$ est de rang complet $\beta_{MLE}$ est unique; lorsque la séparation parfaite n'est pas présente, elle est finie.

Ce modèle de maximum de vraisemblance maximise-t-il également l'ASC ROC (aka $c$ -statistique), ou existe-t-il une estimation de coefficient $\beta_{AUC} \neq \beta_{MLE}$ qui permettra d'obtenir une AUC ROC plus élevée? S'il est vrai que le MLE ne maximise pas nécessairement l'AUC ROC, alors une autre façon de considérer cette question est "Y a-t-il une alternative à la maximisation de vraisemblance qui maximisera toujours l'AUC ROC d'une régression logistique?"

Je suppose que les modèles sont par ailleurs les mêmes: nous n'ajoutons ni ne supprimons de prédicteurs dans $X$ , ni ne modifions autrement la spécification du modèle, et je suppose que les modèles de maximisation de vraisemblance et de maximisation d'AUC utilisent la même fonction de lien.

Ce n'est pas le cas que $\beta_{MLE} = \beta_{AUC}$ .

Pour illustrer cela, considérons que l'AUC peut s'écrire

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

En d'autres termes, l'ordre des prédictions est la seule chose qui affecte l'AUC . Ce n'est pas le cas avec la fonction de vraisemblance. Donc, en tant qu'exercice mental, supposons que nous avions un seul prédicteur et dans notre ensemble de données, nous ne voyons pas de séparation parfaite (c'est-à-dire, $\beta_{MLE}$ est fini). Maintenant, si nous prenons simplement la valeur du plus grand prédicteur et l'augmentons d'une petite quantité, nous changerons la probabilité de cette solution, mais cela ne changera pas l'AUC, car l'ordre devrait rester le même. Ainsi, si l'ancien MLE maximisait l'ASC, il maximisera toujours l'ASC après avoir changé le prédicteur, mais ne maximisera plus la probabilité.

Ainsi, à tout le moins, il n'est pas vrai que $\beta_{AUC}$ n'est pas unique; tout $\beta$ qui conserve l'ordre des estimations obtient exactement la même ASC. En général, comme l'AUC est sensible à différents aspects des données, je pense que nous devrions pouvoir trouver un cas où $\beta_{MLE}$ ne maximise pas $\beta_{AUC}$ . En fait, je suppose que cela se produit avec une forte probabilité.

ÉDITER (déplacer le commentaire en réponse)

L'étape suivante consiste à prouver que le MLE ne maximise pas nécessairement l'AUC (ce qui n'est pas encore prouvé). On peut le faire en prenant quelque chose comme les prédicteurs 1, 2, 3, 4, 5, 6, $x$ (avec $x > 6$ ) avec les résultats 0, 0, 0, 1, 1, 1, 0. Toute valeur positive de $\beta$ sera maximiser l'ASC (quelle que soit la valeur de $x$ ), mais nous pouvons choisir un $x$ suffisamment grand pour que le $\beta_{MLE} < 0$ .