Interprétation des coefficients de régression logistique avec un terme de régularisation

Je comprends que les coefficients d'une équation logistique peuvent être interprétés comme un rapport impair. Si un terme de régularisation est ajouté pour contrôler le sur-ajustement, comment cela change-t-il l'interprétation des coefficients?

Les coefficients renvoyés standard avec un ajustement de régression logistique ne sont pas des rapports de cotes. Ils représentent le changement dans les cotes logarithmiques de «succès» associé à un changement d'une unité dans leur variable respective, lorsque tout le reste est égal. Si vous exposez un coefficient, vous pouvez alors interpréter le résultat comme un rapport de cotes (bien sûr, ce n'est pas le cas de l'interception). Vous trouverez plus d'informations à ce sujet dans ma réponse ici: Interprétation des prédictions simples aux rapports de cotes dans la régression logistique .

L'ajout d'une pénalité à l'ajustement du modèle changera (potentiellement) la valeur ajustée des coefficients estimés, mais cela ne change pas l'interprétation des coefficients dans le sens discuté dans votre question / ci-dessus. *

* (Je me demande si la confusion à propos de cette déclaration est à l'origine du récent downvote.) Pour être plus clair: le coefficient ajusté sur $X_1$, $\hat\beta_1$ représente la variation des probabilités de réussite du log associée à une modification d'une unité $X_1$s'il n'y a pas de terme de pénalité utilisé pour ajuster le modèle et si un terme de pénalité est utilisé pour ajuster le modèle. Dans aucun des cas, ce n'est le rapport de cotes. cependant,$\exp(\hat\beta_1)$ est le rapport de cotes associé à un changement d'une unité $X_1$, là encore indépendamment du fait qu'un terme de pénalité a été utilisé pour s'adapter au modèle. Un modèle équipé d'un terme de pénalité peut être interprété dans un cadre bayésien, mais ne doit pas nécessairement l'être. De plus, même si c'est le cas,$\hat\beta_1$ représente toujours le changement dans les probabilités de réussite du log associé à un changement d'une unité $X_1$ pas un rapport de cotes.

La régression linéaire régularisée et la régression logistique régularisée peuvent être bien interprétées d'un point de vue bayésien. Le paramètre de régularisation correspond à un choix de distribution préalable sur les poids, par exemple, quelque chose comme une distribution normale centrée sur zéro avec un écart type donné par l'inverse du paramètre de régularisation. Ensuite via vos données d'entraînement, ces distributions sont mises à jour pour enfin vous donner les distributions postérieures sur les poids.

Ainsi, par exemple, un paramètre de régularisation plus grand signifie que, comme précédemment, nous pensons que les poids devraient être plus proches de zéro, donc avec cette configuration, il est moins probable que les distributions postérieures soient prises en charge loin de zéro - ce qui correspond à l'intuition de ce que la régularisation est "censée faire".

Pour la plupart des implémentations de régression régularisée, la sortie finale des poids n'est que la valeur attendue des distributions postérieures.

Soit dit en passant, la régression non régularisée peut être fondamentalement interprétée de la même manière: c'est la limite lorsque le paramètre de régularisation passe à zéro.