Comment quantifier l'importance relative des variables dans la régression logistique en termes de p?

Supposons qu'un modèle de régression logistique soit utilisé pour prédire si un acheteur en ligne achètera un produit (résultat: achat), après avoir cliqué sur un ensemble d'annonces en ligne (prédicteurs: Ad1, Ad2 et Ad3).

Le résultat est une variable binaire: 1 (achetée) ou 0 (non purgée). Les prédicteurs sont également des variables binaires: 1 (cliqué) ou 0 (non cliqué). Donc, toutes les variables sont sur la même échelle.

Si les coefficients résultants de Ad1, Ad2 et Ad3 sont 0,1, 0,2 et 03, nous pouvons conclure que Ad3 est plus important que Ad2 et Ad2 est plus important que Ad1. De plus, comme toutes les variables sont sur la même échelle, les coefficients normalisés et non normalisés devraient être les mêmes, et nous pouvons en outre conclure que Ad2 est deux fois plus important que Ad1 en termes d'influence sur le niveau logit (log-odds).

Mais dans la pratique, nous nous soucions davantage de la façon de comparer et d'interpréter l'importance relative des variables en termes de niveau p (probabilité d'achat), et non du logit (log-odds).

La question est donc la suivante: existe-t-il une approche pour quantifier l'importance relative de ces variables en termes de p?

Pour les modèles linéaires, vous pouvez utiliser la valeur absolue des statistiques t pour chaque paramètre de modèle.

En outre, vous pouvez utiliser quelque chose comme une forêt aléatoire et obtenir une très belle liste d'importations de fonctionnalités.

Si vous utilisez R check out ( http://caret.r-forge.r-project.org/varimp.html ), si vous utilisez python check out ( http://scikit-learn.org/stable/auto_examples /ensemble/plot_forest_importances.html#example-ensemble-plot-forest-importances-py )

ÉDITER:

Logit n'ayant aucun moyen direct de le faire, vous pouvez utiliser une courbe ROC pour chaque prédicteur.

Pour la classification, l'analyse de la courbe ROC est effectuée sur chaque prédicteur. Pour deux problèmes de classe, une série de seuils est appliquée aux données du prédicteur pour prédire la classe. La sensibilité et la spécificité sont calculées pour chaque seuil et la courbe ROC est calculée. La règle trapézoïdale est utilisée pour calculer l'aire sous la courbe ROC. Cette zone est utilisée comme mesure d'importance variable

Un exemple de la façon dont cela fonctionne dans R est:

library(caret)
mydata <- data.frame(y = c(1,0,0,0,1,1),
                 x1 = c(1,1,0,1,0,0),
                 x2 = c(1,1,1,0,0,1),
                 x3 = c(1,0,1,1,0,0))

fit <- glm(y~x1+x2+x3,data=mydata,family=binomial())
summary(fit)

varImp(fit, scale = FALSE)

Puisque vous demandiez spécifiquement une interprétation sur l'échelle de probabilité: Dans une régression logistique, la probabilité estimée de succès est donnée par

$\hat{\pi}(\mathbf{x})=\frac{exp(\beta_0+ \mathbf{\beta x})}{1+exp(\beta_0+ \mathbf{\beta x})}$

Avec l'ordonnée à l'origine, un vecteur de coefficient et vos valeurs observées. Donc, si vos coefficients sont 0,1, 0,2 et 0,3 et en supposant qu'aucune interception (probablement incorrecte, mais pour plus de facilité), la probabilité d'un achat pour une personne qui a cliqué sur l'annonce 1 uniquement est:$\beta_0$$\mathbf{\beta}$$\mathbf{x}$

$\frac{exp(0.1)}{1+exp(0.1)}=0.52$

Une personne qui a cliqué sur l'annonce 3 uniquement:

$\frac{exp(0.3)}{1+exp(0.3)}=0.57$

Cependant, si la personne a cliqué sur l'annonce 1 ou l'annonce 3 mais aussi sur l'annonce 2 (s'il s'agit d'un scénario plasubile), les probabilités deviennent

$\frac{exp(0.1+0.2)}{1+exp(0.1+0.2)}=0.57$

$\frac{exp(0.3+0.2)}{1+exp(0.3+0.2)}=0.62$

Dans ce cas, le changement de probabilité est de 0,05, mais généralement ce changement n'est pas le même pour différentes combinaisons de niveaux. (Vous pouvez le voir facilement si vous utilisez par exemple la même approche que ci-dessus mais avec des coefficients 0,1, 1,5, 0,3.) Ainsi, l'importance d'une variable sur l'échelle de probabilité dépend des niveaux observés des autres variables. Cela peut rendre difficile (impossible?) L'élaboration d'une mesure d'importance variable absolue et quantitative sur l'échelle de probabilité.