Obtenir des connaissances à partir d'une forêt aléatoire

Les forêts aléatoires sont considérées comme des boîtes noires, mais récemment, je pensais quelles connaissances peuvent être obtenues à partir d'une forêt aléatoire.

La chose la plus évidente est l’importance des variables, dans la variante la plus simple, il suffit de calculer le nombre d’occurrences d’une variable.
La deuxième chose à laquelle je pensais, ce sont les interactions. Je pense que si le nombre d’arbres est suffisamment grand, le nombre d’occurrences de paires de variables peut être testé (quelque chose comme l’indépendance du chi carré). La troisième chose sont les non linéarités de variables. Ma première idée consistait simplement à regarder un graphique d’un score Vs variable, mais je ne suis pas encore sûr que cela ait un sens.

Ajouté 23.01.2012
Motivation

Je souhaite utiliser ces connaissances pour améliorer un modèle logit. Je pense (ou du moins j'espère) qu'il est possible de trouver des interactions et des non-linéarités négligées.

Les forêts aléatoires sont à peine une boîte noire. Ils sont basés sur des arbres de décision, très faciles à interpréter:

#Setup a binary classification problem
require(randomForest)
data(iris)
set.seed(1)
dat <- iris
dat$Species <- factor(ifelse(dat$Species=='virginica','virginica','other'))
trainrows <- runif(nrow(dat)) > 0.3
train <- dat[trainrows,]
test <- dat[!trainrows,]

#Build a decision tree
require(rpart)
model.rpart <- rpart(Species~., train)

Cela donne un arbre de décision simple:

> model.rpart
n= 111 

node), split, n, loss, yval, (yprob)
      * denotes terminal node

1) root 111 35 other (0.68468468 0.31531532)  
  2) Petal.Length< 4.95 77  3 other (0.96103896 0.03896104) *
  3) Petal.Length>=4.95 34  2 virginica (0.05882353 0.94117647) *

Si Petal.Length <4,95, cette arborescence classe l’observation dans la catégorie "autre". S'il est supérieur à 4,95, l'observation est classée comme "virginica". Une forêt aléatoire est une simple collection de nombreux arbres de ce type, où chacun est formé sur un sous-ensemble aléatoire de données. Chaque arbre "vote" ensuite sur le classement final de chaque observation.

model.rf <- randomForest(Species~., train, ntree=25, proximity=TRUE, importance=TRUE, nodesize=5)
> getTree(model.rf, k=1, labelVar=TRUE)
  left daughter right daughter    split var split point status prediction
1             2              3  Petal.Width        1.70      1       <NA>
2             4              5 Petal.Length        4.95      1       <NA>
3             6              7 Petal.Length        4.95      1       <NA>
4             0              0         <NA>        0.00     -1      other
5             0              0         <NA>        0.00     -1  virginica
6             0              0         <NA>        0.00     -1      other
7             0              0         <NA>        0.00     -1  virginica

Vous pouvez même extraire des arbres individuels de la radio et regarder leur structure. Le format est légèrement différent de celui des rpartmodèles, mais vous pouvez inspecter chaque arbre si vous le souhaitez et voir comment il modélise les données.

De plus, aucun modèle n'est vraiment une boîte noire, car vous pouvez examiner les réponses prévues par rapport aux réponses réelles pour chaque variable de l'ensemble de données. C'est une bonne idée quel que soit le type de modèle que vous construisez:

library(ggplot2)
pSpecies <- predict(model.rf,test,'vote')[,2]
plotData <- lapply(names(test[,1:4]), function(x){
  out <- data.frame(
    var = x,
    type = c(rep('Actual',nrow(test)),rep('Predicted',nrow(test))),
    value = c(test[,x],test[,x]),
    species = c(as.numeric(test$Species)-1,pSpecies)
    )
  out$value <- out$value-min(out$value) #Normalize to [0,1]
  out$value <- out$value/max(out$value)
  out
})
plotData <- do.call(rbind,plotData)
qplot(value, species, data=plotData, facets = type ~ var, geom='smooth', span = 0.5)

J'ai normalisé les variables (longueur et largeur des sépales et des pétales) sur une plage de 0 à 1. La réponse est également 0-1, 0 étant autre et 1 virginica. Comme vous pouvez le constater, la forêt aléatoire est un bon modèle, même sur l’ensemble de tests.

De plus, une forêt aléatoire calculera diverses mesures d'importance variable, ce qui peut être très informatif:

> importance(model.rf, type=1)
             MeanDecreaseAccuracy
Sepal.Length           0.28567162
Sepal.Width           -0.08584199
Petal.Length           0.64705819
Petal.Width            0.58176828

Ce tableau représente combien le fait de supprimer chaque variable réduit la précision du modèle. Enfin, il existe de nombreux autres tracés que vous pouvez créer à partir d'un modèle de forêt aléatoire pour voir ce qui se passe dans la boîte noire:

plot(model.rf)
plot(margin(model.rf)) 
MDSplot(model.rf, iris$Species, k=5)
plot(outlier(model.rf), type="h", col=c("red", "green", "blue")[as.numeric(dat$Species)])

Vous pouvez afficher les fichiers d'aide de chacune de ces fonctions pour avoir une meilleure idée de ce qu'ils affichent.

Il y a quelque temps, j'ai dû justifier un ajustement de modèle RF à certains chimistes de mon entreprise. J'ai passé pas mal de temps à essayer différentes techniques de visualisation. Au cours du processus, j’ai aussi accidentellement mis au point de nouvelles techniques que j’ai intégrées dans un package R ( forestFloor ) spécifiquement pour la visualisation aléatoire de forêts.

L'approche classique consiste en des diagrammes de dépendance partielle supportés par: Rminer (l'analyse de sensibilité basée sur les données est une dépendance partielle réinventée), ou partialPlot dans le package randomForest . Je trouve le paquet de dépendance partielle iceBOX comme un moyen élégant de découvrir les interactions. Je n'ai pas utilisé le paquet edarf , mais semble avoir de belles visualisations dédiées à RF. Le package ggRandomForest contient également un grand nombre de visualisations utiles.

Actuellement, forestFloor prend en charge les objets randomForest (la prise en charge d'autres implémentations RF est en cours). Des contributions peuvent également être calculées pour les arbres boostés par gradient, étant donné que ces arbres après leur entraînement ne sont pas très différents des arbres forestiers aléatoires. Ainsi, forestFloor pourrait prendre en charge XGBoost à l’avenir. Les diagrammes de dépendance partielle sont complètement invariants au modèle.

Tous les packages ont en commun de visualiser la structure de mappage géométrique d'un modèle, de l'espace des fonctions à l'espace cible. Une courbe sinusoïdale y = sin (x) serait une application de x à y et peut être tracée en 2D. Tracer directement un mappage RF nécessiterait souvent trop de dimensions. Au lieu de cela, la structure de cartographie globale peut être projetée, découpée en tranches ou décomposée, de sorte que toute la structure de cartographie se résume en une séquence de tracés marginaux 2D. Si votre modèle RF a uniquement capturé les effets principaux et aucune interaction entre les variables, les méthodes de visualisation classiques conviendront parfaitement. Ensuite, vous pouvez simplifier la structure de votre modèle comme ceci:$y = F(X) \approx f_1(x_1) + f_2(x_2) + ... + f_d(x_d)$. Ensuite, chaque fonction partielle de chaque variable peut être visualisée comme une courbe sinusoïdale. Si votre modèle RF a capturé des interactions considérables, il est alors plus problématique. Les tranches 3D de la structure permettent de visualiser les interactions entre deux entités et la sortie. Le problème est de savoir quelle combinaison de fonctionnalités doit être visualisée ( iceBOX résout ce problème). De plus, il n'est pas facile de dire si d'autres interactions latentes ne sont toujours pas prises en compte.

Dans cet article , j’ai utilisé une version très ancienne de forestFloor pour expliquer quelle relation biochimique réelle un très petit modèle RF avait capturé. Et dans cet article, nous décrivons en détail les visualisations des contributions des entités, Visualisations de sol forestier de forêts aléatoires .

J'ai collé l'exemple simulé du paquet forestFloor, dans lequel je montre comment découvrir une fonction masquée simulée bruit$y = {x_1}^2 + sin(x_2\pi) + 2 * x_3 * x_4 +$

#1 - Regression example:
set.seed(1234)
library(forestFloor)
library(randomForest)

#simulate data y = x1^2+sin(x2*pi)+x3*x4 + noise
obs = 5000 #how many observations/samples
vars = 6   #how many variables/features
#create 6 normal distr. uncorr. variables
X = data.frame(replicate(vars,rnorm(obs)))
#create target by hidden function
Y = with(X, X1^2 + sin(X2*pi) + 2 * X3 * X4 + 0.5 * rnorm(obs)) 

#grow a forest
rfo = randomForest(
  X, #features, data.frame or matrix. Recommended to name columns.
  Y, #targets, vector of integers or floats
  keep.inbag = TRUE,  # mandatory,
  importance = TRUE,  # recommended, else ordering by giniImpurity (unstable)
  sampsize = 1500 ,   # optional, reduce tree sizes to compute faster
  ntree = if(interactive()) 500 else 50 #speedup CRAN testing
)

#compute forestFloor object, often only 5-10% time of growing forest
ff = forestFloor(
  rf.fit = rfo,       # mandatory
  X = X,              # mandatory
  calc_np = FALSE,    # TRUE or FALSE both works, makes no difference
  binary_reg = FALSE  # takes no effect here when rfo$type="regression"
)


#plot partial functions of most important variables first
plot(ff,                       # forestFloor object
     plot_seq = 1:6,           # optional sequence of features to plot
     orderByImportance=TRUE    # if TRUE index sequence by importance, else by X column  
)

#Non interacting features are well displayed, whereas X3 and X4 are not
#by applying color gradient, interactions reveal themself 
#also a k-nearest neighbor fit is applied to evaluate goodness-of-fit
Col=fcol(ff,3,orderByImportance=FALSE) #create color gradient see help(fcol)
plot(ff,col=Col,plot_GOF=TRUE) 

#feature contributions of X3 and X4 are well explained in the context of X3 and X4
# as GOF R^2>.8


show3d(ff,3:4,col=Col,plot_GOF=TRUE,orderByImportance=FALSE)

Enfin, le code des diagrammes de dépendance partielle codé par A.Liaw décrit par J.Friedman. Ce qui convient pour les effets principaux.

par(mfrow=c(2,3))
for(i in 1:6) partialPlot(rfo,X,x.var=names(X)[i])

Pour compléter ces réponses précises, je mentionnerais l’utilisation d’arbres à gradient renforcé (par exemple, le paquetage GBM dans R ). Dans R, je préfère ceci aux forêts aléatoires car les valeurs manquantes sont autorisées par rapport à randomForest où l'imputation est requise. Des graphes d'importance variable et partiels sont disponibles (comme dans randomForest) pour vous aider à sélectionner des fonctionnalités et à explorer la transformation non linéaire dans votre modèle logit. En outre, l’interaction variable est traitée avec la statistique H de Friedman ( interact.gbm), la référence étant donnée par J.H. Friedman and B.E. Popescu (2005). “Predictive Learning via Rule Ensembles.” Section 8.1. Une version commerciale appelée TreeNet est disponible chez Salford Systems et cette présentation vidéo décrit leur interprétation de la vidéo d' estimation par interaction variable .

Réponse tardive, mais je suis tombé sur un ensemble récent de R forestFloor(2015) qui vous aide à faire cette tâche « unblackboxing » de façon automatisée. Cela semble très prometteur!

library(forestFloor)
library(randomForest)
#simulate data
obs=1000
vars = 18
X = data.frame(replicate(vars,rnorm(obs)))
Y = with(X, X1^2 + sin(X2*pi) + 2 * X3 * X4 + 1 * rnorm(obs))
#grow a forest, remeber to include inbag
rfo=randomForest(X,Y,keep.inbag = TRUE,sampsize=250,ntree=50)
#compute topology
ff = forestFloor(rfo,X)
#ggPlotForestFloor(ff,1:9)
plot(ff,1:9,col=fcol(ff))

Produit les parcelles suivantes:

Il fournit également une visualisation en trois dimensions si vous recherchez des interactions.

Comme mentionné par Zach, une façon de comprendre un modèle consiste à tracer la réponse à mesure que les prédicteurs varient. Vous pouvez le faire facilement pour "n'importe quel" modèle avec le package plotmo R. Par exemple

library(randomForest)
data <- iris
data$Species <- factor(ifelse(data$Species=='virginica','virginica','other'))
mod <- randomForest(Species~Sepal.Length+Sepal.Width, data=data)
library(plotmo)
plotmo(mod, type="prob")

qui donne

Cela change une variable tout en maintenant les autres à leurs valeurs médianes. Pour les diagrammes d'interaction, deux variables sont modifiées. (Remarque ajoutée en novembre 2016: prend plotmodésormais également en charge les tracés de dépendance partiels.)

L'exemple ci-dessus utilise seulement deux variables; Des modèles plus compliqués peuvent être visualisés de manière fragmentée en examinant une ou deux variables à la fois. Puisque les "autres" variables sont maintenues à leurs valeurs médianes, cela ne montre qu'une tranche des données, mais peut toujours être utile. Quelques exemples sont dans la vignette du paquet plotmo . Vous trouverez d'autres exemples au chapitre 10 de la section Tracer des arbres rpart avec le package rpart.plot .

Je suis très intéressé par ce type de questions moi-même. Je pense qu'il y a beaucoup d'informations que nous pouvons extraire d'une forêt aléatoire.

À propos des interactions, il semble que Breiman et Cultier aient déjà essayé de s’y intéresser, en particulier pour les RF de classification.

À ma connaissance, cela n’a pas été implémenté dans le package randomForest R. Peut-être parce que cela n’est peut-être pas aussi simple et que la signification de "interactions variables" est très dépendante de votre problème.

En ce qui concerne la non-linéarité, je ne sais pas ce que vous recherchez, les forêts de régression sont utilisées pour les problèmes de régression multiple non linéaires sans aucun préalable sur le type de fonction non linéaire à utiliser.

En fin de partie, mais il y a de nouveaux développements dans ce domaine, par exemple LIME et SHAP . Un paquet à vérifier également est DALEX (en particulier si vous utilisez R mais contient en tout cas de jolis cheatsheets, etc.), mais ne semble pas couvrir les interactions pour le moment. Et ceux-ci sont tous agnostiques envers les modèles, ils fonctionneront donc pour les forêts aléatoires, les GBM, les réseaux de neurones, etc.

Les méthodes de forêt causale développées récemment constituent une légère modification des forêts aléatoires fournissant davantage d'informations sur les données. Voir le paquet GRF R et le papier de motivation ici . L'idée est d'utiliser les méthodes de base de la forêt aléatoire pour trouver l'hétérogénéité des effets causals.

Un article précédent ( ici ) donne une approche détaillée d’une forêt causale simple. La page 9 du document décrit une procédure étape par étape pour la croissance d'un arbre causal, qui peut ensuite être étendu à une forêt de la manière habituelle.

Équation 4:

Équation 5:

Réponse tardive liée à ma question ici ( Pouvons-nous rendre Random Forest 100% interprétable en réparant la graine? ):

Soit la graine dans la création d'un ensemble de formation boosté, et soit la graine dans la sélection du sous-ensemble de fonctionnalités (pour simplifier, je ne liste ici que 2 types de graines).$z_1$$z_2$

1. A partir de , ensembles d'entraînement boostés sont créés: , , , ..., . $z_1$$m$$D_1(z_1)$$D_2(z_1)$$D_3(z_1)$$D_m(z_1)$
2. À partir de ces ensembles de transfert, sont créés les arbres de décision correspondants, et réglés par validation croisée: , , , ..., .$m$$T_1(z_1,z_2)$$T_2(z_1,z_2)$$T_3(z_1,z_2)$$T_m(z_1,z_2)$
3. Notons les prédictions de l' arborescence pour un individu (provenant d'un ensemble de formation ou de test, peu importe), sous la . Par conséquent, les prédictions finales des arbres d'ensemble sont: ${j^\text{th}}_{(j=1,2,...,m)}$$x_i$$\hat{f}^j(x_i)_{(i \le n, j \le m)}$ $$\hat{F}(x_i) = > \frac{1}{m}\sum\limits_{j=1}^m \hat{f}^j(x_i)$$
4. Une fois le modèle validé et stable (la signification de ne dépend pas fortement de la paire ). Je commence à créer toutes les combinaisons possibles de mes fonctionnalités , ce qui me donne un très grand ensemble ( ).$\hat{F}(x_i)$$(z_1,z_2)$$x'_i$
5. Appliquer ma forêt sur chaque me donne les prédictions correspondantes:$x'_i$ $$x'_1 \rightarrow \hat{F}(x'_1) \text{ - which is fixed > thanks to $(z_1, z_2)$}$$ $$x'_2 \rightarrow \hat{F}(x'_2) \text{ - > which is fixed thanks to $(z_1, z_2)$}$$ x ' 4 >→ F (x ' 4 ) - qui est fixée grâce à  ( z 1 , > z 2 ) . . . $$x'_3 \rightarrow > \hat{F}(x'_3) \text{ - which is fixed thanks to $(z_1, z_2)$}$$ $$x'_4 > \rightarrow \hat{F}(x'_4) \text{ - which is fixed thanks to $(z_1, > z_2)$}$$ $$....$$
6. Ce dernier peut être facilement représenté sous la forme d' un seul (énorme) arbre . Par exemple: : (Age = 18, sexe = M, ...), = (Age = 18, sexe = F, ...), ... peut être regroupé pour créer une feuille. x ' $x'_1$$x'_2$

Cela fonctionne aussi pour toutes les méthodes d'ensemble basées sur l'agrégation d'arbres.