Lorsque nous évaluons la qualité d'une forêt aléatoire, par exemple en utilisant l'AUC, est-il plus approprié de calculer ces quantités sur les échantillons hors sac ou sur l'ensemble de validation croisée?

J'entends que le calculer sur les échantillons OOB donne une évaluation plus pessimiste, mais je ne vois pas pourquoi.

Remarque: Bien que je pense que ma réponse est probablement correcte, je ressens également des doutes en raison du fait que j'ai inventé tout cela en pensant à ce problème uniquement après avoir lu cette question pendant environ 30 à 60 minutes. Donc, il vaut mieux être sceptique et scruter cela et ne pas se laisser berner par mon style d'écriture peut-être trop confiant (moi qui utilise de gros mots et des symboles grecs fantaisistes ne signifie pas que j'ai raison).

Sommaire

Ce n'est qu'un résumé. Tous les détails sont mentionnés dans les sections $\S1$ et $\S2$ ci-dessous.

Supposons le cas de la classification (peut également être étendu à la régression, mais omis pour plus de brièveté). Essentiellement, notre objectif est d'estimer l'erreur d'une forêt d'arbres. L'erreur hors du sac et la validation croisée k-fold tentent de nous dire la probabilité que:

• La forêt donne la classification correcte (la validation croisée multipliée par k la considère de cette façon).

Qui est identique à la probabilité que:

• Le vote majoritaire des arbres de la forêt est le bon vote (OOBE le regarde de cette façon).

Et les deux sont identiques. La seule différence est que la validation croisée k-fold et OOBE supposent une taille différente des échantillons d'apprentissage. Par exemple:

• En validation croisée 10 fois, l'ensemble d'apprentissage est de 90%, tandis que l'ensemble de test est de 10%.
• Cependant, dans OOBE si chaque sac contient échantillons, de sorte que n = nombre total d'échantillons dans l'ensemble d'échantillons, cela implique que l'ensemble d'apprentissage est pratiquement d'environ 66% (deux tiers) et l'ensemble d'essai est d'environ 33% ( un tiers).$n$$n =$

Par conséquent, à mon avis, la seule raison pour laquelle l'OOBE est une estimation pessimiste de l'erreur de la forêt est uniquement parce qu'elle s'entraîne généralement avec un nombre d'échantillons inférieur à celui généralement effectué avec la validation croisée k-fold (où 10 plis sont courants).

Pour cette raison, je pense également que la validation croisée 2 fois sera une estimation plus pessimiste de l'erreur de la forêt que l'OOBE, et la validation croisée 3 fois sera à peu près également pessimiste pour l'OOBE.

1. Comprendre l'erreur hors du sac

1.1 Vue commune sur l'ensachage

Chaque arbre dans RF est développé par une liste de échantillons qui sont tirés au hasard de l'ensemble d'apprentissage X avec remplacement. De cette façon, les n nombreux échantillons peuvent avoir des doublons, et si n = | X | on peut alors constater qu'environ un tiers des échantillons de X finiront probablement par ne pas figurer dans la liste des n échantillons utilisés pour faire pousser un arbre donné (ce sont les échantillons hors sac de cet arbre spécifique. Ce processus est répété indépendamment pour chaque arbre, de sorte que chaque arbre a un ensemble différent d'échantillons hors sac.$n$$\mathcal{X}$$n$$n = |\mathcal{X}|$$\mathcal{X}$$n$

1.2. Un autre regard sur l'ensachage

Maintenant, décrivons l'ensachage un peu différemment dans l'espoir de trouver une description égale qui, espérons-le, sera plus simple à gérer.

Je le fais en déclarant que l'arbre est formé par les échantillons mis en sac dans l'ensemble X t ⊆ X . Cependant, ce n'est pas exactement vrai car l'ensemble X t n'a pas d'échantillons dupliqués (c'est ainsi que fonctionnent les ensembles), alors que - d'autre part - la liste n d'échantillons peut avoir des doublons.$t$$\mathcal{X}_t \subseteq \mathcal{X}$$\mathcal{X}_t$$n$

Par conséquent, nous pouvons dire qu'un arbre est cultivé en analysant les échantillons X t plus un certain nombre de doublons choisis au hasard tirés de X t , à savoir X t , 1 , X t , 2 , … , X t , r ⊆ X t , tels que: | X t | + r ∑ i = 1 | X t , i | = $t$$\mathcal{X}_t$ $\mathcal{X}_t$$\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

$$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$$

Il est trivial de voir qu'à partir de cette collection d'ensembles , nous pouvons définir une liste de n -nombreux échantillons qui contiennent des doublons en ajoutant simplement les éléments dans chaque définissez C i ∈ C sur un tableau a . De cette façon, pour tout 1 ≤ p ≤ n , il existe au moins une valeur de i telle que a [ p ] ∈ C$\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$$n$$\mathcal{C}_i \in \mathcal{C}$$a$$1 \le p \le n$$i$$a[p] \in \mathcal{C}_i$.

Nous pouvons également voir que la liste de échantillons dans le tableau a est une généralisation de l'ensachage comme je l'ai défini dans la section 1. Il est trivial de voir que pour une définition spécifique de X t que j'ai définie dans cette section ( § 2 ) , la liste d'échantillons dans le tableau a peut être exactement identique à la liste d'échantillons définie dans la section 1.$n$$a$$\mathcal{X}_t$$\S2$$a$

1.3. Simplification de l'ensachage

Au lieu de faire croître l'arbre par des échantillons dans le tableau a , nous les ferons croître par la liste des instances sans duplication qui se trouvent uniquement dans X t .$t$$a$$\mathcal{X}_t$

Je crois que, si est assez grand, un arbre t qui est cultivé en analysant des échantillons dans X t est identique à un autre arbre t ' qui est cultivé à partir des échantillons du tableau a .$n$$t$$\mathcal{X}_t$$t'$$a$

Ma raison en est que la probabilité de duplication des échantillons dans est également probable pour les autres échantillons du même ensemble. Cela signifie que, lorsque nous mesurons le gain d'informations (IG) d'une certaine division, l'IG restera identique car les entropies resteront également identiques.$\mathcal{X}_t$

Et la raison pour laquelle je pense que les entropies ne changeront pas systématiquement pour une division donnée est parce que la probabilité mesurée empiriquement d'un échantillon ayant une étiquette spécifique dans un sous-ensemble (après avoir appliqué une division de décision) ne changera pas non plus.

$\mathcal{X}_t$$d$

1.4 Mesure des erreurs hors du sac

$\mathcal{O}_t$$t$$\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$$t$

$$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$$ $n_t$ $$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$$

2. Comprendre la validation croisée k-fold

$\mathcal{X}$$n_k$$\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$$\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$$\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$$\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

$$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$$

$f$