La forêt aléatoire pour la régression est-elle une «vraie» régression?

Les forêts aléatoires sont utilisées pour la régression. Cependant, d'après ce que je comprends, ils attribuent une valeur cible moyenne à chaque feuille. Puisqu'il n'y a que des feuilles limitées dans chaque arbre, il n'y a que des valeurs spécifiques que la cible peut atteindre à partir de notre modèle de régression. Ce n'est donc pas seulement une régression «discrète» (comme une fonction de pas) et non pas comme une régression linéaire qui est «continue»?

Suis-je bien comprendre? Si oui, quel avantage la forêt aléatoire offre-t-elle en régression?

C'est exact - les forêts aléatoires discrétisent les variables continues car elles sont basées sur des arbres de décision, qui fonctionnent par partitionnement binaire récursif. Mais avec des données suffisantes et des divisions suffisantes, une fonction pas à pas avec de nombreux petits pas peut se rapprocher d'une fonction lisse. Ce n'est donc pas nécessairement un problème. Si vous voulez vraiment capturer une réponse lisse par un seul prédicteur, vous calculez l'effet partiel d'une variable particulière et lui ajustez une fonction lisse (cela n'affecte pas le modèle lui-même, qui conservera ce caractère pas à pas).

Les forêts aléatoires offrent de nombreux avantages par rapport aux techniques de régression standard pour certaines applications. Pour n'en mentionner que trois:

1. Ils permettent d'utiliser arbitrairement de nombreux prédicteurs (plus de prédicteurs que de points de données sont possibles)
2. Ils peuvent approximer des formes non linéaires complexes sans spécification a priori
3. Ils peuvent capturer des interactions complexes entre des prédictions sans spécification a priori .

Quant à savoir s'il s'agit d'une «vraie» régression, c'est quelque peu sémantique. Après tout, la régression par morceaux est également une régression, mais elle n'est pas non plus fluide. Comme toute régression avec un prédicteur catégorique, comme indiqué dans les commentaires ci-dessous.

Il est discret, mais toute sortie sous la forme d'un nombre à virgule flottante avec un nombre fixe de bits sera discrète. Si un arbre a 100 feuilles, il peut donner 100 nombres différents. Si vous avez 100 arbres différents avec 100 feuilles chacun, alors votre forêt aléatoire peut théoriquement avoir 100 ^ 100 valeurs différentes, ce qui peut donner 200 chiffres (décimaux) de précision, soit ~ 600 bits. Bien sûr, il y aura un certain chevauchement, donc vous n'allez pas réellement voir 100 ^ 100 valeurs différentes. La distribution tend à devenir plus discrète au fur et à mesure que vous atteignez les extrêmes; chaque arbre va avoir une feuille minimale (une feuille qui donne une sortie inférieure ou égale à toutes les autres feuilles), et une fois que vous obtenez la feuille minimale de chaque arbre, vous ne pouvez pas descendre plus bas. Il va donc y avoir une valeur globale minimale pour la forêt, et lorsque vous vous écartez de cette valeur, vous allez commencer avec tous les arbres sauf quelques-uns à leur feuille minimale, en faisant de petits écarts par rapport à l'augmentation de la valeur minimale en sauts discrets. Mais la baisse de fiabilité aux extrêmes est une propriété des régressions en général, pas seulement des forêts aléatoires.

La réponse dépendra de votre définition de la régression, voir Définition et délimitation du modèle de régression . Mais une définition habituelle (ou une partie d'une définition) est que la régression modélise l' espérance conditionnelle . Et un arbre de régression peut en effet être considéré comme un estimateur de l'espérance conditionnelle.

Dans les nœuds foliaires, vous prédisez la moyenne des observations de l'échantillon atteignant cette feuille, et une moyenne arithmétique est un estimateur d'une attente. Le motif de ramification dans l'arbre représente le conditionnement.