Le bootstrap est tout test ou métrique qui repose sur un échantillonnage aléatoire avec remplacement.C'est une méthode qui aide dans de nombreuses situations comme la validation des performances d'un modèle prédictif, les méthodes d'ensemble, l'estimation du biais et de la variance du paramètre d'un modèle, etc. effectuer un échantillonnage avec remplacement de l'ensemble de données d'origine et en même temps supposer que les points de données qui n'ont pas été choisis sont l'ensemble de données de test. Nous pouvons répéter cette procédure plusieurs fois et calculer le score moyen comme estimation de la performance de notre modèle. De plus, le Bootstrapping est lié aux méthodes de formation d'ensemble, car nous pouvons construire un modèle en utilisant chaque ensemble de données de bootstrap et «empiler» ces modèles dans un ensemble en utilisant le vote majoritaire (pour la classification) ou en calculant la moyenne (pour les prédictions numériques) pour tous les ces modèles comme résultat final.
La validation croisée est une procédure pour valider les performances d'un modèle, et elle se fait en divisant les données d'apprentissage en k parties. Nous supposons que les parties k-1 sont l'ensemble de formation et utilisons l'autre partie est notre ensemble de test. Nous pouvons répéter que k fois diffèrent chaque fois une partie différente des données. Enfin, nous prenons la moyenne des scores k comme estimation de nos performances. La validation croisée peut souffrir de biais ou de variance. En augmentant le nombre de divisions, la variance augmentera également et le biais diminuera. En revanche, si nous diminuons le nombre de scissions, le biais augmentera et la variance diminuera.
En résumé, la validation croisée fractionne l'ensemble de données disponible pour créer plusieurs ensembles de données et la méthode d'amorçage utilise l'ensemble de données d'origine pour créer plusieurs ensembles de données après rééchantillonnage avec remplacement. L'amorçage n'est pas aussi solide que la validation croisée lorsqu'il est utilisé pour la validation de modèle. Le bootstrap consiste davantage à construire des modèles d'ensemble ou simplement à estimer des paramètres.
Christos Karatsalos
la source
la source