Tests d'hypothèses Bootstrap vs permutation

Il existe plusieurs techniques de ré - échantillonnage populaires, qui sont souvent utilisés dans la pratique, comme bootstrapping, test de permutation, jackknife, etc. Il existe de nombreux articles et livres traitent de ces techniques, par exemple Philippe I Bon (2010) Permutation, Parametric et Tests Bootstrap des hypothèses

Ma question est la suivante: quelle technique de ré-échantillonnage a gagné le plus de popularité et est plus facile à mettre en œuvre? Tests d'amorçage ou de permutation?

Les deux sont populaires et utiles, mais principalement pour des utilisations différentes. Le test de permutation est le meilleur pour tester les hypothèses et le bootstrap est le meilleur pour estimer les intervalles de confiance.

Les tests de permutation testent une hypothèse nulle spécifique d’échangeabilité, c’est-à-dire que seul l’échantillonnage aléatoire / la randomisation explique la différence observée. C'est le cas habituel pour des choses comme les tests t et l'ANOVA. Il peut également être étendu à des éléments tels que les séries chronologiques (hypothèse nulle selon laquelle il n'y a pas de corrélation en série) ou la régression (hypothèse nulle quant à l'absence de relation). Les tests de permutation peuvent être utilisés pour créer des intervalles de confiance, mais cela nécessite beaucoup plus d'hypothèses, qui peuvent être raisonnables ou non (d'autres méthodes sont donc préférées). Le test Mann-Whitney / Wilcoxon est en fait un cas spécial de test de permutation, il est donc beaucoup plus populaire que certains ne le réalisent.

Le bootstrap estime la variabilité du processus d'échantillonnage et fonctionne bien pour estimer les intervalles de confiance. Vous pouvez faire un test d'hypothèse de cette façon, mais il a tendance à être moins puissant que le test de permutation pour les cas que les hypothèses de test de permutation retiennent.

Si vous utilisez R, ils sont tous faciles à implémenter. Voir, par exemple, http://www.burns-stat.com/pages/Tutor/bootstrap_resampling.html

Je dirais qu'il existe une troisième technique majeure: la validation croisée. Ceci est utilisé pour tester le pouvoir prédictif des modèles.

Ma question est la suivante: quelle technique de ré-échantillonnage a gagné le plus de popularité
? Les tests Bootstrapping ou Permutation?

1. L'amorçage consiste principalement à générer des erreurs-types ou des intervalles de confiance de grand échantillon. les tests de permutation, comme son nom l'indique, concernent principalement les tests. (Chacun peut être adapté pour être utilisé pour l'autre tâche cependant.)

2. Comment pourrions-nous juger de la popularité? Si nous examinons des domaines tels que la psychologie et l'éducation, nous pouvons trouver de nombreuses utilisations de tests basés sur les rangs tels que Wilcoxon-Mann-Whitney, le test de rangs signé, les tests de corrélation de rangs, etc. Ce sont tous des tests de permutation (en revanche, il existe de nombreux cas où des tests de permutation des données d'origine pourraient être utilisés à la place mais ne le sont généralement pas). Dans certains autres domaines d'application, les tests de permutation seraient rarement utilisés, mais la popularité variable d'un domaine d'application à l'autre en dit parfois plus sur la culture locale de chaque région que sur son utilité.

plus facile à mettre en œuvre?

Dans de nombreux cas - en particulier les plus simples - ils sont presque aussi faciles à utiliser - c'est essentiellement la différence entre échantillonnage avec remplacement et échantillonnage sans remplacement.

Dans certains cas plus complexes, l’amorçage est plus facile à faire car (vu du point de vue des tests), il fonctionne sous l’alternative plutôt que de façon nulle (au moins des implémentations naïves le seront - le faire pour qu’il fonctionne bien peut être beaucoup plus compliqué).

Les tests de permutation exacts peuvent être difficiles dans les cas les plus complexes, car une quantité échangeable appropriée peut ne pas être observable - souvent, une quantité presque échangeable peut être substituée au prix de l'exactitude (et de l'absence totale de distribution).

Bootstrapping abandonne essentiellement le critère d’exactitude correspondant (couverture exacte des intervalles) dès le départ, et se concentre plutôt sur l’obtention d’une couverture relativement bonne sur de grands échantillons (parfois avec moins de succès qu'on ne pourrait le comprendre; si vous n'avez pas coché, supposez que votre bootstrap donne la couverture que vous attendez).

Les tests de permutation peuvent fonctionner sur de petits échantillons (bien que le choix limité de niveaux de signification puisse parfois poser problème avec de très petits échantillons), alors que le bootstrap est une technique utilisant un grand échantillon (si vous l'utilisez avec de petits échantillons, les résultats risquent de ne pas être très utile).

Je les vois rarement comme des concurrents sur le même problème et je les ai utilisés pour résoudre des problèmes réels (différents) - il est souvent naturel de choisir.

Il y a des avantages pour les deux, mais ni dans un panacaea. Si vous espérez réduire les efforts d'apprentissage en vous concentrant sur l'un d'eux, vous risquez d'être déçu - les deux sont des éléments essentiels de la boîte à outils de rééchantillonnage.