Comment comparer les pentes de régression bootstrapées?

Supposons que j'ai deux ensembles de données avec n observations de paires de données de variable indépendante x et de variable dépendante y chacune. Supposons en outre que je souhaite générer une distribution des pentes de régression pour chaque ensemble de données en amorçant les observations (avec remplacement) N fois et en calculant la régression y = a + bxchaque fois. Comment comparer les deux distributions pour dire que les pentes sont significativement différentes? Un test U pour tester la différence entre les médianes des distributions dépendrait fortement de N, c'est-à-dire que plus je répète le bootstrap, plus la différence sera significative. Comment dois-je calculer le chevauchement entre les distributions pour déterminer une différence significative?

Le bootstrap est effectué pour obtenir une image plus robuste de la distribution d'échantillonnage que celle qui est supposée par la théorie des grands échantillons. Lorsque vous démarrez, il n'y a en fait aucune limite au nombre d'échantillons de démarrage que vous prenez; en fait, vous obtenez une meilleure approximation de la distribution d'échantillonnage plus vous prenez d'échantillons de démarrage. Il est courant d'utiliser bootsamples, bien qu'il n'y ait rien de magique de ce nombre. De plus, vous n'exécutez pas de test sur les exemples de démarrage; vous avez une estimation de la distribution d'échantillonnage - utilisez-la directement. Voici un algorithme:$B=10,000$

1. prendre un échantillon de démarrage d'un ensemble de données en échantillonnant observations de démarrage avec remplacement. [En ce qui concerne les commentaires ci-dessous, une question pertinente est de savoir ce qui constitue une «observation de démarrage» valide à utiliser pour votre échantillon de bottes. En fait, il existe plusieurs approches légitimes; J'en mentionnerai deux qui sont robustes et vous permettent de refléter la structure de vos données: lorsque vous avez des données d'observation (c'est-à-dire que les données ont été échantillonnées dans toutes les dimensions, une observation de démarrage peut être un n-tuple ordonné (par exemple, une ligne Par exemple, si vous avez une variable prédictive et une variable de réponse, vous échantillonnerez n 1 ( x , y $n_1$$n_1$ $(x,y)$paires ordonnées. D'un autre côté, lors de l'utilisation de données expérimentales, les valeurs des variables prédictives n'ont pas été échantillonnées, mais des unités expérimentales ont été affectées aux niveaux prévus de chaque variable prédictive. Dans un cas comme celui-ci, vous pouvez échantillonner valeurs y à l'intérieur de chacun des j niveaux de votre variable prédictive, puis associer ces y s à la valeur correspondante de ce niveau prédicteur. De cette manière, vous n'échantillonneriez pas sur X. ]$n_{1j}$ $y$$j$$y$$X$
2. adapter le modèle de régression et de stocker l'estimation de la pente (appelons- ß 1 )$\hat\beta_1$
3. prendre un échantillon de démarrage de l'autre ensemble de données en échantillonnant observations de démarrage avec remplacement$n_2$
4. adapter à l'autre modèle de régression et de stocker l'estimation de la pente (appelons- ß 2 )$\hat\beta_2$
5. former une statistique à partir des deux estimations (suggestion: utiliser la différence de pente β 1 - β 2 )$\hat\beta_1-\hat\beta_2$
6. stocker les statistiques et vider les autres informations pour ne pas perdre de mémoire
7. répéter les étapes 1 - 6, fois$B=10,000$
8. trier la distribution d'échantillonnage bootstrap des différences de pente
9. calculer le% du bsd qui chevauche 0 (le plus petit des deux, le% de queue droit ou le% de queue gauche)
10. multipliez ce pourcentage par 2

La logique de cet algorithme en tant que test statistique est fondamentalement similaire aux tests classiques (par exemple, les tests t) mais vous ne supposez pas que les données ou les distributions d'échantillonnage résultantes ont une distribution particulière. (Par exemple, vous ne présumez pas la normalité.) La principale hypothèse que vous faites est que vos données sont représentatives de la population à partir de laquelle vous souhaitez échantillonner / que vous souhaitez généraliser. Autrement dit, la distribution de l'échantillon est similaire à la distribution de la population. Notez que si vos données ne sont pas liées à la population qui vous intéresse, vous n'avez pas de chance.

Certaines personnes s'inquiètent d'utiliser, par exemple, un modèle de régression pour déterminer la pente si vous n'êtes pas prêt à assumer la normalité. Cependant, cette préoccupation est erronée. Le théorème de Gauss-Markov nous dit que l'estimation est non biaisée (c'est-à-dire centrée sur la vraie valeur), donc c'est bien. L'absence de normalité signifie simplement que la vraie distribution d'échantillonnage peut être différente de celle théoriquement posée, et donc les valeurs de p ne sont pas valides. La procédure d'amorçage vous permet de résoudre ce problème.

Deux autres problèmes concernant le bootstrap: si les hypothèses classiques sont remplies, le bootstrap est moins efficace (c'est-à-dire qu'il a moins de puissance) qu'un test paramétrique. Deuxièmement, l'amorçage fonctionne mieux lorsque vous explorez près du centre d'une distribution: les moyennes et les médianes sont bonnes, les quartiles pas si bons, l'amorçage du min ou du max échoue nécessairement. Concernant le premier point, vous n'aurez peut-être pas besoin de bootstrap dans votre situation; en ce qui concerne le deuxième point, l'amorçage de la pente est parfaitement fin.

$s_i$

Si vous avez une corrélation entre les termes d'erreur, vous devrez peut-être modifier un peu cette procédure, alors réécrivez si c'est le cas.

Vous pouvez généraliser cette approche au cadre de régression apparemment sans rapport (SUR). Cette approche permet toujours aux coefficients d'interception et de pente d'être arbitrairement différents dans les deux ensembles de données.

Tout faire en une seule régression est net et l'hypothèse d'indépendance est importante. Mais le calcul des estimations ponctuelles de cette manière ne nécessite pas de variance constante. Essayez ce code R;

x <- rbinom(100, 1, 0.5)
z <- rnorm(100)
y <- rnorm(100)
coef(lm(y~x*z))
coef(lm(y~z, subset= x==1))[1] - coef(lm(y~z, subset= x==0))[1]
coef(lm(y~z, subset= x==1))[2] - coef(lm(y~z, subset= x==0))[2]

Nous obtenons la même estimation ponctuelle dans les deux cas. Les estimations de l'erreur standard peuvent nécessiter une variance constante (selon celle que vous utilisez), mais le bootstrap considéré ici n'utilise pas les erreurs standard estimées.