Distribution asymptotique de la variance de l'échantillon d'un échantillon non normal

19

Il s'agit d'un traitement plus général de la question posée par cette question . Après avoir dérivé la distribution asymptotique de la variance de l'échantillon, nous pouvons appliquer la méthode Delta pour arriver à la distribution correspondante pour l'écart type.

Soit un échantillon de taille de iid variables aléatoires non normales , avec la moyenne et la variance . Définissez la moyenne de l'échantillon et la variance de l'échantillon comme { X i } ,n{Xje},je=1,...,nμσ2

X¯=1nje=1nXje,s2=1n-1je=1n(Xje-X¯)2

Nous savons que

E(s2)=σ2,Var(s2)=1n(μ4-n-3n-1σ4)

où , et nous limitons notre attention aux distributions pour lesquelles les moments doivent exister et être finis, existent et sont finis.μ4=E(Xje-μ)4

Est-ce que cela tient

n(s2-σ2)N(0,μ4-σ4)?
Alecos Papadopoulos
la source
Il h. Je viens de poster sur l'autre fil, ne réalisant pas que vous aviez posté cela. Il y a un certain nombre de choses à trouver sur le CLT appliqué à la variance (comme p3-4 ici par exemple). Belle réponse btw.
Glen_b -Reinstate Monica
Merci. Oui, je l'ai trouvé. Mais ils manquent le cas @whuber a souligné. Ils fournissent même un exemple de Bernoulli avec général ! (base de la p. 4). J'étends ma réponse pour couvrir également le cas . pp=1/2
Alecos Papadopoulos
Oui, j'ai vu qu'ils considéraient le Bernoulli mais ne considéraient pas ce cas particulier. Je pense que la mention de la distinction pour le Bernoulli à l'échelle (cas dichotomique prob. Égal) est une raison (parmi quelques autres) pourquoi il est utile de le discuter en réponse ici (plutôt que juste dans un commentaire) - notamment il est consultable.
Glen_b -Reinstate Monica

Réponses:

20

Pour dépendre les dépendances survenant lorsque nous considérons la variance de l'échantillon, nous écrivons

(n1)s2=i=1n((Xiμ)(x¯μ))2

=i=1n(Xiμ)22i=1n((Xiμ)(x¯μ))+i=1n(x¯μ)2

et après un peu de manipulation,

=i=1n(Xiμ)2n(x¯μ)2

Donc

n(s2-σ2)=nn-1je=1n(Xje-μ)2-nσ2-nn-1n(X¯-μ)2

Manipuler,

n(s2-σ2)=nn-1je=1n(Xje-μ)2-nn-1n-1σ2-nn-1n(X¯-μ)2

=nnn-11nje=1n(Xje-μ)2-nn-1n-1σ2-nn-1n(X¯-μ)2

=nn-1[n(1nje=1n(Xje-μ)2-σ2)]+nn-1σ2-nn-1n(X¯-μ)2

Le terme devient asymptotiquement unité. Le terme est déterministe et va à zéro comme .n/(n1)nnn1σ2n

Nous avons également . Le premier composant converge en distribution vers un Normal, le second converge en probabilité vers zéro. Ensuite, par le théorème de Slutsky, le produit converge en probabilité vers zéro,n(x¯μ)2=[n(x¯μ)](x¯μ)

n(x¯μ)2p0

Il nous reste le terme

[n(1ni=1n(Xiμ)2σ2)]

Alerté par un exemple létal offert par @whuber dans un commentaire à cette réponse , nous voulons nous assurer que n'est pas constant. Whuber a souligné que si est un Bernoulli alors cette quantité est une constante. Donc, en excluant les variables pour lesquelles cela se produit (peut-être d'autres dichotomiques, pas seulement binaire?), Pour le reste, nous avonsX i ( 1 / 2 ) 0 / 1(Xiμ)2Xi(1/2)0/1

E(Xiμ)2=σ2,Var[(Xiμ)2]=μ4σ4

et donc le terme sous enquête est un sujet habituel du théorème de limite centrale classique, et

n(s2σ2)dN(0,μ4σ4)

Remarque: le résultat ci-dessus vaut bien sûr également pour les échantillons normalement distribués - mais dans ce dernier cas, nous avons également un résultat de distribution khi carré à échantillon fini.

Alecos Papadopoulos
la source
3
+1 Il n'y a aucune raison de vérifier les distributions dichotomiques générales car ce sont toutes des versions à l'échelle et à l'emplacement du Bernoulli: l'analyse pour le Bernoulli suffit. Mes simulations (sur des échantillons de ) confirment le résultat . χ 2 1dix1000χ12
whuber
@whuber Merci d'avoir vérifié. Vous avez raison, bien sûr, sur le fait que Benroulli est la mère de tous.
Alecos Papadopoulos
10

Vous avez déjà une réponse détaillée à votre question, mais permettez-moi d'en proposer une autre pour l'accompagner. En fait, une preuve plus courte est possible sur la base du fait que la distribution des

S2=1n-1je=1n(Xje-X¯)2

ne dépend pas de , par exemple. De manière asymptotique, cela n'a pas d'importance non plus de changer le facteur en , ce que je ferai pour plus de commodité. Nous avons alors1E(X)=ξ 11n-11n

n(S2-σ2)=n[1nje=1nXje2-X¯2-σ2]

Et maintenant, nous supposons sans perte de généralité que et nous remarquons queξ=0

nX¯2=1n(nX¯)2

a une limite de probabilité nulle, puisque le deuxième terme est borné en probabilité (par le CLT et le théorème de mappage continu), c'est-à-dire qu'il est . Le résultat asymptotique découle désormais du théorème de Slutzky et du CLT, puisqueOp(1)

n[1nXje2-σ2]N(0,τ2)

où . Et cela le fera.τ2=Vuner{X2}=E(X4)-(E(X2))2

JohnK
la source
C'est certainement plus économique. Mais veuillez reconsidérer à quel point l' hypothèse est inoffensive . Par exemple, il exclut le cas d'un échantillon de Bernoulli ( ), et comme je le mentionne à la fin de ma réponse, pour un tel échantillon, ce résultat asymptotique ne tient pas. p = une / 2E(X)=0p=1/2
Alecos Papadopoulos
@AlecosPapadopoulos En effet mais les données peuvent toujours être centrées, non? Je veux dire et nous pouvons travailler avec ces variables. Pour l'affaire Bernoulli, y a-t-il quelque chose qui nous en empêche?
je=1n(Xje-μ-(X¯-μ))2=je=1n(Xje-X¯)2
JohnK
@AlecosPapadopoulos Oh oui, je vois le problème.
JohnK
J'ai écrit un petit morceau sur le sujet, je pense qu'il est temps de le télécharger sur mon blog. Je vous informerai au cas où vous seriez intéressé à le lire. La distribution asymptotique de la variance de l'échantillon dans ce cas est intéressante, et encore plus la distribution asymptotique de l'écart-type de l'échantillon. Ces résultats sont valables pour toute variable aléatoire dichotomique . p=1/2
Alecos Papadopoulos
1
Question stupide, mais comment supposer que est accessoire si les ne sont pas normaux? Ou bien toujours accessoire (par rapport à la moyenne de la paramétrisation, je suppose), mais uniquement indépendant de la moyenne de l'échantillon lorsque la moyenne de l'échantillon est une statistique complète suffisante (c'est-à-dire normalement distribuée) par le théorème de Basu? S2XiS2
Chill2Macht
3

Les excellentes réponses d' Alecos et de JohnK donnent déjà le résultat que vous recherchez, mais je voudrais noter autre chose sur la distribution asymptotique de la variance de l'échantillon.

Il est courant de voir des résultats asymptotiques présentés en utilisant la distribution normale, et cela est utile pour énoncer les théorèmes. Cependant, en pratique, le but d'une distribution asymptotique pour une statistique d'échantillon est qu'elle vous permet d'obtenir une distribution approximative lorsque est grand. Il y a beaucoup de choix que vous pourriez faire pour votre approximation à large échantillon, car de nombreuses distributions ont la même forme asymptotique. Dans le cas de la variance de l'échantillon, je suis d'avis qu'une excellente distribution d'approximation pour les grands est donnée par:nn

Sn2σ2Chi-Sq(df=Fn)Fn,

où et est le paramètre kurtosis. Cette distribution est asymptotiquement équivalente à l'approximation normale dérivée du théorème (la distribution du khi carré converge vers la normale lorsque les degrés de liberté tendent vers l'infini). Malgré cette équivalence, cette approximation a diverses autres propriétés que vous aimeriez que votre distribution approximative ait:Fn2/V(Sn2/σ2)=2n/(κ-(n-3)/(n-1))κ=μ4/σ4

  • Contrairement à l'approximation normale dérivée directement du théorème, cette distribution a le support correct pour la statistique d'intérêt. La variance de l'échantillon n'est pas négative, et cette distribution a un support non négatif.

  • Dans le cas où les valeurs sous-jacentes sont normalement distribuées, cette approximation est en fait la distribution d'échantillonnage exacte. (Dans ce cas, nous avons qui donne , qui est la forme standard utilisée dans la plupart des textes.) Il constitue donc un résultat exact dans un cas spécial important, tout en restant une approximation raisonnable dans cas plus généraux.κ=3Fn=n-1


Dérivation du résultat ci-dessus: Les résultats de distribution approximatifs pour la moyenne et la variance de l'échantillon sont discutés en détail dans O'Neill (2014) , et cet article fournit des dérivations de nombreux résultats, y compris la distribution approximative actuelle.

Cette dérivation part du résultat limitatif de la question:

n(Sn2-σ2)N(0,σ4(κ-1)).

En réorganisant ce résultat, nous obtenons l'approximation:

Sn2σ2N(1,κ-1n).

Puisque la distribution du chi carré est asymptotiquement normale, comme nous avons:F

Chi-Sq(F)F1FN(F,2F)=N(1,2F).

La prise de (qui donne la formule ci-dessus) donne qui garantit que la distribution du chi carré est asymptotiquement équivalent à l'approximation normale du théorème limite.Fn2/V(Sn2/σ2)Fn2n/(κ-1)

Réintégrer Monica
la source
Une question empiriquement intéressante est celle de savoir lequel de ces deux résultats asymptotiques fonctionne mieux dans des cas d'échantillon fini sous diverses distributions de données sous-jacentes.
lzstat
Oui, je pense que ce serait une étude de simulation très intéressante (et publiable). Étant donné que la formule actuelle est basée sur la correction de kurtosis de la variance de la variance de l'échantillon, je m'attendrais à ce que le résultat actuel fonctionne mieux lorsque vous avez une distribution sous-jacente avec un paramètre de kurtosis qui est loin d'être mésokurtique (c'est-à-dire lorsque le kurtosis- la correction importe le plus). Étant donné que le kurtosis devrait être estimé à partir de l'échantillon, il reste à savoir quand il y aurait une amélioration substantielle de la performance globale.
Rétablir Monica le