Kurtosis de distribution composée

8

Regardez l'image ci-dessous. La ligne bleue indique le pdf normal standard. La zone rouge est censée être égale à la somme des zones grises (désolé pour un dessin horrible).

Je me demande si nous pouvons créer une nouvelle distribution avec un pic plus élevé en déplaçant les zones grises vers le haut (zone rouge) du pdf normal?

nouvelle distribution avec un pic plus élevé

Si une telle transformation peut être faite, que pensez-vous du kurtosis de cette nouvelle distribution? Leptokurtic? Mais il a les mêmes queues que la distribution normale! Indéfini?

Yal dc
la source
1
La question est belle mais le dessin est vraiment affreux. La distribution plus nette-kurtic-than-normal est censée être à queue plus lourde. Mais vous n'avez pas dessiné ces régions de queue (qui devraient également être colorées en rouge). À quels domaines pensez-vous ajouter?
ttnphns
1
Pourquoi ne pas l'essayer? Simulez (disons) 10 000 à partir d'une normale standard, puis déplacez quelques chiffres pour faire la distribution que vous voulez. Ensuite, vous pouvez tracer la ligne avec un programme et calculer également le kurtosis.
Peter Flom
Si vous êtes prêt à sacrifier la différentiabilité de la densité, alors vous pourriez construire une telle distribution (qui aurait une densité par morceaux).
Alecos Papadopoulos
2
@ttnphns, désolé si la balise vous a induit en erreur. J'espérais que cette image montrerait clairement que je ne veux pas de changements dans les queues. Habituellement, les manuels parlent de kurtosis en comparant le changement simultané du pic et des queues. Je veux comprendre ce que l'on peut dire à propos de la kurtosis lorsque seul le pic devient plus élevé.
Yal dc
1
Yal dc - vous devez noter que votre écart-type a changé, de sorte que les `` queues '' ne sont pas les mêmes, sauf si vous utilisez des définitions particulières detail
Glen_b -Reinstate Monica

Réponses:

12

Il y aura un nombre infini de distributions qui ressemblent beaucoup à votre dessin, avec une variété de valeurs différentes pour kurtosis.

Avec les conditions particulières de votre question et étant donné que nous maintenons le point de croisement à l'intérieur, ou du moins pas trop loin à l'extérieur±1, cela devrait être le cas si vous obtenez un kurtosis légèrement plus grand que pour la normale. Je vais montrer trois cas où cela se produit, puis j'en montrerai un où il est plus petit - et expliquer les causes de ce phénomène.

Étant donné que ϕ(x) et Φ(x) sont respectivement les pdf et cdf normaux standard, écrivons-nous une petite fonction

f(x)={ϕ(x);|x|>ta+b.g(x);|x|t 

pour une densité symétrique continue g (avec cdf correspondant G), avec moyenne 0, tel que et .b=Φ(t)-½-t.ϕ(t)g(t)-½-t.g(t)une=ϕ(t)-b.g(t)

Autrement dit, et sont choisis pour rendre la densité continue et s'intégrer à .uneb1

Exemple 1 Considéronset,g(x)=3ϕ(3x)t=1

entrez la description de l'image ici

qui ressemble à votre dessin, généré ici par le code R suivant:

f <- function(x, t=1,
              dg=function(x) 2*dnorm(2*x),
              pg=function(x) pnorm(2*x),
              b=(pnorm(t) - 0.5 - t*dnorm(t))/ (pg(t) - 0.5 - t*dg(t)),
              a=dnorm(t)-b*dg(t) ) {
       ifelse(abs(x)>t,dnorm(x),a+b*dg(x))
     }

f1 <- function(x) f(x,t=1,dg=function(x) 3*dnorm(3*x),pg=function(x) pnorm(3*x))
curve(f1,-4,4,col=2)
lines(x,dnorm(x),col=3)

Maintenant, les calculs. Faisons une fonction pour évaluer :XpF1(X)

fp <- function(x,p=2) x^p*f1(x)

afin que nous puissions évaluer les moments. D'abord la variance:

 integrate(fp,-Inf,Inf)  # should be just smaller than 1
0.9828341 with absolute error < 1.4e-07

Ensuite le quatrième moment central:

 integrate(fp,-Inf,Inf,p=4) # should be just smaller than 3
2.990153 with absolute error < 8.3e-06

Nous avons besoin du rapport de ces nombres, qui devrait avoir une précision d'environ 5 chiffres

 integrate(fp,-Inf,Inf,p=4)$value/(integrate(fp,-Inf,Inf)$value^2)
[1] 3.095515

Le kurtosis est donc d'environ 3,0955, légèrement plus grand que dans le cas normal.

Bien sûr, nous pourrions le calculer algébriquement et obtenir une réponse exacte, mais ce n'est pas nécessaire, cela nous dit ce que nous voulons savoir.


Exemple 2 Avec la fonctiondéfinie ci-dessus, nous pouvons l'essayer pour toutes sortes de.Fg

Voici le Laplace:

library(distr)
D <- DExp(rate = 1) 
f2 <- function(x) f(x,t=1,dg=d(D),pg=p(D))
curve(f2,-4,4,col=2)
lines(x,dnorm(x),col=3)

entrez la description de l'image ici

fp2 <- function(x,p=2) x^p*f2(x)


 integrate(fp2,-Inf,Inf)  # should be just smaller than 1
0.9911295 with absolute error < 1.1e-07
 integrate(fp2,-Inf,Inf,p=4) # should be just smaller than 3
2.995212 with absolute error < 5.9e-06
 integrate(fp2,-Inf,Inf,p=4)$value/(integrate(fp2,-Inf,Inf)$value^2)
[1] 3.049065

Sans surprise, un résultat similaire.


Exemple 3 : Prenonspour une distribution de Cauchy (une distribution de Student-t avec 1 df), mais avec une échelle 2/3 (c'est-à-dire, siest un Cauchy standard,, et fixez à nouveau le seuil, t (en donnant les points,, en dehors desquels nous «passons» à la normale), à ​​1.gh(X)g(X)=1,5h(1,5X)±t

dg <- function(x) 1.5*dt(1.5*x,df=1)
pg <- function(x) pt(1.5*x,df=1)

f3 <- function(x) f(x,t=1,dg=dg,pg=pg)
curve(f3,-4,4,col=2)
lines(x,dnorm(x),col=3)

entrez la description de l'image ici

fp3 <- function(x,p=2) x^p*f3(x)

 integrate(fp3,-Inf,Inf)  # should be just smaller than 1
0.9915525 with absolute error < 1.1e-07

 integrate(fp3,-Inf,Inf,p=4) # should be just smaller than 3
2.995066 with absolute error < 6.2e-06

 integrate(fp3,-Inf,Inf,p=4)$value/(integrate(fp2,-Inf,Inf)$value^2)
[1] 3.048917

Et juste pour démontrer que nous avons effectivement une densité appropriée:

 integrate(f3,-Inf,Inf)
1 with absolute error < 9.4e-05

Exemple 4 : Que se passe-t-il quand on change t ?

Prenez et comme exemple précédent, mais changez le seuil en :ggt=2

f4 <- function(x) f(x,t=2,dg=dg,pg=pg)
curve(f4,-4,4,col=2)
lines(x,dnorm(x),col=3)

entrez la description de l'image ici

fp4 <- function(x,p=2) x^p*f4(x)

 integrate(fp4,-Inf,Inf,p=4)$value/(integrate(fp2,-Inf,Inf)$value^2)
[1] 2.755231

Comment cela peut-il arriver?

Eh bien, il est important de savoir que le kurtosis est (parlant légèrement lâche) 1+ la variance quadratique de :μ±σ

entrez la description de l'image ici

Les trois distributions ont la même moyenne et la même variance.

La courbe noire est la densité normale standard. La courbe verte montre une distribution assez concentrée autour de (c'est-à-dire que la variance autour de est petite, conduisant à une kurtosis qui se rapproche de 1, la plus petite possible). La courbe rouge montre un cas où la distribution est "repoussée" de ; c'est le kurtosis est grand.μ±σμ±σμ±σ

Dans cet esprit, si nous fixons les points de seuil suffisamment loin en dehors de nous pouvons pousser le kurtosis en dessous de 3 et avoir toujours un pic plus élevé.μ±σ

Glen_b -Reinstate Monica
la source
excellent travail. Je vous remercie. Une dernière question, si cela ne vous dérange pas: y a-t-il une règle pour décider où un pic se termine et où commence la queue?
Yal dc
1
Pas vraiment. Si nous nous limitons au cas unimodal symétrique continu avec un 4ème moment fini (puisque nous discutons de kurtosis), dans de nombreux cas, je ne pense pas que cela ait beaucoup de sens d'appeler quoi que ce soit à l' extérieur μ±σ«le pic» ni rien à l' intérieur μ±σ«la queue», mais parfois c'est difficile à dire. par exemple, considérerF(X)=(3+2une)/6-uneX2; -1<X<1,0<une<34; quanduneest proche 0, il n'y a aucun endroit évident pour commencer à appeler tout ça la queue. De l'autre, avec la distribution de Laplace, vous pourriez sans doute appeler n'importe quoi de chaque côté du centre exact de la queue.
Glen_b -Reinstate Monica
4

Kurtosis est un concept plutôt mal compris (je trouve que l'article de LT De Carlo "Sur la signification et l'utilisation de Kurtosis" (1997) est une discussion et une présentation sensées et précieuses des problèmes impliqués).

Je vais donc prendre la vue naïve, et je vais construire une densité, gX(X), avec "une valeur moyenne plus mince et plus élevée en mode", par rapport à la densité normale standard, mais des "queues" identiques avec cette dernière. Je ne prétends pas que cette densité présente un "kurtosis excessif".

Cette densité sera nécessairement échelonnée. Afin d'avoir des "queues" identiques à gauche et à droite, sa forme fonctionnelle pour les intervalles(-,-une) et (une,), où une>0, doit être identique à la normale standard ϕ(X)densité. Dans l'intervalle intermédiaire,(-une,une), il devrait avoir une autre forme fonctionnelle, appelez-le h(X). Cetteh(X) doit être symétrique autour de zéro et satisfaire

1) h(0)>ϕ(0)=1/2π de sorte que la valeur de la densité dans le mode soit supérieure à la valeur de la normale standard, et

2) ϕ(-une)=h(-une)=h(une)=ϕ(une) pour que gX(X) est continu.

De plus, gX(X)devrait s'intégrer à l'unité sur le domaine, afin d'être une bonne densité. Cette densité sera donc

gX(X)=ϕ(X)-<X-uneh(X)-uneXuneϕ(X)uneX<

sous réserve des restrictions mentionnées h(X) et aussi, sous réserve

--uneϕ(t)t+-uneuneh(t)t+uneϕ(t)t=1

ce qui équivaut à exiger que la masse de probabilité sous h(X) dans l'intervalle (-une,une) doit être égal à la masse de probabilité sous ϕ(X) dans le même intervalle:

-une-une(h(t)-ϕ(t))t=00une(h(t)-ϕ(t))t=0
la dernière partie en raison des propriétés de symétrie.

Pour obtenir quelque chose de spécifique, nous allons "essayer" la densité de la distribution de Laplace à moyenne nulle pour h(X)

h(X)=12be-|X|b,b>0

Pour satisfaire les différentes exigences fixées précédemment, nous devons avoir:

Pour une valeur plus élevée en mode,

h(0)=12b>ϕ(0)=12π0<b<π/2[1]

Pour la continuité,

h(une)=ϕ(une)12be-uneb=12πe-12une2
-ln(2b)-uneb=-ln(2π)-12une212une2-uneb+lnπ/2b

Ceci est un quadratique une. Son discriminant est

Δune=1b2-412lnπ/2b>0

(on peut facilement vérifier qu'il est toujours positif). De plus, nous ne gardons que la racine positive puisqueune>0 donc

une=1b+Δune[2]

Enfin, l'exigence d'intégrer la densité à l'unité se traduit par

0une12be-|X|bt=0uneϕ(t)t

qui, par une intégration simple, conduit à

1-e-uneb=2(Φ(une)-12)=erf(une/2)[3]

qui peut être résolu numériquement pour b, et ainsi déterminer complètement la densité que nous recherchons.

Bien sûr, d'autres formes fonctionnelles symétriques autour de zéro pourraient être essayées, le pdf laplacien était juste à des fins d'exposition.

Alecos Papadopoulos
la source
1
J'ai trouvé l'article que vous avez mentionné très instructif. Je vous remercie.
Yal dc
1
Une mise en garde à propos du document DeCarlo: La toute première phrase du résumé est mathématiquement incorrecte. Il déclare: "Pour les distributions unimodales symétriques, un kurtosis positif indique des queues lourdes et un pic par rapport à la distribution normale, tandis qu'un kurtosis négatif indique des queues légères et une planéité." Mais il existe des distributions unimodales symétriques avec un excès de kurtosis négatif qui ont des pics infinis, et il y a des distributions unimodales symétriques avec un kurtosis infini qui ont des pics parfaitement plats.
Peter Westfall
0

Le kurtosis de cette distribution sera probablement plus élevé que celui d'une distribution normale. Je dis probablement parce que je fonde cela sur un dessin approximatif, et bien qu'il soit possible de prouver que le déplacement de la masse de cette manière augmente toujours le kurtosis, je ne suis pas positif à ce sujet.

Bien qu'il soit vrai qu'elle a les mêmes queues qu'une distribution normale, cette distribution aura une variance inférieure à la distribution normale dont elle est dérivée. Ce qui signifie que ses queues correspondront aux queues d'une certaine distribution normale, mais pas d'une distribution normale avec la même variance qu'elle. Ainsi, les queues normalisées seront en fait plus épaisses que les queues d'une distribution normale. Et, bien que des queues plus épaisses ne signifient pas automatiquement plus de kurtosis, dans ce cas, le quatrième moment normalisé sera probablement également plus grand.

mpr
la source
Je suis d'accord que l'écart sera plus faible. Malheureusement, je n'ai pas compris comment le changement de variance influence les queues? N'oubliez pas que je n'ai rien fait à la queue. Les points décalés ont été pris près du sommet, pas à partir de la queue. Pourrait m'aider à comprendre votre point?
Yal dc
1
La kurtosis est définie en termes de quatrième moment normalisé, où la normalisation est effectuée en divisant par le carré de la variance. Puisque le carré de la variance diminue, le kurtosis augmente. Pour ce qui est des queues, c'est vrai qu'elles ne changent pas. Cependant, puisque la variance a baissé, pour obtenir la comparaison correcte, vous devez comparer votre distribution avec une distribution normale qui a la même variance que la vôtre. Cette autre distribution normale aura des queues plus fines, car sa variance est plus faible.
mpr
dans ce cas, je suis d'accord. La question qui reste est de savoir comment avez-vous déterminé ce qu'est " la bonne comparaison "? Est-ce une règle que nous devrions utiliser des distributions avec une variance similaire pour comparer leurs autres propriétés? Je n'ai jamais rencontré un tel principe auparavant.
Yal dc
1
La variance est le moyen standard de normaliser les distributions. Vous avez spécifiquement posé des questions sur la kurtosis, et comme je l'ai dit, la kurtosis est définie en fonction du quatrième moment normalisé, ce qui signifie que si vous êtes intéressé à comparer la kurtosis, alors oui, vous devez comparer les distributions avec la même variance.
mpr
Maintenant, je comprends. En effet, toute distribution normale a une kurtose constante alors que sa variance peut différer. Merci pour la clarification.
Yal dc
0

Il semble que l'OP essaie d'établir un lien entre le «pic» et le kurtosis en gardant les queues fixes et en rendant la distribution plus «pic». Il y a un effet sur le kurtosis ici, mais il est si léger qu'il ne vaut guère la peine d'être mentionné. Voici un théorème pour soutenir cette affirmation.

Théorème 1: Considérons toute distribution de probabilité avec un quatrième moment fini. Construisez une nouvelle distribution de probabilité en remplaçant la masse[μ-σ,μ+σ] gamme, en gardant la masse en dehors de [μ-σ,μ+σ] fixe et en maintenant l'écart moyen et standard à μ,σ. Ensuite, la différence entre les valeurs minimale et maximale du moment de kurtosis de Pearson sur tous ces remplacements est0,25.

Commentaire: La preuve est constructive; vous pouvez réellement identifier les remplacements de kurtosis min et max dans ce paramètre. En outre, 0,25 est une limite supérieure sur la plage de kurtosis, selon la distribution. Par exemple, avec une distribution normale, la limite de plage est de 0,141, plutôt que de 0,25.

D'un autre côté, il y a un effet énorme des queues sur le kurtosis, comme le donne le théorème suivant:

Théorème 2: Considérons toute distribution de probabilité avec un quatrième moment fini. Construisez une nouvelle distribution de probabilité en remplaçant la masse en dehors de la[μ-σ,μ+σ] gamme, en gardant la masse [μ-σ,μ+σ] fixe et en maintenant l'écart moyen et standard à μ,σ. Ensuite, la différence entre les valeurs minimale et maximale du moment de kurtosis de Pearson sur tous ces remplacements est illimitée; c'est-à-dire que la nouvelle distribution peut être choisie de sorte que la kurtosis soit aribitrairement grande.

Commentaire: Ces deux théorèmes montrent que l'effet des queues sur le kurtosis du moment de Pearson est infini, tandis que l'effet du "pic" est 0,25.

Peter Westfall
la source