Faut-il enseigner le kurtosis dans un cours de statistique appliquée? Si c'est le cas, comment?

17

La tendance centrale, la propagation et l'asymétrie peuvent toutes être définies relativement bien, au moins sur une base intuitive; les mesures mathématiques standard de ces choses correspondent également relativement bien à nos notions intuitives. Mais le kurtosis semble être différent. C'est très déroutant et cela ne correspond pas bien à toute intuition sur la forme distributionnelle.

Une explication typique de kurtosis dans un cadre appliqué serait cet extrait des statistiques appliquées pour les entreprises et la gestion utilisant Microsoft Excel :[1]

Le kurtosis fait référence au pic de distribution ou inversement à la platitude. S'il y a plus de valeurs de données dans les queues que ce que vous attendez d'une distribution normale, le kurtosis est positif. Inversement, s'il y a moins de valeurs de données dans les queues que vous ne le pensez dans une distribution normale, le kurtosis est négatif. Excel ne peut pas calculer cette statistique sauf si vous avez au moins quatre valeurs de données.

Mis à part la confusion entre «kurtosis» et «excess kurtosis» (comme dans ce livre, il est courant d'utiliser le premier mot pour désigner ce que d'autres auteurs appellent ce dernier), l'interprétation en termes de «pic» ou de «planéité» est alors embrouillé par le changement d'attention sur le nombre d'éléments de données dans les queues. Il est nécessaire de tenir compte à la fois du "pic" et de la "queue" - Kaplansky[2]s'est plaint en 1945 que de nombreux manuels de l'époque déclaraient à tort que le kurtosis était lié à la hauteur du pic de la distribution par rapport à celui d'une distribution normale, sans tenir compte des queues. Mais avoir clairement à considérer la forme à la fois au sommet et dans la queue rend l'intuition plus difficile à saisir, un point que l'extrait cité ci-dessus saute en passant de la pointe à la lourdeur de la queue comme si ces concepts étaient les mêmes.

De plus, cette explication classique de "pic et queue" de kurtosis ne fonctionne bien que pour les distributions symétriques et unimodales (en effet, les exemples illustrés dans ce texte sont tous symétriques). Pourtant, la manière générale "correcte" d'interpréter le kurtosis, que ce soit en termes de "pics", de "queues" ou de "épaules", est contestée depuis des décennies . [2][3][4][5][6]

Existe-t-il un moyen intuitif d'enseigner le kurtosis dans un cadre appliqué qui ne heurtera pas les contradictions ou les contre-exemples lorsqu'une approche plus rigoureuse est adoptée? Le kurtosis est-il même un concept utile dans le contexte de ce type de cours d'analyse de données appliquées, par opposition aux cours de statistiques mathématiques? Si le «pic» d'une distribution est un concept intuitivement utile, devrions-nous plutôt l'enseigner au moyen de moments L ?[7]

[1] Herkenhoff, L. et Fogli, J. (2013). Statistiques appliquées aux entreprises et à la gestion à l'aide de Microsoft Excel . New York, NY: Springer.

[2] Kaplansky, I. (1945). "Une erreur courante concernant le kurtosis". Journal de l'American Statistical Association , 40 (230): 259.

[3] Darlington, Richard B (1970). "Est-ce que Kurtosis est vraiment un" pic "?". The American Statistician 24 (2): 19-22

[4] Moors, JJA. (1986) "Le sens de kurtosis: Darlington réexaminé". The American Statistician 40 (4): 283–284

[5] Balanda, Kevin P. et MacGillivray, HL (1988). " Kurtosis: A Critical Review". The American Statistician 42 (2): 111-119

[6] DeCarlo, LT (1997). " Sur le sens et l'utilisation du kurtosis ". Méthodes psychologiques , 2 (3), 292. Chicago

[7] Hosking, JRM (1992). "Moments ou moments L? Un exemple comparant deux mesures de forme distributionnelle". The American Statistician 46 (3): 186–189

Silverfish
la source
2
Qu'entendez-vous par les programmes habituels? C'est à dire quel niveau d'éducation.
Gumeo
5
Qu'enseignez-vous exactement sur le kurtosis? Cette question est assez vague telle quelle. Veuillez indiquer comment cela s'intègre dans vos programmes scolaires maintenant et peut-être quelques exemples intuitifs des mesures standard avec lesquelles vous êtes d'accord qui sont contredits dans le kurtosis.
John
3
Je ne pense pas que la mesure du moment de kurtosis soit en réalité très différente de l'asymétrie du moment à cet égard. Dans les deux cas, ils ne reflètent pas vraiment ce que les gens pensent qu'ils font, et ils sont tous deux moins intuitifs que les histoires que les gens se racontent à leur sujet. Pour chaque contre-exemple surprenant que j'ai sur la kurtose, j'en ai un autre sur l'asymétrie. Je ne supprimerais pas l'un d'eux, mais je réduirais l'accent sur les mesures du moment, je les déplacerais plus tard et changerais la façon dont elles sont enseignées, afin que nous ne confondions pas différents concepts et que nous ne le fassions pas. faire des déclarations qui ne tiennent pas.
Glen_b -Reinstate Monica
3
Une asymétrie plus élevée n'implique pas une queue plus lourde dans le sens de l'asymétrie. L'asymétrie zéro ne signifie pas la symétrie (tous les moments impairs zéro n'implique même pas la symétrie). La symétrie n'implique même pas une asymétrie nulle. Quelles intuitions restent?
Glen_b -Reinstate Monica
3
Voici une autre réponse avec une discussion qui a une classe intéressante d'exemples. Il y en a d'autres mais je ne les vois pas en ce moment. Certains des postes de whuber sont également utiles.
Glen_b -Reinstate Monica

Réponses:

18

Kurtosis est vraiment assez simple ... et utile. C'est simplement une mesure des valeurs aberrantes ou des queues. Cela n'a absolument rien à voir avec le pic - cette définition doit être abandonnée.

Voici un ensemble de données:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Notez que «999» est une valeur aberrante.

Voici les valeurs de l'ensemble de données:z4

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Notez que seule la valeur aberrante donne un sensiblement différent de 0.z4

La moyenne de ces valeurs est le kurtosis de la distribution empirique (soustrayez 3 si vous voulez, peu importe le point que je fais): 18.05z4

Il devrait être évident d'après ce calcul que les données proches du «pic» (les données non aberrantes) ne contribuent presque rien à la statistique de kurtosis.

Kurtosis est utile comme mesure des valeurs aberrantes. Les valeurs aberrantes sont importantes pour les élèves du primaire et, par conséquent, le kurtosis devrait être enseigné. Mais le kurtosis n'a pratiquement rien à voir avec le pic, qu'il soit pointu, plat, bimodal ou infini. Vous pouvez avoir tout ce qui précède avec une petite kurtosis et tout ce qui précède avec une grande kurtosis. Il ne faut donc JAMAIS présenter cela comme ayant quelque chose à voir avec le pic, car cela enseignera des informations incorrectes. Cela rend également le matériel déroutant et apparemment moins utile.

Sommaire:

  1. kurtosis est utile comme mesure des queues (valeurs aberrantes).
  2. kurtosis n'a rien à voir avec le pic.
  3. kurtosis est pratiquement utile et devrait être enseigné, mais seulement comme une mesure des valeurs aberrantes. Ne mentionnez pas le pic lorsque vous enseignez le kurtosis.

Cet article explique clairement pourquoi la définition de "Peakedness" est maintenant officiellement morte.

Westfall, PH (2014). " Kurtosis as Peakedness, 1905 - 2014. RIP " The American Statistician , 68 (3), 191–195.

Peter Westfall
la source
4
$$z^4$LATEX
6

Bien que la question soit quelque peu vague, elle est intéressante. À quels niveaux le kurtosis est-il enseigné? Je me souviens qu'il a été mentionné dans un cours (de niveau master) sur les modèles linéaires (il y a longtemps, basé sur la première édition du livre de Seber). Ce n'était pas un sujet important, mais il entre dans des sujets tels que l'étude du (manque de) robustesse du test du rapport de vraisemblance (test F) d'égalité des variances, où (de mémoire) le niveau correct dépend asymptotiquement de la même kurtosis que le distribution normale, ce qui est trop à supposer! Nous avons vu un document (mais je ne l'ai jamais lu avec des détails) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents par Oja, qui essaie de découvrir ce que l'asymétrie, le kurtosis et de telles mesures réellement.

Pourquoi est-ce que je trouve cela intéressant? Parce que j'ai enseigné en Amérique latine, où il semble que l'asymétrie et le kurtosis soient enseignés par de nombreux sujets importants, et que j'essaie de dire aux étudiants de troisième cycle (beaucoup d'économie) que le kurtosis est une mauvaise mesure de la forme d'une distribution (principalement parce que la variabilité d'échantillonnage des quatrièmes puissances est tout simplement trop grande), était difficile. J'essayais de leur faire utiliser QQplots à la place. Donc, pour certains commentateurs, oui, cela est enseigné à certains endroits, probablement trop!

Au fait, ce n'est pas seulement mon avis. Le billet de blog suivant https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics contient cette citation (attribuée au Dr Wheeler):

En bref, l'asymétrie et le kurtosis sont pratiquement sans valeur. Shewhart a fait cette observation dans son premier livre. Les statistiques d'asymétrie et de kurtosis ne fournissent tout simplement pas d'informations utiles autres que celles déjà fournies par les mesures de localisation et de dispersion.

Nous devrions enseigner de meilleures techniques pour étudier les formes de distributions! comme les QQplots (ou les graphiques de distribution relative). Et, si quelqu'un a encore besoin de mesures numériques, les mesures basées sur les moments L sont meilleures. Je citerai un passage de l'article JR Statist Soc B (1990) 52, No 1, pp 105-124 de JRM Hosking: "L-moments: Analysis and Estimation of Distribution using Linear Combination of Order Statistics", page 109:

λ1λ2μ(F)12σ1(F)τ3τ4

(Pour le moment, je me réfère au document pour les définitions de ces mesures, elles sont toutes basées sur des moments L.) La chose intéressante est que, la mesure traditionnelle de kurtosis, basée sur des quatrièmes moments, n'est pas une mesure de kurtosis dans le sens d'Oja! (Je modifierai les références de cette revendication lorsque je pourrai la trouver).

kjetil b halvorsen
la source
1
Aucun problème avec l'utilisation de techniques graphiques et autres pour comprendre les propriétés de distribution, mais l'affirmation selon laquelle «l'asymétrie et le kurtosis sont pratiquement sans valeur» est une hyperbole. Les deux ont de grands effets sur toutes sortes d'inférences statistiques.
Peter Westfall
@Peter Il s'agissait probablement de "kurtosis empirique" dans cette déclaration.
kjetil b halvorsen du
1
Même ainsi, le kurtosis empirique vous indique quand vous avez un problème aberrant dans vos données. Donc, je pense toujours que le commentaire "l'asymétrie et le kurtosis sont pratiquement sans valeur" est une hyperbole. Bien sûr, ce ne sont peut-être pas de bonnes estimations des paramètres de la «population», en particulier avec des échantillons de plus petite taille, mais «pratiquement sans valeur» est un tronçon. Même s'ils n'évaluent pas particulièrement bien les paramètres de la population, ils fournissent quand même des informations descriptives utiles sur l'ensemble de données existant. Des informations qui, bien sûr, devraient être complétées par des vues graphiques telles que les graphiques qq.
Peter Westfall
@Peter Westfall: Le vrai Q est peut-être si le kurtosis empirique est la meilleure mesure pour détecter les problèmes aberrants, ou s'il y a quelque chose de mieux?
kjetil b halvorsen
Le kurtosis empirique mesure le caractère aberrant d'un ensemble de données, et non les valeurs aberrantes individuelles. Je n'irais pas jusqu'à dire que kurtosis = 3 (comme d'habitude) signifie «pas de valeurs aberrantes», mais je dirais qu'un tel cas signifie que le caractère aberrant (mesuré par la valeur z moyenne, chacun est porté au quatrième puissance) est similaire à celle d'une distribution normale. D'un autre côté, un énorme kurtosis indique très certainement un problème aberrant. Oui, les parcelles qq normales sont meilleures pour un diagnostic plus précis. BTW, l'intrigue qq normale et l'excès de kurtosis ont une connexion mathématique ferme.
Peter Westfall
3

À mon avis, le coefficient d'asymétrie est utile pour motiver les termes: asymétrique positive et asymétrique négative. Mais c'est là que cela s'arrête, si votre objectif est d'évaluer la normalité. Les mesures classiques d'asymétrie et de kurtosis échouent souvent à saisir divers types d'écart par rapport à la normalité. Je recommande généralement à mes élèves d'utiliser des techniques graphiques pour évaluer qu'il est raisonnable d'évaluer la normalité, comme un tracé qq ou un tracé de probabilité normale. Également avec un échantillon de taille adéquate, un histogramme peut également être utilisé. Les boîtes à moustaches sont également utiles pour identifier les valeurs aberrantes ou même les queues lourdes.

Cela est conforme aux recommandations d'un groupe de travail de 1999 de l'APA:

" Hypothèses. Vous devez vous efforcer de vous assurer que les hypothèses sous-jacentes requises pour l'analyse sont raisonnables compte tenu des données. Examinez attentivement les résidus. N'utilisez pas de tests de distribution et d'indices statistiques de forme (par exemple, asymétrie, kurtosis) comme substitut pour examiner graphiquement vos résidus. L'utilisation d'un test statistique pour diagnostiquer les problèmes d'ajustement de modèle présente plusieurs inconvénients. Premièrement, les tests de signification diagnostique basés sur des statistiques sommaires (tels que les tests d'homogénéité de la variance) sont souvent peu pratiques; nos tests statistiques de modèles sont souvent plus robustes que nos tests statistiques d'hypothèses. Deuxièmement, les statistiques telles que l'asymétrie et le kurtosis ne parviennent souvent pas à détecter des irrégularités de distribution dans les résidus. Troisièmement, les tests statistiques dépendent de la taille de l'échantillon et à mesure que la taille de l'échantillon augmente, les tests rejetteront souvent des hypothèses inoffensives. En général, rien ne remplace l'analyse graphique des hypothèses."

Référence: Wilkinson, L., & Task Force on Statistical Inference. (1999). Méthodes statistiques dans les revues de psychologie: lignes directrices et explications. Psychologue américain, 54, 594-604.

G. Lamothe
la source
1

Selon l'application du cours, la question de l'exactitude des estimations pourrait se poser. La précision de l'estimation de la variance dépend fortement de l'aplatissement. La raison pour laquelle cela se produit est qu'avec un kurtosis élevé, la distribution permet des données rares et extrêmes potentiellement observables. Ainsi, le processus de génération de données produira des valeurs très extrêmes dans certains échantillons, et pas des valeurs aussi extrêmes dans d'autres. Dans le premier cas, vous obtenez une très grande estimation de la variance, et dans le second, une petite estimation de la variance.

Si l’interprétation obsolète et incorrecte du «pic» était éliminée et que l’accent était entièrement mis sur les valeurs aberrantes (c.-à-d., Observables rares et extrêmes), il serait plus facile d’enseigner le kurtosis dans les cours d’introduction. Mais les gens se tordent pour essayer de justifier le "pic" parce qu'il est (incorrectement) énoncé de cette façon dans leurs manuels scolaires, et ils manquent les vraies applications du kurtosis. Ces applications concernent principalement les valeurs aberrantes, et bien sûr les valeurs aberrantes sont importantes dans les cours de statistiques appliquées.

Peter Westfall
la source
1
Êtes-vous le même Peter Westfall que l'auteur de la réponse la plus votée de ce fil? Si tel est le cas, vous pouvez fusionner vos profils, puis modifier directement votre ancienne réponse au lieu de publier une autre réponse.
amibe dit Réintégrer Monica
1
Oui, désolé d'avoir raté la netiquette.
Peter Westfall
-1

Kurt[X]=E[(Xμσ)4]=μ4σ4=E[(Xμ)4](E[(Xμ)2])2,

1ni=1nμ,σ2,μ4μσ2

Aksakal
la source
1
Le problème est que, une fois que vous obtenez le kurtosis, ce n'est pas intuitif ce que cela signifie (le cas échéant). Il ne correspond pas aux qualités utiles de la distribution.
Peter Flom - Réintègre Monica
Oui, le kurtosis correspond à une qualité très utile d'une distribution - c'est une mesure du poids de la queue (valeurs aberrantes). Soutenir les théorèmes mathématiques, pour lesquels il n'y a pas de contre-exemple: (i) le kurtosis se situe entre E (Z ^ 4 * I (| Z |> 1)) et E (Z ^ 4 * I (| Z |> 1)) + 1 , pour toutes les distributions ayant un 4ème moment fini. (ii) pour la sous-classe des distributions continues où la densité de Z ^ 2 diminue sur (0,1), le kurtosis est compris entre E (Z ^ 4 * I (| Z |> 1)) et E (Z ^ 4 * I (| Z |> 1)) + .5, et (iii) pour toute séquence de distributions avec kurtosis tendant vers l'infini, E (Z ^ 4 * I (| Z |> b)) / kurtosis -> 1, pour chaque vrai b.
Peter Westfall