Comment estimer le troisième quartile de données regroupées?

12

Existe-t-il une astuce technique pour déterminer le troisième quartile s'il appartient à un intervalle ouvert qui contient plus d'un quart de la population (donc je ne peux pas fermer l'intervalle et utiliser la formule standard)?

Éditer

Au cas où j'aurais mal compris quelque chose, je fournirai un contexte plus ou moins complet. J'ai des données disposées dans un tableau avec deux colonnes et, disons, 6 lignes. A chaque colonne correspond un intervalle (dans la première colonne) et une quantité de population qui "appartient" à cet intervalle. Le dernier intervalle est ouvert et comprend plus de 25% de la population. Tous les intervalles (à l'exception du dernier) ont la même plage.

Exemples de données (transposées pour présentation):

Column 1: (6;8),(8;10),(10;12),(12;14),(14;16),(16;∞)
Column 2:    51,    65,     68,     82,     78,   182

La première colonne doit être interprétée comme une fourchette de niveaux de revenu. Le second doit être interprété comme le nombre d'employés dont le revenu appartient à l'intervalle.

La formule standard à laquelle je pense est $\mathbb{Q}_{3}=x_{Q_{3}}+ \frac{\frac{3N}{4}- \sum_{i=1}^{k-1}n_{i}}{n_{Q_{3}}}r_{Q_{3}}$ .

distributions histogram descriptive-statistics atad
la source

Une hypothèse courante lorsqu'on essaie d'estimer des quantiles avec des données regroupées est de supposer l'uniformité dans les compartiments. Mais lorsque vous savez quelque chose sur la façon dont les données sont susceptibles d'être distribuées (comme pour les revenus, qui sont de droite), les hypothèses qui reflètent que les connaissances auront tendance à être meilleures. Une autre alternative serait de supposer que c'est lisse, puis de lisser les données (que ce soit par KDE ou par une distribution ajustée), de redistribuer les points dans les bacs en fonction du modèle [et éventuellement de réestimer (de façon quelque peu similaire à l'EM) l'ajustement, & redistribuer dans les bacs à nouveau] puis estimer les quantiles à partir de cela.

Glen_b -Reinstate Monica

16

Vous devez adapter ces données regroupées à un modèle de distribution, car c'est la seule façon d'extrapoler dans le quartile supérieur.

Un modèle

Par définition, un tel modèle est donné par une fonction cadlag passant de à . La probabilité qu'il attribue à n'importe quel intervalle est . Pour faire l'ajustement, vous devez poser une famille de fonctions possibles indexées par un paramètre (vectoriel) , En supposant que l'échantillon résume un ensemble de personnes choisies au hasard et indépendamment d'une population décrite par un spécifique (mais inconnu) $F$ $0$ $1$ $(a,b]$ $F(b)-F(a)$ $\theta$ $\{F_\theta\}$ $F_\theta$ , la probabilité de l'échantillon (ou vraisemblance , ) est le produit des probabilités individuelles. Dans l'exemple, cela équivaudrait à $L$

L (θ) = (F_{θ} (8) - F_{θ} (6))^{51} (F_{θ} (10) - F_{θ} (8))^{65} \dots (F_{θ} (\infty) - F_{θ} (16))^{182}

$L(\theta) = (F_\theta(8) - F_\theta(6))^{51} (F_\theta(10) - F_\theta(8))^{65} \cdots (F_\theta(\infty) - F_\theta(16))^{182}$

parce que personnes ont des probabilités associées , ont des probabilités , etc. $51$ $F_\theta(8) - F_\theta(6)$ $65$ $F_\theta(10) - F_\theta(8)$

Adaptation du modèle aux données

L' estimation du maximum de vraisemblance de est une valeur qui maximise (ou, de manière équivalente, le logarithme de ). $\theta$ $L$ $L$

Les distributions de revenus sont souvent modélisées par des distributions lognormales (voir, par exemple, http://gdrs.sourceforge.net/docs/PoleStar_TechNote_4.pdf ). En écrivant , la famille des distributions lognormales est $\theta = (\mu,\sigma)$

F_{(μ, σ)} (x) = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{(\log (x) - μ) / σ} \exp (- t^{2} / 2) d t .

$F_{(\mu, \sigma)}(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{(\log(x)-\mu)/\sigma} \exp(-t^2/2) dt.$

Pour cette famille (et bien d'autres), il est simple d'optimiser numériquement. Par exemple, dans nous écririons une fonction pour calculer puis l'optimiser, car le maximum de coïncide avec le maximum de lui-même et (généralement) est plus simple à calculer et numériquement plus stable pour travailler avec: $L$ R $\log(L(\theta))$ $\log(L)$ $L$ $\log(L)$

logL <- function(thresh, pop, mu, sigma) {
  l <- function(x1, x2) ifelse(is.na(x2), 1, pnorm(log(x2), mean=mu, sd=sigma)) 
                        - pnorm(log(x1), mean=mu, sd=sigma)
  logl <- function(n, x1, x2)  n * log(l(x1, x2))
  sum(mapply(logl, pop, thresh, c(thresh[-1], NA)))
}

thresh <- c(6,8,10,12,14,16)
pop <- c(51,65,68,82,78,182)
fit <- optim(c(0,1), function(theta) -logL(thresh, pop, theta[1], theta[2]))

La solution dans cet exemple est , trouvée dans la valeur . $\theta = (\mu,\sigma)=(2.620945, 0.379682)$ fit$par

Vérification des hypothèses du modèle

Nous devons au moins vérifier dans quelle mesure cela se conforme à la lognormalité supposée, nous écrivons donc une fonction pour calculer : $F$

predict <- function(a, b, mu, sigma, n) {
  n * ( ifelse(is.na(b), 1, pnorm(log(b), mean=mu, sd=sigma)) 
        - pnorm(log(a), mean=mu, sd=sigma) )

Elle est appliquée aux données pour obtenir les populations de casiers ajustés ou "prédits":

pred <- mapply(function(a,b) predict(a,b,fit$par[1], fit$par[2], sum(pop)), 
               thresh, c(thresh[-1], NA))

Nous pouvons dessiner des histogrammes des données et de la prédiction pour les comparer visuellement, montrés dans la première ligne de ces graphiques:

Histogrammes

Pour les comparer, nous pouvons calculer une statistique chi carré. Ceci est généralement référé à une distribution chi carré pour évaluer la signification :

chisq <- sum((pred-pop)^2 / pred)
df <- length(pop) - 2
pchisq(chisq, df, lower.tail=FALSE)

$0.0087$ $6-8$ $6$ $3$ $0.40$

Utilisation de l'ajustement pour estimer les quantiles

$6$ $3$ $(\mu, \sigma)$ $(2.620334, 0.405454)$ $F$ $75^{\text{th}}$

exp(qnorm(.75, mean=fit$par[1], sd=fit$par[2]))

$18.06$ $6$ $3$ $17.76$

Ces procédures et ce code peuvent être appliqués en général. La théorie du maximum de vraisemblance peut être davantage exploitée pour calculer un intervalle de confiance autour du troisième quartile, si cela est intéressant.

whuber
la source

Ouah merci! Je dois admettre que je ne m'attendais pas à ce qu'une machine aussi avancée (du moins pour moi) soit utilisée pour trouver une solution.

atad

La machinerie n'a pas besoin d'être avancée ou sophistiquée, mais quoi que vous fassiez, vous devez suivre les mêmes lignes générales de cet exemple: supposez quelque chose sur la répartition des revenus, utilisez-le pour s'adapter à un modèle mathématique, vérifiez le modèle pour le caractère raisonnable, et s'il est un ajustement raisonnable, utilisez-le pour calculer le quartile. En cours de route, utilisez des méthodes graphiques car elles peuvent révéler des modèles intéressants. (Ici, l'intérêt est qu'il y a un écart apparent par rapport à la lognormalité dans la tranche de faible revenu: je me demande pourquoi cela se produit et ce qu'il pourrait dire à propos de cette population.)

whuber

+1, excellente réponse. On dirait que je vais devoir encore apprendre R.

dav

8

Trop long pour un commentaire:

La réponse de Whubers est aussi bonne que n'importe quelle autre, mais il suppose une asymétrie à droite dans son modèle log-normal. Cela peut être réaliste pour les revenus d'une population générale, mais pas pour les revenus d'un seul employeur à un grade particulier.

$68$ $64$ $50$ $17.5$

$80$ $17.3$

$17$

Henri
la source

1

(+1) Merci d'avoir souligné (et analysé) la dépendance de la réponse aux hypothèses du modèle. Si (dans l'exemple) vous ne pouvez rien supposer, alors tout ce que vous pouvez dire, c'est que le troisième quartile dépasse

. Si vous supposez un modèle, alors au moins vous pouvez dire au consommateur de vos conseils: "si votre image de la répartition des revenus est au moins à peu près ce que j'ai supposé, alors vous pouvez utiliser mon résultat comme une estimation raisonnable du troisième quantile. " (La plupart des conclusions statistiques sont implicitement des conditions de ce type.)

16

$16$