Intervalle de confiance autour de l'estimation binomiale de 0 ou 1

Quelle est la meilleure technique pour calculer un intervalle de confiance d’une expérience binomiale, si votre estimation est que (ou de la même manière ) et que la taille de l’échantillon est relativement petite, par exemple ? $p=0$ $p=1$ $n=25$

confidence-interval binomial Kasper
la source

Est-ce que est proche de zéro ? Est-il souvent égal à zéro ou de l'ordre de 0,001 ou 0,01 ou ...? Et combien de données avez-vous?

\hat{p}

$\hat{p}$

jbowman

Nous avons généralement plus de 800 essais. Nous attendons habituellement de 0 à 0,1 pour

\hat{p}

$\hat{p}$

AI2.0

Utilisez l’intervalle Clopper – Pearson que vous avez lié. Principe général: essayez d’abord l’intervalle Clopper – Pearson. Si l'ordinateur ne parvient pas à obtenir la réponse, essayez la méthode d'approximation, telle que l'approximation normale. Selon la vitesse actuelle de l'ordinateur, je ne pense pas que nous ayons besoin d'une approximation dans la plupart des situations.

user158565

Pour obtenir uniquement la limite supérieure de l'intervalle de confiance avec ( niveau de confiance 1- , nous allons simplement utiliser B (1− ; x + 1, n − x) où x est le nombre de succès (ou d'échecs), n est la taille de l'échantillon. En python, nous utilisons simplement . Si cela est VRAI, pouvons-nous en conclure que nous sommes sûrs que 1 - sûr que la limite supérieure est délimitée par la valeur à partir de laquelle nous calculons ?

α

$\alpha$

α

$\alpha$ scipy.stats.beta.ppf(1−$\alpha$;x+1,n−x)

α

$\alpha$ scipy.stats.beta.ppf(1−$\alpha$;x+1,n−x)

AI2.0

Avec 800 essais, l'approximation normale habituelle fonctionnera assez bien jusqu'à environ (mes simulations indiquaient une couverture réelle de 94,5% sur un intervalle de confiance de 95%.) Pour 1000 essais et , la couverture réelle était d'environ 92,7%. (tous basés sur 100 000 réplications.) Il ne s’agit donc que d’un problème pour très bas , compte tenu de votre nombre d’essais.

p = 0.015

$p=0.015$

p = 0.01

$p=0.01$

p

$p$

jbowman

Réponses:

Ne pas utiliser l'approximation normale

Beaucoup a été écrit sur ce problème. Un conseil général est de ne jamais utiliser l'approximation normale (l'intervalle de confiance asymptotique / Wald), car elle a des propriétés de couverture terribles. Code R pour illustrer ceci:

library(binom)
p = seq(0,1,.001)
coverage = binom.coverage(p, 25, method="asymptotic")$coverage
plot(p, coverage, type="l")
binom.confint(0,25)
abline(h=.95, col="red")

Probabilités de couverture pour les intervalles de confiance asymptotiques pour une proportion binomiale.

Pour de petites probabilités de succès, vous pouvez demander un intervalle de confiance de 95%, mais obtenir un intervalle de confiance de 10% par exemple!

Recommandations

Alors, que devrions- nous utiliser? Je crois que les recommandations actuelles sont celles qui figurent dans le document Estimation d'intervalle pour une proportion binomiale de Brown, Cai et DasGupta dans Statistical Science 2001, vol. 16, non. 2, pages 101–133. Les auteurs ont examiné plusieurs méthodes de calcul des intervalles de confiance et sont parvenus à la conclusion suivante.

[W] e recommander l'intervalle Wilson ou la Jeffreys égale à queue intervalle avant pour les petits n et l'intervalle suggéré dans Agresti et Coull pour agrandir n .

L'intervalle de Wilson est aussi parfois appelé intervalle de score , puisqu'il repose sur l'inversion d'un test de score.

Calculer les intervalles

Pour calculer ces intervalles de confiance, vous pouvez utiliser cette calculatrice en ligne ou la binom.confint()fonction du binompackage dans R. Par exemple, pour 0 succès dans 25 essais, le code R serait:

> binom.confint(0, 25, method=c("wilson", "bayes", "agresti-coull"),
  type="central")
         method x  n  mean  lower upper
1 agresti-coull 0 25 0.000 -0.024 0.158
2         bayes 0 25 0.019  0.000 0.073
3        wilson 0 25 0.000  0.000 0.133

Voici bayesl'intervalle de Jeffreys. (L'argument type="central"est nécessaire pour obtenir l' intervalle égal .)

Notez que vous devez choisir l’une des trois méthodes à utiliser avant de calculer l’intervalle. En regardant les trois et en sélectionnant le plus court, vous aurez naturellement une probabilité de couverture trop faible.

Une réponse rapide et approximative

En guise de conclusion, si vous n’observez aucune réussite dans vos n essais et souhaitez un intervalle de confiance approximatif très rapide, vous pouvez utiliser la règle de trois . Il suffit de diviser le nombre 3 par n . Dans l'exemple ci-dessus, n est 25, la limite supérieure est donc 3/25 = 0,12 (la limite inférieure est bien sûr égale à 0).

Karl Ove Hufthammer
la source

Merci beaucoup pour votre réponse. Imaginez cet exemple concret: un architecte doit tester dans un gratte-ciel si tous les panneaux isolants des plafonds sont correctement installés. Il ouvre 25 panneaux de plafond sur une sélection de sols au hasard et trouve surtout l’isolation de ces panneaux de plafond. Nous pouvons donc en conclure que la probabilité réelle d’avoir un panneau isolant est avec une certitude de 95% entre IC [0,867 à 1] sur la base de l’intervalle de scores de Wilson?

Kasper

Je ne dirais pas que vous pouvez conclure avec "95% de certitude" (Google pour "interprétation correcte des intervalles de confiance"). En outre, ceci est basé sur l'hypothèse d' essais indépendants à probabilités de succès égales, ce qui peut ne pas être réaliste ici. Peut-être que les derniers panneaux installés présentaient un risque plus élevé d’être mal installés (la personne qui les installait devenait fatiguée / ennuyée). Ou peut-être que les premiers étaient, puisque la personne était alors moins expérimentée. Quoi qu’il en soit, si l’architecte devait vérifier que tous les panneaux sont correctement installés, il devrait s’acquitter de sa tâche, et pas seulement tester un échantillon!

Karl Ove Hufthammer le

bayesutilise l'uniforme avant (à la place de Jeffrey) lorsque les deux paramètres de forme sont 1. J'ai envoyé un courrier électronique au mainteneur du paquet binom par curiosité sur les (dés) avantages de Jeffrey par rapport à l'uniforme antérieur et il m'a dit qu'une nouvelle version utiliserait l'uniforme avant par défaut. Alors ne vous demandez pas si les résultats varient légèrement à l’avenir.

cbeleites soutient Monica

C'est une excellente réponse. Il contient toutes les informations clés que vous pouvez lire dans les articles sur le sujet, mais de manière très concise et claire. Si je pouvais voter deux fois, je le ferais.

SigmaX

La binconfméthode en Hmisccalcule également ces intervalles. La méthode de Wilson est utilisée par défaut.

SigmaX

Agretsi (2007, p. 9-10) montre que, lorsqu'une proportion tombe près de 0 ou 1, l'intervalle de confiance fonctionne mal. Au lieu de cela, utilisez un "tests de signification de la dualité wuith ... [qui] est constitué de toutes les valeurs de pour le paramètre d'hypothèse NULL qui est jugé plausible," où est le paramètre inconnu. Pour ce faire, dans l'équation . Pour ce faire, en quadrillant les deux côtés, vous obtenez Résolvez à l’aide de la formule quadratique, qui donnera valeur z critique appropriée. $p\pm z_{\alpha/2}\sqrt{p(1-p)/n}$ $\pi_0$ $\pi_0$ $\pi_0$

\frac{| p - π_{0} |}{\sqrt{p (1 - p) / n}} = 0

$\frac{|p-\pi_0|}{\sqrt{p(1-p)/n}}=0$

(1 + z_{0}^{2} / n) π_{0}^{2} + (- 2 p - z_{0}^{2} / n) π_{0} + p^{2} = 0

$(1+z_0^2/n)\pi_0^2+(-2p-z_0^2/n)\pi_0+p^2=0$

Jay Schyler Raadt
la source

Merci pour les notes. Je veux juste clarifier: est le taux supposé d'échec (ou de réussite) dans la population, alors que p est le taux d'échec observé (ou le taux de réussite) de l'échantillon. Et n étant la taille de l'échantillon, nous essayons donc de résoudre la valeur z approximative? (Quelles sont les hypothèses sous-jacentes ici?) (Souhaitez-vous me lier au document Agretsi (2007, p. 9-10)).

π_{0}

$\pi_0$

AI2.0

Oui, est le paramètre de population, est l’estimation du paramètre basée sur votre échantillon et est la taille de l’échantillon. Cette procédure vous donnera la valeur z critique que vous voulez. Les hypothèses sous-jacentes sont précisées dans Agretsi et Coull (1998), lien à la fin. Malheureusement, Agretsi (2007) est un manuel, je ne peux donc pas y accéder. scholar.google.com/…

π_{0}

$\pi_0$

p

$p$

n

$n$

Jay Schyler Raadt

C'est Agresti.

Nick Cox

@ NickCox c'est un travail différent

Jay Schyler Raadt 10/10

Alan Agresti a publié divers textes. Je suppose que vous faites allusion à Une introduction à l'analyse de données catégoriques (2e édition 2007; 3e édition prévue pour octobre 2018 et portant éventuellement la date 2019) de John Wiley.

Nick Cox