Intervalle de confiance pour la variance compte tenu d'une observation

C'est un problème de la "7e Olympiade des étudiants de Kolmogorov en théorie des probabilités":

Étant donné une observation d'une distribution avec les deux paramètres inconnus, donner un intervalle de confiance pour avec un niveau de confiance d'au moins 99%. $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

Il me semble que cela devrait être impossible. J'ai la solution, mais je ne l'ai pas encore lue. Des pensées?

Je posterai la solution dans quelques jours.

[Modification de suivi: solution officielle publiée ci-dessous. La solution de Cardinal est plus longue, mais donne un meilleur intervalle de confiance. Merci également à Max et Glen_b pour leur contribution.]

probability normal-distribution confidence-interval variance Jonathan Christensen
la source

Cela me semble impossible aussi; J'attends la réponse

Peter Flom - Réintègre Monica

Consultez ce site .

supposé normal

Voici un papier avec un meilleur formatage: papier .

supposé normal

Il h. Je me souviens avoir lu un article sur ce sujet (un intervalle d'observation) il y a plusieurs années. Ça aurait pu être celui- là.

Glen_b -Reinstate Monica

@Max, merci pour le lien! Je n'ai pas encore eu le temps de l'examiner de près, mais je le ferai. J'ai posté la réponse "officielle" ci-dessous.

Jonathan Christensen

Réponses:

Vu sous l'angle des inégalités de probabilité et des liens avec le cas d'observation multiple, ce résultat pourrait ne pas sembler si impossible, ou, du moins, il pourrait sembler plus plausible.

Soit avec et inconnu. On peut écrire pour . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Allégation principale : est un intervalle de confiance pour où est le quantile de niveau d'une distribution chi carré avec un degré de liberté. En outre, étant donné que cet intervalle a exactement couverture lorsque , il est le plus étroit intervalle possible de la forme pour un certain . $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

Une raison d'optimisme

Rappelons que dans le cas , avec , l' intervalle de confiance typique pour est où est quantile -level d'un chi-carré avec degrés de liberté. Ceci, bien sûr, est valable pour tout . Bien que ce soit l' intervalle le plus populaire (appelé intervalle de queue égale pour des raisons évidentes), ce n'est ni le seul ni même celui de la plus petite largeur! Comme il doit être évident, une autre sélection valable est $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

Depuis, , puis également une couverture d'au moins . $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{je = 1}^{n} X_{je}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Vu sous cet angle, nous pourrions alors être optimistes que l'intervalle dans la revendication principale est vrai pour . La principale différence est qu'il n'y a pas de distribution de chi carré à zéro degré de liberté dans le cas d'une observation unique, nous devons donc espérer que l'utilisation d'un quantile à un degré de liberté fonctionnera. $n = 1$

Un demi-pas vers notre destination ( Exploiter la queue droite )

Avant de plonger dans une preuve de la revendication principale, examinons d'abord une revendication préliminaire qui n'est pas aussi solide ou satisfaisante statistiquement, mais donne peut-être un aperçu supplémentaire de ce qui se passe. Vous pouvez passer à la preuve de la réclamation principale ci-dessous, sans perte (le cas échéant) importante. Dans cette section et dans la suivante, les preuves, bien que légèrement subtiles, ne reposent que sur des faits élémentaires: la monotonie des probabilités et la symétrie et l'unimodalité de la distribution normale.

Réclamation auxiliaire : est un intervalle de confiance pour tant que . Ici est le quantile de niveau d'une normale standard. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Preuve . etpar symétrie, donc dans ce qui suit on peut prendre sans perte de généralité. Maintenant, pour et , et donc avec , nous voyons que Cela ne fonctionne que pour , car c'est ce qui est nécessaire pour . $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Cela prouve la revendication subsidiaire. Bien qu'illustratif, il n'est pas satisfaisant d'un point de vue statistique car il nécessite un absurdement grand pour fonctionner. $\alpha$

Prouver la demande principale

Un raffinement de l'argument ci-dessus conduit à un résultat qui fonctionnera pour un niveau de confiance arbitraire. Tout d'abord, notez que Définissez et . Alors, Si nous pouvons montrer que le côté droit augmente en pour chaque fixe , alors nous pouvons utiliser un argument similaire à celui de l'argument précédent. Ceci est au moins plausible, car nous aimerions croire que si la moyenne augmente, il devient plus probable que nous voyons une valeur avec un module qui dépasse

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ . (Cependant, nous devons faire attention à la vitesse à laquelle la masse diminue dans la queue gauche!)

Définissez . Alors Notez que et pour positif , diminue en . Maintenant, pour , il est facile de voir que . Ces faits pris ensemble impliquent facilement que pour tout et tout fixe . $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

Par conséquent, nous avons montré que pour et , $a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

En décomposant tout cela, si nous prenons , nous obtenons ce qui établit la revendication principale. $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Remarque finale : Une lecture attentive de l'argument ci-dessus montre qu'il utilise uniquement les propriétés symétriques et unimodales de la distribution normale. Par conséquent, l'approche fonctionne de façon analogue pour obtenir des intervalles de confiance à partir d'une seule observation à partir de n'importe quelle famille d'échelle de localisation unimodale symétrique, par exemple, les distributions de Cauchy ou de Laplace.

cardinal
la source

Hou la la! et les étudiants devraient proposer ce type d'argument dans le court laps de temps d'un examen de l'Olympiade?

Dilip Sarwate

@Dilip: Je n'en ai aucune idée! Je ne connais pas le format de cette Olympiade ni ce qui est attendu en termes de solution. D'après une lecture littérale, je pense que la réponse de Scortchi serait acceptable. J'étais plus intéressé à essayer de comprendre jusqu'où on pourrait aller avec une solution "non triviale". Ma propre exploration (assez minime) a suivi le même train de pensée décrit dans la réponse (avec un détour). Il est fort probable qu'il existe une meilleure solution. :-)

Cardinal

C'est beaucoup plus long que la solution "officielle", mais cela donne une meilleure limite à la variance, donc je la marque comme la réponse "correcte". J'ai posté la réponse "officielle" ci-dessous, ainsi que quelques résultats de simulation et discussion. Merci, @cardinal!

Jonathan Christensen

@Jonathan: Merci. Oui, j'aurais pu rendre la preuve un peu plus laconique. En raison du large éventail de milieux des participants ici, j'ai souvent tendance à me livrer à des détails supplémentaires (ou peut-être excessifs). :-)

Cardinal

Il est temps de faire un suivi! Voici la solution qui m'a été donnée:

Nous allons construire un intervalle de confiance de la forme , où est une statistique. Par définition, ce sera un intervalle de confiance avec un niveau de confiance d'au moins 99% si On note que la densité de la distribution ne dépasse pas . Par conséquent, pour chaque . Il s'ensuit que Brancher $[0,T(X))$ $T(\cdot)$
$(\forall μ \in R) (\forall σ > 0) P_{μ, σ_{2}} (σ^{2} > T (X)) < 0,01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P (| X | / σ \leq t) = P (X^{2} \leq t^{2} σ^{2}) = P (σ^{2} \geq X^{2} / t^{2}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ on obtient que la statistique appropriée est $T(X) = 10000X^2.$

L'intervalle de confiance (qui est très large) est légèrement conservateur en simulation, sans couverture empirique (dans 100 000 simulations) inférieure à 99,15% car j'ai fait varier le CV sur plusieurs ordres de grandeur.

À titre de comparaison, j'ai également simulé l'intervalle de confiance du cardinal. Je dois noter que l'intervalle du cardinal est un peu plus étroit - dans le cas de 99%, il finit par atteindre environ , contrairement au dans la solution fournie. La couverture empirique est juste au niveau nominal, là encore sur plusieurs ordres de grandeur pour le CV. Donc, son intervalle gagne définitivement. $6300X^2$ $10000X^2$

Je n'ai pas eu le temps de regarder attentivement le document publié par Max, mais je prévois de le regarder et je pourrais ajouter quelques commentaires à ce sujet plus tard (c'est-à-dire au plus tôt une semaine). Cet article revendique un intervalle de confiance à 99% de , qui a une couverture empirique légèrement inférieure (environ 98,85%) à la couverture nominale des grands CV dans mes brèves simulations. $(0,4900X^2)$

Jonathan Christensen
la source

(+1) C'est une bonne solution. Devriez-vous avoir au lieu de dans l'équation d'affichage?

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

Cardinal

Quelques points supplémentaires: Votre solution peut être faite pour être très proche de la mienne sans aucun changement d'argument. Notez que vous pouvez prétendre que . L'intervalle devient alors pour tout . L'utilisation de donne contre dans ma réponse. Plus le niveau de confiance est élevé (c'est-à-dire plus le petit ), plus votre méthode se rapproche du mien (bien que votre intervalle soit toujours plus large).

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

Cardinal

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$

pchisq(1/4900,1,lower.tail=F)R0.9886

(0, 4900 X^{2})

$(0,4900X^2)$

Merci pour tous les commentaires, @cardinal. Je pense que votre changement est correct, même si je l'ai tapé tel qu'il était dans les solutions d'origine - typo là, je suppose.

Jonathan Christensen

$(0,\infty)$

Scortchi - Réintégrer Monica
la source

Je pense qu'il serait utile pour vous de dire pourquoi vous ne pouvez pas obtenir un intervalle de confiance de longueur finie.

supposé normal

@Max Je ne suis pas assez intelligent - mais la question n'en a pas demandé.

Scortchi - Réintégrer Monica

+1 pour cela. La question n'a pas dit un IC avec une couverture minimale, et implique en fait que cela pourrait être acceptable grâce à sa formulation curieuse, "un intervalle de confiance avec un niveau de confiance d' au moins 99%."

Ari B. Friedman du