Raison intuitive pour laquelle l'information de Fisher sur le binôme est inversement proportionnelle à

Cela me rend confus / époustouflant que le binôme a une variance proportionnelle à . De manière équivalente, les informations de Fisher sont proportionnelles à $p(1-p)$ . Quelle est la raison pour ça? Pourquoi l'information Fisher est-elle minimisée àp=0,5? Autrement dit, pourquoi l'inférence est-elle la plus difficile àp=0,5?$\frac{1}{p(1-p)}$$p=0.5$$p=0.5$

Le contexte:

Je travaille sur un calculateur de taille d'échantillon, et la formule pour , la taille d'échantillon nécessaire, est un facteur croissant de p ( 1 - p ) , le résultat d'une estimation de la variance dans la dérivation.$N$$p(1-p)$

Pour voir, de manière intuitive, que la variance est maximisée à , prenez p égal à 0,99 (resp. P = 0,01 ). Ensuite, un échantillon de X ∼ Bernoulli ( p ) contiendra probablement plusieurs 1 (resp. 0 ) et seulement quelques 0 (resp. 1 ). Il n'y a pas beaucoup de variation là-bas.$p = 0.5$$p$$0.99$$p = 0.01$$X \sim \text{Bernoulli}(p)$$1$$0$$0$$1$

La conclusion est « difficile » pour « au milieu, parce qu'un échantillon p près du milieu est compatible avec une large gamme de p . Près des extrémités, il ne peut pas être si loin - car les extrémités sont des "barrières" au-delà desquelles p ne peut pas aller.$p$$\hat p$$p$$p$

Je pense cependant que l'intuition est plus facile à considérer en termes de variance.

L'intuition concernant la variance d'un binôme étant grand au milieu et petit aux extrémités est assez simple: près des points d'extrémité, il n'y a pas de place pour que les données "s'étalent". Considérez petit - parce que la moyenne est proche de 0, la variation ne peut pas être grande - pour que les données moyennes p ne peuvent s'éloigner que de la moyenne.$p$$p$

Considérons la variance d'une proportion d'échantillon dans une série d'essais de Bernoulli. Ici . Donc, en tenant n fixe et en variant p , la variation est beaucoup plus petite pour p près de 0:$\text{Var}(\hat p) = p(1-p)/n$$n$$p$$p$

Proportion d'échantillons dans les échantillons binomiaux - ici est juste uniforme au hasard; le cas bleu a une moyenne de 0,03, la moyenne noire 0,5 (un peu de gigue a été ajouté pour que les points ne s'accumulent pas trop et ne perdent pas de détails) $y$

Les fonctions de probabilité correspondantes:

Dans chaque cas, faites attention aux lignes marquant la moyenne. À mesure que la ligne moyenne devient plus «coincée» contre la barrière, les points en dessous de la moyenne ne peuvent que descendre légèrement en dessous.

$p = \frac{1}{2}$

$\hat p$$p$

[Cette forme d'intuition ne nous dit pas pourquoi elle prend cette forme fonctionnelle exacte, mais elle montre clairement pourquoi la variance doit être petite près des extrémités, et devenir plus petite plus vous vous rapprochez des extrémités.]

L'information de Fisher est la variance de la fonction de score. Et c'est lié à l'entropie. Pour un essai à Bernoulli, nous obtenons un bit pour chaque essai. Donc, cette information Fisher a des propriétés similaires à celles de l'entropie de Shannon, comme on pourrait s'y attendre. En particulier, l'entropie a un maximum à 1/2 et l'information a un minimum à 1/2.