Dans quels paramètres les intervalles de confiance ne s'améliorent-ils pas à mesure que la taille de l'échantillon augmente?

Dans un article de blog , j'ai trouvé l'affirmation selon laquelle

"Je crois que WG Cochrane a fait remarquer pour la première fois (vers les années 1970) qu'avec des intervalles de confiance dans un cadre d'observation, de petites tailles d'échantillons se traduisent par une meilleure couverture avec des échantillons suffisamment grands pour une couverture proche de zéro!"

Maintenant, je suppose que la largeur du CI devrait approcher de 0 avec une taille d'échantillon croissante, mais l'idée que la couverture s'aggraverait simultanément ne me convainc pas. Cette affirmation est-elle vraie et dans quelles circonstances? Ou est-ce que je l'ai mal lu?

J'ai exécuté une simulation à l'aide de données aléatoires distribuées normalement avec des tailles d'échantillon de 10000 à 1000000 (test t à un échantillon, IC à 95%), 1000 analyses à chaque taille d'échantillon, et la couverture n'a pas empiré pour les tailles d'échantillon plus élevées (à la place, j'ai trouvé le taux d'erreur presque constant ~ 5% attendu).

Notez la qualification "dans un cadre d'observation".

En vérifiant le contexte à partir duquel vous avez tiré la citation (le sous-fil des commentaires dans lequel elle se trouve), il semble que l'intention soit "dans le monde réel" plutôt que dans des simulations, et n'inclut probablement pas une expérience contrôlée. . et dans ce cas, l'intention probable est une conséquence du fait que les hypothèses sous lesquelles les intervalles sont calculés ne se vérifient pas vraiment. Il existe de nombreuses choses qui peuvent avoir un impact sur le biais - qui sont de faible effet par rapport à la variabilité dans de petits échantillons - mais qui ne diminuent généralement pas en taille à mesure que la taille de l'échantillon augmente, contrairement aux erreurs standard.

$1/\sqrt n$

Voici une illustration - qui exagère peut-être le biais - pour indiquer ce que je pense que la probabilité de couverture de l'IC diminue à mesure que la taille de l'échantillon augmente:

$n$

Ironie douce. Avant ce paragraphe, la même personne dit "Pas étonnant qu'il y ait une telle confusion généralisée". "Intervalles de confiance dans un cadre d'observation": qu'est-ce que cela signifie même?

Il me semble qu'il s'agit là encore d'une confusion entre estimation et test d'hypothèse .

Maintenant, je sais que la largeur du CI devrait approcher 1 avec l'augmentation de la taille de l'échantillon.

$0$

La référence est un commentaire dans un article d'un blog personnel . Je ne m'inquiéterais pas trop de la validité de ce type de référence. Le blog, détenu par Larry Wasserman, a en revanche tendance à être très bien écrit. Cela m'a rappelé la bande dessinée xkcd:

http://xkcd.com/386/