Intervalles de confiance vs taille de l'échantillon?

9

Je suis totalement nouveau dans les statistiques et le domaine des intervalles de confiance. Cela peut donc être très trivial ou même stupide. J'apprécierais si vous pouviez m'aider à comprendre ou me diriger vers de la littérature / du texte / un blog qui explique mieux cela.

Je vois sur divers sites d'actualités comme CNN, Fox news, Politico etc. à propos de leurs sondages concernant la course présidentielle américaine 2012. Chaque agence effectue des sondages et rapporte des statistiques du formulaire:

CNN: La popularité d'Obama est de X% avec une marge d'erreur de +/- x1%. Taille de l'échantillon 600. FOX: La popularité d'Obama est de Y% avec une marge d'erreur de +/- y1%. Taille de l'échantillon 800. XYZ: La popularité d'Obama est de Z% avec une marge d'erreur de +/- z1%. Taille de l'échantillon 300.

Voici mes doutes:

  1. Comment puis-je décider lequel faire confiance? Doit-il être basé sur l'intervalle de confiance, ou devrais-je supposer que puisque Fox a un échantillon plus grand, son estimation est plus fiable? Existe-t-il une relation implicite entre les intervalles de confiance et la taille de l'échantillon de sorte que la spécification de l'un évite d'avoir à spécifier l'autre?

  2. Puis-je déterminer l'écart type par rapport aux intervalles de confiance? Si oui, est-il toujours valable ou valable uniquement pour certaines distributions (comme la gaussienne)?

  3. Existe-t-il un moyen de «fusionner» ou de «combiner» les trois estimations ci-dessus et d'obtenir ma propre estimation avec des intervalles de confiance? Quelle taille d'échantillon dois-je réclamer dans ce cas?

J'ai mentionné CNN / Fox uniquement pour mieux expliquer mon exemple. Je n'ai pas l'intention d'ouvrir ici un débat entre démocrates et républicains.

Veuillez m'aider à comprendre les problèmes que j'ai soulevés.

Nik
la source

Réponses:

4

En plus de l'excellente réponse de Peter, voici quelques réponses à vos questions spécifiques:

  1. À qui faire confiance dépendra également de qui fait le sondage et des efforts qu'il déploie pour obtenir un sondage de bonne qualité. Une plus grande taille d'échantillon n'est pas meilleure si l'échantillon n'est pas représentatif, en prenant un sondage énorme, mais seulement dans un état non-swing ne donnerait pas de très bons résultats.

    Il existe une relation entre la taille de l'échantillon et la largeur de l'intervalle de confiance, mais d'autres facteurs influencent également la largeur, comme la proximité du pourcentage à 0, 1 ou 0,5; quels ajustements de biais ont été utilisés, comment l'échantillon a été prélevé (regroupement, stratification, etc.). La règle générale est que la largeur de l'intervalle de confiance sera proportionnelle à , donc pour diviser par deux l'intervalle dont vous avez besoin 4 fois la taille de l'échantillon.1n

  2. Si vous en savez suffisamment sur la façon dont l'échantillon a été collecté et sur la formule utilisée pour calculer l'intervalle, vous pouvez résoudre l'écart-type (vous devez également connaître le niveau de confiance utilisé, généralement 0,05). Mais la formule est différente pour les échantillons stratifiés par rapport aux échantillons en grappes. De plus, la plupart des sondages se penchent sur les pourcentages et utiliseraient donc la distribution binomiale.

  3. Il existe des moyens de combiner les informations, mais vous devez généralement savoir quelque chose sur la façon dont les échantillons ont été collectés, ou être prêt à formuler des hypothèses sur la façon dont les intervalles ont été construits. Une approche bayésienne est un moyen.

Greg Snow
la source
1
+1. Mais les perspectives pour le n ° 3 sont-elles vraiment si sombres ou difficiles? Si j'ai une collection d'estimations indépendantes, chacune avec sa propre marge d'erreur, pourquoi ne puis-je pas (au moins en gros) les combiner de la manière habituelle (en tant que moyenne pondérée, pondérée inversement par les ME au carré) et combiner leurs erreurs standard comme bien (en utilisant des formules de variance)? Ce ne serait pas parfait, mais cela devrait être mieux que de choisir un sondage sur lequel s'appuyer, non?
whuber
Merci Greg! J'apprécie beaucoup vos réponses. Vous avez mentionné dans votre réponse à la question 3 qu '"une approche bayésienne est à sens unique". Pourriez-vous m'indiquer une documentation qui donne plus d'informations à ce sujet?
Nik
@whuber: Merci pour votre commentaire. Voilà ce que j'avais pensé faire. Pensez-vous qu'il est justifié de combiner ces estimations de cette manière? Peut-être pas complètement, mais dans une large mesure?
Nik
1
@whuber, je ne voulais pas le peindre comme sombre, juste pour m'assurer que l'affiche était au courant et pouvait vivre avec les hypothèses nécessaires.
Greg Snow
@Nik, il existe de nombreux tutoriels sur le web pour les statistiques bayésiennes. Une approche simple (qui supposerait que les échantillons étaient tous de simples échantillons aléatoires, ou que le plan de sondage était tel que l'hypothèse SRS n'est pas loin) serait de commencer par un bêta avant, puis d'utiliser chaque sondage avec une probabilité binomiale pour mettre à jour et obtenir un nouveau postérieur. Une bonne chose à propos de l'approche Bayes est que vous pouvez ignorer l'effet des études précédentes si vous ne voulez pas qu'elles aient autant d'influence que le sondage le plus récent.
Greg Snow
4

C'est un sujet énorme, mais il y a fondamentalement deux problèmes:

1) Précision - elle est déterminée par la taille de l'échantillon. Des échantillons plus grands donnent des estimations plus précises avec une erreur standard plus faible et des intervalles de confiance plus serrés

2) Biais - qui, en statistiques, n'a pas nécessairement les connotations négatives qu'il a ailleurs. Dans les sondages, ils essaient d'obtenir un échantillon aléatoire de XXXX (parfois des électeurs probables, parfois des électeurs inscrits). Mais ce n'est pas le cas. Certains sondages n'utilisent que des lignes terrestres. Différents groupes de personnes sont plus ou moins susceptibles de répondre. Différents groupes sont plus ou moins susceptibles de raccrocher.

Ainsi, tous les sondeurs pondèrent leurs réponses. Autrement dit, ils essaient d'ajuster leurs résultats pour correspondre aux faits connus sur les électeurs. Mais ils le font tous un peu différemment. Ainsi, même avec les mêmes données d'entrée d'interrogation, elles donneront des nombres différents.

À qui faire confiance? Eh bien, si vous regardez le travail de Nate Silver sur 538, il a évalué la précision des sondeurs lors des élections précédentes. Mais cela ne signifie pas qu'ils seront tout aussi exacts maintenant.

Peter Flom
la source
Merci Peter. Une estimation avec une marge d'erreur plus faible est donc plus «précise». Existe-t-il un moyen de savoir également à quel point il est biaisé à partir d'une marge d'erreur de X% +/- x1% seulement? Je suppose que ce n'est pas possible à moins que vous ne connaissiez les préférences de chaque échantillon, non?
Nik
Oui c'est vrai. Bien sûr, certains sondeurs ont des biais connus (dans un sens ou dans l'autre). Les sondages internes (organisés par l'un ou l'autre des partis) sont souvent biaisés. Une façon de le faire est d'exécuter plusieurs sondages et de ne publier que ceux qui sont favorables. Ensuite, il y a toute la question des «sondages poussés» dans laquelle les questions sur un candidat sont précédées de questions négatives à son sujet.
Peter Flom
1

Cela se situe dans le domaine de l'échantillonnage d'enquête. En principe, les méthodes fonctionnent car la randomisation est utilisée. Voici les choses qui peuvent différer dans les sondages en fonction de décisions subjectives.

  1. Cadre d'échantillonnage. De quel groupe d'électeurs devrais-je tirer mon échantillon?

  2. Comment gérer la volatilité de l'électeur indécis qui peut changer son opinion sur Obama vs Romney en fonction du sondage d'hier ou des semaines prochaines?

  3. Peter a évoqué le parti pris. Le sondage littéraire de 1936 fut un désastre. Il a choisi le candidat républicain sur FDR parce que la base de sondage était basée sur une sélection aléatoire de numéros de téléphone. En 1936, seule la classe moyenne supérieure et les riches possédaient un téléphone. Ce groupe était dominé par les républicains qui ont tendance à voter pour le candidat républicain. Roosevelt a gagné par un glissement de terrain obtenant ses votes des pauvres et de la classe moyenne qui avait tendance à être en grande partie un groupe de démocrates! Cela illustre le biais dû au choix subtilement médiocre d'une base d'échantillonnage.

  4. L'échantillonnage de l'enquête porte sur les populations finies. La taille de la population est N. Supposons qu'un échantillon aléatoire simple soit tiré de cette population et ait la taille n. Pour simplifier, supposons que seuls Obama et Romney sont en cours d'exécution. La proportion de votes qu'Obama obtiendrait pour cette base d'échantillonnage est une moyenne de variables binaires (disons 1 si le répondant choisit Obama et 0 pour Romney). La variance de la moyenne de l'échantillon pour cette variable est [p (1-p) / n] [Nn] / N où p est la véritable proportion de la population qui choisirait Obama. [Nn] / N est la correction de population finie. dans la plupart des sondages, N est beaucoup plus grand que N et le correct peut être ignoré. En regardant p (1-p) / n, nous voyons que la variance diminue avec n. Donc, si n est grand, l'intervalle de confiance à un niveau de confiance donné deviendra petit.

Les enquêteurs et autres échantillonneurs et statisticiens d'enquête du US Census Bureau ont tous ces outils statistiques à leur disposition et ils utilisent des méthodes plus complexes et plus précises (échantillon aléatoire en grappes et échantillonnage aléatoire stratifié pour ne citer que quelques méthodes).

Lorsque leurs hypothèses de modélisation sont valides, les méthodes fonctionnent remarquablement bien. Le sondage de sortie est un excellent exemple. Le jour du scrutin, vous verrez les réseaux projeter avec précision le gagnant dans presque tous les États bien avant un décompte presque final. En effet, la variabilité du jour de présélection a disparu. Ils savent historiquement comment les gens avaient tendance à voter et ils peuvent déterminer des circonscriptions choisies de manière à éviter les biais. Les réseaux diffèrent parfois. Cela peut être dû à une compétition pour choisir le gagnant avant la mentalité des autres. Cela peut également se produire dans de rares cas parce que le vote est extrêmement serré (par exemple, l'élection présidentielle de 2000 en Floride).

J'espère que cela vous donnera une image plus claire de ce qui se passe. On ne voit plus d'erreurs grossières comme "Dewey bat Truman" en 1948 ou le fiasco du Literary Digest de 1936. Mais les statistiques ne sont pas parfaites et les statisticiens ne peuvent jamais dire qu'ils sont certains.

Michael R. Chernick
la source
Merci pour l'explication détaillée. Cela a vraiment aidé!
Nik
Nous ne voyons plus d'erreurs grossières? Clinton a donc gagné en 2016, n'est-ce pas? Je prends vos inconnues connues et vous élève un cygne noir . Comme mon papa disait: "C'est ce que tu ne sais pas qui te tue."
Carl
1
Ma réponse n'a rien à voir avec Clinton et les élections de 2016 qui ont eu de nombreux problèmes étranges. (1) Intervention russe, (2) Clinton a remporté le vote populaire et (3) certains électeurs de Trump étaient réticents à admettre qu'ils voteraient pour Trump. Je devrais peut-être ajouter que les sondages peuvent être erronés lorsque le taux de participation n'est pas celui attendu.
Michael R. Chernick