Sondages: 25% d'une grande base d'utilisateurs est-elle représentative?

Mon employeur mène actuellement une enquête à l'échelle de l'entreprise sur les attitudes envers le bureau, à savoir Sentiment. Dans le passé, ils ont ouvert l'enquête à tous les domaines de l'entreprise (supposons 10 départements très différents) et à tous les employés en leur sein (supposons 1000 employés au total dans toute l'entreprise) Le nombre d'employés dans chaque département n'est pas égal et un un département particulier représente probablement 50% de la population totale de l'organisation.

Cette année, l'enquête n'est ouverte qu'à 25% de l'effectif total et la sélection est «aléatoire»

Par conséquent, j'ai deux requêtes:

• S'il s'agit d'une sélection vraiment aléatoire de l'ensemble des employés, comment se fait-il qu'un échantillon statistiquement valide présume que tous ces employés ont répondu?

• S'il est aléatoire au niveau de chaque département, par exemple 25% de chaque département, comment se fait-il qu'un échantillon valide considérant un département représente plus de 50% de la population totale.

J'aurais supposé que pour déterminer un sentiment majoritaire dans une entreprise, il faudrait au moins 50% de la base d'employés dans chaque département pour fournir un véritable sentiment de lecture.

Mise à jour : l'enquête n'est pas appliquée. Il ne peut y avoir aucune garantie d'un taux de réponse de 100% sur les 25% sélectionnés. Il n'y a aucun moyen incitatif ou punitif si l'enquête est remplie ou non.

Pensez aux enquêtes auprès de la population générale des États-Unis, par exemple. Si nous avons besoin de 50% de la population pour déterminer l'opinion de la majorité, nous aurions besoin d'un échantillon d'environ 160 millions, ce qui est vraiment prohibitif. Même un échantillon de 1% est extrême (environ 3,2 millions) et est rarement fait. Une enquête importante aux États-Unis, la General Social Survey, a des tailles d’échantillon comprises entre 1 500 et 3 000. Un échantillon de 25% n'est donc pas en soi un problème.

N'oubliez pas qu'une enquête n'est pas une élection ou un référendum. Pour que cette dernière soit légitime, toute personne éligible doit avoir la possibilité de s'exprimer. Pour l'enquête, le but est d'obtenir une bonne estimation de l'opinion moyenne, et vous pouvez l'obtenir avec un échantillon aléatoire. L'entreprise doit donc décider quel est l'objectif de l'enquête: est-ce un moyen pour les salariés de donner leur avis et de participer à l'entreprise, ou est-ce un moyen pour les managers d'obtenir des informations?

Les deux plans d'échantillonnage garantissent que 25% des employés sont interrogés. Ce dernier garantit que les petits ministères sont représentés dans l'enquête. Si vous vous souciez des erreurs standard, vous devez prendre en compte la nature imbriquée de l'échantillonnage, bien que je ne pense pas que cela importera beaucoup dans ce cas.

Par étymologie, « enquête » ( sur-de «super», comme «d'en haut» et -veyde «vue») signifie avoir un aperçu , pas l'image complète.

Tant que les 25% étaient vraiment aléatoires et non pas auto-sélectionnés (opt-in), cela correspond tout à fait à la définition du terme. Si l'enquête est facultative, les réponses ne seront représentatives que de ceux qui ressentent le besoin de répondre. Par exemple, imaginez un restaurant dans lequel on pourrait remplir une carte de commentaires après le dîner. Même si la plupart des convives sont satisfaits, la plupart des commentaires seront négatifs car les clients satisfaits voient peu de raisons de donner leur avis.

Un autre point de vue vient de la théorie de la conception d'expériences.

La puissance statistique est la probabilité de trouver un effet s'il est réel ( source )

Quatre facteurs affectent la puissance:

1. Taille de l'effet
2. Écart type de la caractéristique
3. Échantillon plus grand
4. Niveau de signification souhaité

Sur la base de ces éléments, vous pouvez écrire une équation mathématique formelle qui relie la puissance, la taille de l'échantillon, la taille de l'effet, l'écart-type et le niveau de signification ( source )

Sous un ensemble d'hypothèses , vous pourriez caractériser votre enquête comme une expérience et puiser dans la conception du cadre de l'expérience ( voici quelques exemples). Il y a un certain nombre de suppositions éclairées à faire; cependant, un modèle imparfait pourrait être préférable à aucun modèle.

Je sens deux questions. Un sur la taille de l'échantillon (25%, pourquoi pas une majorité) et un autre sur la technique d'échantillonnage (est-ce vraiment aléatoire, échantillonne 25% au hasard sur l'ensemble de l'entreprise, échantillonne 25% au hasard dans chaque département, ou utilise une autre distribution).

1) La taille de l'échantillon n'a pas besoin d'être majoritaire. La taille d'échantillon requise peut être comprise entre 0 et 100% selon la précision requise pour un rapport de confiance ou de vraisemblance donné.

Une certitude à 100% n'est jamais obtenue (également pas avec un sous-ensemble de 50% ou plus). Atteindre une telle précision n'est pas non plus le but de l'échantillonnage et de l'estimation.

En savoir plus sur la taille des échantillons: https://en.wikipedia.org/wiki/Sample_size_determination

Si vous obtenez la loi des grands nombres, vous pouvez également avoir une idée intuitive.

La distribution des moyennes de tous les sous-ensembles possibles (et votre échantillon sera l'un d'entre eux), deviendra plus petite et plus proche de la moyenne de la distribution d'origine, si la taille du sous-ensemble augmente. Si vous sélectionnez une personne, il y a une chance raisonnable de trouver une exception, mais trouver la même exception dans la même direction deux fois devient moins probable. Et ainsi de suite, plus la taille du sous-ensemble échantillonné est grande, plus les chances d'un sous-ensemble exceptionnel sont faibles.

$n$

Note importante! Votre estimation ne dépendra pas de la taille de la population à partir de laquelle vous échantillonnez, mais de la distribution de cette population.

Dans le cas de votre département de taille 500. L'écart des moyennes des sous-ensembles aléatoires (de taille 125) sera 11 fois plus petit que l'écart d'origine. Notez que l'erreur dans la mesure (l'écart de la moyenne des sous-ensembles sélectionnés au hasard), est indépendante de la taille du département. Il pourrait être de 500, 5000 ou 50000, dans tous les cas, l'estimation ne serait pas affectée tant qu'ils ont la même distribution (maintenant un minuscule département peut avoir une distribution étrange, mais cela commence à disparaître pour les groupes plus importants).

2) L'échantillonnage n'a pas besoin d'être entièrement aléatoire. Vous pouvez prendre en compte les données démographiques.

Finalement, vous traitez chaque département séparément dans ce type d'analyse et corrigez les variations entre les départements et la façon dont vous avez échantillonné dans ces départements de tailles différentes.

Dans cette correction, il existe deux différenciations importantes. On pourrait supposer la distribution entre les groupes comme une variable aléatoire ou non. Si vous la traitez comme une variable aléatoire, l'analyse devient plus forte (en retirant certains degrés de liberté dans le modèle), mais cela peut être une hypothèse erronée si les différents groupes ne sont pas échangeables en tant qu'entités aléatoires sans effet spécifique (ce qui semble être votre cas, car j'imagine que les départements ont des fonctions différentes et peuvent avoir des sentiments très différents qui ne sont pas aléatoires par rapport au département).

Votre question concerne la taille de l'échantillon pour une population finie. Mais la première chose dont vous avez besoin est la taille d'échantillon requise dans une population infinie, qui peut ensuite être utilisée pour calculer la taille d'échantillon pour une population finie.

Dans une enquête sur une population infinie, la formule est: $n=(z^2pq)/d^2$
$n$, taille de l'échantillon
$z^2$, niveau de confiance, généralement 1,96
$p$, proportion de la population présentant une caractéristique, si inconnue, utiliser 0,5
$q=1-p$, proportion de la population sans caractéristique
$d^2$, niveau d'erreur (ou marge d'erreur), généralement 3%, mais 1% ou 5% peuvent être utilisés.

Le niveau d'erreur devient le facteur le plus important car plus le niveau d'erreur est faible, plus la taille d'échantillon requise est grande et vice versa. Par conséquent, la taille de l'échantillon pour une population infinie avec une erreur de 3% est:$(1.96 \times 0.5 \times 0.5)/0.03^2=1,068$. De plus, le niveau d'erreur signifie que les résultats ont une erreur de +/- 3%, dans ce cas. Cela signifie que si 48% des personnes interrogées étaient des hommes, la fourchette possible est de 48% +/- 3%, ou de 45% à 51%.

L'étape suivante est la formule de la taille de l'échantillon pour une population finie: $m=n / (1+((n-1)/N))$
$m$, taille d'échantillon pour population finie
$n$, taille de l'échantillon pour une population infinie (1 068 à partir du dessus)
$N$, taille de population finie

En utilisant l'exemple de $N=1,000$, la taille d'échantillon requise avec une erreur de 3% serait $1068 / (1+((1068-1)/1000))=517$, soit 51,7% de la population.

Si vous avez utilisé 25% de la population, le niveau d'erreur ressort à 5,4%. Ce niveau d'erreur peut être correct sur la base des enquêtes précédentes. Avec les enquêtes, il y a toujours un compromis entre le niveau d'erreur que vous êtes prêt à accepter et les coûts de réalisation de l'enquête.

Aucun de ces facteurs n'influe sur le taux de réponse (si vous utilisez un échantillon aléatoire simple). Pour savoir combien de personnes doivent être contactées, vous divisez la taille de l'échantillon par le taux de réponse attendu. Par exemple, si le taux de réponse précédent était de 65%, vous devrez envoyer l'instrument d'enquête à$517/0.65=796$ gens.

Les choses deviennent plus complexes si vous voulez diviser la population par département (appelé stratification). Fondamentalement, vous devez traiter chaque département comme une population finie distincte si vous souhaitez que les données soient exactes pour chaque département, ce qui peut ne pas être pratique. Mais vous pourriez faire un échantillon aléatoire stratifié au lieu d'un simple échantillon aléatoire, où 50% de l'échantillon est sélectionné au hasard dans le département avec 50% de la population, et des pourcentages appropriés sont échantillonnés au hasard dans d'autres départements. Cela signifie que la taille de votre échantillon augmentera légèrement car vous devez arrondir toutes les décimales (vous ne pouvez pas interroger 0,1 personne). Cependant, les résultats doivent être examinés au niveau de la population (entreprise) et non au niveau du département car il n'y aura pas suffisamment de réponses de chaque département pour être exact.

Lorsqu'on parle d'un échantillon valide, la notion sous-jacente est généralement une représentation. L'échantillon "représente" la population de manière adéquate? Afin d'obtenir un échantillon représentatif, il faut s'assurer que la taille de l'échantillon est adéquate (afin de réduire la variance de l'estimation), et que l'échantillon contient des membres appartenant aux sous-ensembles de la population présentant différents types de comportement à l'étude.

Premièrement, la proportion d'utilisateurs sélectionnés pour l'enquête importe moins par rapport au nombre absolu d'utilisateurs sélectionnés. La taille d'échantillon requise dépendra de l'exigence d'exactitude ou d'intervalle de confiance dans la réponse donnée. Vous pouvez lire cet article pour plus d'informations.

Vous mentionnez que l'entreprise se compose de plusieurs départements. Est-il probable que les réponses des ministères à l'enquête varient? S'ils le font (ou peut-être vous ne savez pas avec certitude), ce serait une bonne idée de "stratifier" votre échantillon entre les départements. Dans sa forme la plus simple, cela signifie choisir une proportion égale de personnes dans chaque département. Par exemple: la taille de l'entreprise est de 1000 et la taille de l'échantillon choisie est de 100. Ensuite, vous choisiriez 50 dans un département de taille 500, 10 dans un département de taille 100, etc. Ceci afin d'éviter la sous-représentation d'un département particulier dans tout échantillon "aléatoire" spécifique.

Vous mentionnez également que tout le monde ne peut pas répondre à l'enquête. Si vous savez qu'environ la moitié des personnes répondront, alors pour obtenir 100 réponses, vous devrez envoyer l'enquête à 200 personnes. Vous devrez considérer la possibilité que ces réponses soient biaisées. Les personnes ayant une réponse particulière peuvent être plus ou moins enclines à répondre.

S'il s'agit d'une sélection vraiment aléatoire de l' ensemble des employés , comment se fait-il qu'un échantillon statistiquement valide présume que tous ces employés ont répondu?

Il s'agit d'un échantillon valable tant qu'il est tiré de la population qu'il est censé décrire. Autrement dit, si vous ne faites qu'échantillonner des patrons, rien ne peut être dit sur les autres employés; cela ne se produira pas dans le cadre que vous avez décrit. Cela peut cependant se produire en raison de la non-réponse (plus d'informations ci-dessous).

S'il est aléatoire au niveau de chaque département, par exemple 25% de chaque département, comment se fait-il qu'un échantillon valide considérant un département représente plus de 50% de la population totale.

Ce n'est plus une question de validité d'échantillon mais une erreur d'échantillonnage. De toute évidence, les estimations les plus précises seraient obtenues à partir d'un tirage aléatoire stratifié, la strate englobant au moins le niveau du département. Dans un tel contexte, vous aurez un échantillon valide pour chaque département mais les estimations pour les petits départements seront généralement moins précises que les estimations pour les grands départements, grâce à la taille d'échantillon absolue plus élevée pour ces derniers. Pour l'organisation dans son ensemble, la représentation plus élevée de l'échantillon des grands départements reflète simplement la réalité de l'organisation et ne réduit en rien la validité de l'échantillon.

L'enquête n'est pas appliquée. Il ne peut y avoir aucune garantie d'un taux de réponse de 100% sur les 25% sélectionnés. Il n'y a aucun moyen incitatif ou punitif si l'enquête est remplie ou non.

Vous ne pourrez forcer personne à fournir une bonne réponse, mais la mise en œuvre d'un plan de rappel de réponse est un minimum. De plus, vous devez expliquer la pertinence de l'enquête pour les employés et leur impact qu'ils peuvent avoir sur l'organisation grâce à l'enquête: par exemple quand les résultats sont-ils publiés? quelles sont les actions potentielles entreprises par l'organisation sur la base de l'enquête? pourquoi chaque réponse est-elle importante?

Une fois les données collectées, la non-réponse est un problème qui doit être résolu. Pour y remédier, vous devez d'abord analyser le comportement de non-réponse afin de détecter tout schéma potentiel: aucun patron n'a-t-il répondu? Un service donné n'a-t-il pas répondu du tout? Adopter ensuite la stratégie nécessaire (post-strafification, repondération, imputation, etc.).

Je développe la réponse de @ICannotFixThis avec un exemple sur la façon dont les quatre facteurs impliqués comptent:

1. Taille de l'effet
2. Écart type de la caractéristique
3. Échantillon plus grand
4. Niveau de signification souhaité

La façon dont ces facteurs affectent vos résultats dépendra des statistiques que vous utilisez. Par exemple, si vous souhaitez deviner la moyenne d'une variable, vous pouvez utiliser le test T de Student .

Supposons que vous souhaitiez déterminer la taille moyenne de vos employés avec cette enquête. Vous ne connaissez pas vraiment l'écart-type de la taille de tous les employés de votre entreprise (sans mesurer tout le monde), mais vous pouvez faire des recherches et deviner à 3 pouces (c'est à peu près l'écart-type de la taille pour les hommes aux États-Unis).

Si vous avez interrogé seulement 5 personnes, 95% du temps, la hauteur moyenne que vous observez dans votre enquête sera à moins de 3,72 pouces de la vraie taille moyenne.

Maintenant, comment nos facteurs affectent-ils cela:

1. Si vous avez besoin de connaître très précisément la hauteur moyenne (par exemple, la taille de l'effet est très petite), vous aurez besoin d'un grand nombre d'échantillons. Par exemple, pour connaître la vraie taille moyenne à moins de 2,66 pouces, vous devez interroger 100 personnes.

2. Si l'écart-type est important, la précision que vous pouvez obtenir va être limitée. Si l'écart-type était de 6 pouces au lieu de 3 pouces et que vous aviez encore 5 réponses, vous ne connaîtriez que 7,44 pouces au lieu de 3,72 pouces la vraie hauteur moyenne.

3. Ignorer ce point car il est au centre de toute la discussion.

4. Si vous devez vraiment être sûr d'avoir la bonne réponse, vous devrez interroger davantage de personnes. Dans notre exemple, nous avons vu qu'avec 5 réponses, nous pouvions obtenir dans les 3,72 pouces 95% du temps. Si nous voulions être sûrs que notre réponse était dans la bonne plage 99% du temps, alors notre plage sera de 6,17 pouces et non de 3,72 pouces.