Test statistique pour une valeur nettement plus éloignée de la moyenne de la population: s'agit-il d'un test Z ou d'un test T?

Quelle est l'importance d'une valeur par rapport à une liste de valeurs? Dans la plupart des cas, les tests statistiques consistent à comparer un ensemble d'échantillons à une population. Dans mon cas, l'échantillon est constitué d'une valeur et nous le comparons à la population.

Je suis un dilettante dans les tests d'hypothèses statistiques confronté peut-être au problème le plus fondamental. Ce n'est pas seulement un test, mais des centaines d'entre eux. J'ai un espace de paramètres et je dois faire un test de signification pour chaque point. La valeur et la liste d'arrière-plan (population) sont générées pour chaque combinaison de paramètres. Ensuite, je commande cela par valeur de p et je trouve des combinaisons de paramètres intéressantes. En fait, la découverte de combinaisons de paramètres où ce p-val est élevé (non-signification) est également importante.

Prenons donc un seul test: j'ai une valeur calculée générée à partir d'un ensemble sélectionné et d'un ensemble d'arrière-plan de valeurs calculées en choisissant un ensemble d'entraînement aléatoire. La valeur calculée est de 0,35 et l'ensemble de fond est (probablement?) Normalement distribué avec une moyenne de 0,25 et une std très étroite (e-7). En fait, je ne connais pas la distribution, car les échantillons sont calculés à partir d'autre chose, ce ne sont pas des échantillons de nombres aléatoires d'une distribution, donc l'arrière-plan est le mot correct pour cela.

L'hypothèse nulle serait que "la moyenne du test d'échantillon est égale à ma valeur calculée, de 0,35". Quand dois-je considérer qu'il s'agit d'un test Z ou d'un test T? Je veux que la valeur soit nettement supérieure à la moyenne de la population, c'est donc un test unilatéral.

Je suis un peu confus quant à ce qu'il faut considérer comme un échantillon: j'ai soit un échantillon d'un (l'observation) et la liste de fond comme la population OU mon échantillon est la liste de fond et je le compare à l'ensemble (non échantillonné) population qui selon l'hypothèse nulle devrait avoir la même moyenne. Une fois que cela est décidé, le test va dans différentes directions, je suppose.

S'il s'agit d'un test T, comment puis-je calculer sa valeur p? Je voudrais le calculer moi-même plutôt que d'utiliser une fonction R / Python / Excel (je sais déjà comment faire) donc je dois d'abord établir la bonne formule.

Pour commencer, je soupçonne qu'un test T est un peu trop général, car dans mon cas, le test T serait lié à la taille de l'échantillon et aurait la forme: où et s est , l'échantillon std par rapport à la population std. J'ai donc deux cas: soit ma taille d'échantillon est la taille de la population, ce qui, je suppose, signifierait que je fais face à un test Z, soit les statistiques de population (n et std) sont inconnues mais la distribution peut être en d'une certaine manière approximative et j'ai vraiment affaire à un test T. En tout cas mes questions suivantes sont:

T = Z / s,

$T=Z/s,$

Z = \frac{\bar{X}}{\frac{σ}{\sqrt{n}}}

$Z=\frac{\bar{X}}{\frac{\sigma}{\sqrt{n}}}$

s = \hat{σ} / σ

$s=\hat{\sigma}/\sigma$

Comment calculer une valeur p? (c.-à-d. n'utilisant pas de fonction R / Python / Excel ou de recherche de table de valeurs p mais le calculant réellement en fonction d'une formule, parce que je veux savoir ce que je fais)
Comment puis-je décider d'un seuil de signification en fonction de la taille de mon échantillon? (une formule serait bien)

hypothesis-testing statistical-significance grokkaine
la source

Pourquoi tester? L'inégalité de Chebyshev implique que dans toute population réelle, il est mathématiquement impossible que la plus grande valeur soit SD au-dessus de la moyenne, mais c'est ce que vous avez observé ( ). Par conséquent, le ne vient pas de votre population, point final.

10^{6}

$10^6$

0.35 = 10^{6} \times 10^{- 7} + 0.25

$0.35 = 10^6 \times 10^{-7} + 0.25$

0.35

$0.35$

whuber

@grokkaine - Cette question soulève des questions intéressantes et semble valable, mais je la trouverais encore plus si vous la modifiiez un peu, en prenant soin d'être très précis avec vos termes.

rolando2

Ce n'est pas seulement un test, mais des centaines d'entre eux. J'ai un espace de paramètres et je dois faire un test de signification pour chaque point. La valeur et la liste d'arrière-plan (population) sont générées pour chaque combinaison de paramètres. Ensuite, je commande cela par valeur de p et je trouve des combinaisons de paramètres intéressantes. En fait, la découverte de combinaisons de paramètres où ce p-val est élevé (non-signification) est également importante. Je vais essayer de modifier mon message un peu plus tard.

grokkaine

Réponses:

Vous soulevez une question intéressante. Tout d'abord, si vous avez une observation de 0,35, une moyenne de 0,25 et un écart-type de 1/10 ^ 7 (c'est ainsi que j'interprète votre e ^ -7 bit), vous n'avez vraiment pas besoin d'entrer dans une hypothèse exercice de test. Votre observation de 0,35 est très différente de la moyenne de 0,25 étant donné que ce sera à plusieurs milliers d'écart-type de la moyenne et qu'il y aura probablement plusieurs millions d'erreurs-types de la moyenne.

La différence entre le test Z et le test t se réfère principalement à la taille de l'échantillon. Avec des échantillons inférieurs à 120, vous devez utiliser le test t pour calculer les valeurs de p. Lorsque la taille des échantillons est supérieure à cela, cela ne fait pas beaucoup de différence, si vous en utilisez un. Il est amusant de le calculer dans les deux sens quelle que soit la taille de l'échantillon et d'observer le peu de différence entre les deux tests.

En ce qui concerne le calcul des choses vous-même, vous pouvez calculer la statistique t en divisant la différence entre votre observation et la moyenne et en la divisant par l'erreur standard. L'erreur standard est l'écart type divisé par la racine carrée de la taille de l'échantillon. Maintenant, vous avez votre statistique. Pour calculer la valeur ap, je pense qu'il n'y a pas d'autre alternative que de rechercher votre valeur t dans la table de test. Si vous acceptez une simple alternative à Excel TDIST (valeur t stat, DF, 1 ou 2 pour 1 ou 2 valeurs p de queue) fait l'affaire. Pour calculer une valeur ap à l'aide de Z, la formule Excel pour un test à 1 queue est: (1 - NORMSDIST (valeur Z). La valeur Z étant la même que la stat t (ou le nombre d'erreur standard éloigné de la moyenne).

À titre de mise en garde, ces méthodes de test d'hypothèse peuvent être faussées par la taille de l'échantillon. En d'autres termes, plus votre taille d'échantillon est grande, plus votre erreur standard est petite, plus votre valeur Z ou t stat résultante est élevée, plus la valeur p est faible et plus votre signification statistique est élevée. Comme raccourci dans cette logique, des échantillons de grande taille entraîneront une signification statistique élevée. Mais, une signification statistique élevée en association avec une grande taille d'échantillon peut être complètement immatérielle. En d'autres termes, statistiquement significatif est une phrase mathématique. Cela ne signifie pas nécessairement significatif (par dictionnaire Webster).

Pour échapper à ce piège de grande taille d'échantillon, les statisticiens sont passés à des méthodes d'effet de taille. Ces derniers utilisent comme unité de distance statistique entre deux observations l'écart type au lieu de l'erreur standard. Avec un tel cadre, la taille de l'échantillon n'aura aucun impact sur votre signification statistique. L'utilisation de la taille d'effet aura également tendance à vous éloigner des valeurs de p et à adopter des intervalles de confiance qui peuvent être plus significatifs en anglais simple.

Sympa
la source

Merci pour la réponse, je suis un peu confus quant à ce qu'il faut considérer comme un échantillon: j'ai soit un échantillon d'un (l'observation) et la liste des antécédents en tant que population OU mon échantillon est la liste des antécédents et je le compare à l'ensemble de la population (non échantillonnée) qui selon l'hypothèse nulle devrait avoir la même moyenne. Une fois que cela est décidé, le test va dans différentes directions, je suppose.

grokkaine

Utilisez toutes les observations que vous avez comme échantillon (peu importe comment vous l'appelez). Et, calculez la distance statistique entre votre seule observation et la moyenne de l'échantillon tel que défini. Calculez l'écart type et l'erreur type de votre échantillon. Et, la distance statistique entre votre observation et la moyenne est: (Observation - Moyenne) / Erreur standard = t stat. Utilisez la fonction Excel TDIST (DF, t stat, 1 (pour une queue)) et vous obtenez votre valeur p.

Sympa

Le test d'hypothèse fait toujours référence à la population. Si vous voulez faire une déclaration sur l'échantillon, vous n'avez pas besoin de tester (comparez simplement ce que vous voyez). Les Frequentists croient aux asymptotiques, donc tant que la taille de votre échantillon est grande, ne vous inquiétez pas de la distribution de vos données. Le test Z et le test T font essentiellement la même chose en termes de calcul de la statistique de test, seules les valeurs critiques sont obtenues à partir de différentes distributions (Normal vs Student-T). Si la taille de votre échantillon est grande, la différence est marginale.

Concernant Q1: il suffit de le rechercher à partir de la distribution T avec n-1 degrés de liberté, où n est la taille de l'échantillon.

Concernant Q2: Vous calculez le seuil en fonction de votre niveau de signification souhaité pour un test Z, et en fonction du niveau de signification sur la taille de l'échantillon dans le cas du test T.

Mais sérieusement, vous devriez revoir quelques notions de base.

joint_p
la source

Merci d'avoir répondu. C'était en fait le t-dist que j'utilisais, mais je voulais aussi comprendre "pourquoi" je l'utilise. Comment définissez-vous un "grand" échantillon et en quoi la valeur de p est-elle différente? Plus important encore, comment savoir quand une distribution est normale ou Student-T? Existe-t-il un test statistique pour cela? Peut-être utiliser le test kolmogorov-smirnov pour le second et hmm .. quoi utiliser pour le premier?

grokkaine

grand ... eh bien Z et t convergent à partir de n = 60. Il suffit de comparer les valeurs de p obtenues à partir des deux tests. L'hypothèse de distribution t / normale ne dépend pas de la distribution des données sous-jacentes. Il est basé sur l'hypothèse que la distribution d'échantillonnage de la moyenne est normale. Même si la variable que vous testez est un gamma distribué, cela reste valable. Avec n = 200 environ, cela devrait fonctionner correctement. Encore une fois, tout cela est basé sur des statistiques fréquentistes.

joint_p

+1 pour le commentaire sur les tests d'hypothèse se référant toujours à la population mais -1 pour sembler manquer le point que le questionneur a un échantillon de 1.

Peter Ellis

Je n'étais pas vraiment sûr de ce que "j'ai une valeur calculée et un ensemble d'arrière-plan de valeurs générées aléatoirement. La valeur calculée est de 0,35" était censé signifier ... Je pensais que cela impliquait en quelque sorte qu'il y avait plus d'une observation.

joint_p

re-poster mes commentaires des autres paragraphes: Je suis un peu confus quant à ce qu'il faut considérer comme un échantillon: j'ai soit un échantillon d'un (l'observation) et la liste des antécédents en tant que population OU mon échantillon est la liste des antécédents et Je compare cela à l'ensemble de la population (non échantillonnée) qui, selon l'hypothèse nulle, devrait avoir la même moyenne. Une fois que cela est décidé, le test va dans différentes directions, je suppose.

grokkaine