Test de Kolmogorov – Smirnov vs test t

14

J'ai de la difficulté à comprendre l'interprétation des 2 échantillons de test KS et la différence avec un test t régulier entre 2 groupes.

Disons que j'ai des hommes et des femmes qui font une tâche et que je recueille des scores de cette tâche. Mon objectif ultime est de déterminer si les hommes et les femmes accomplissent différemment cette tâche

Donc une chose que je pourrais faire est de faire un test entre les 2 groupes. Une autre chose que je pourrais faire est de calculer l'ECDF pour les hommes et les femmes, de les tracer et d'effectuer le test KS à 2 échantillons. J'obtiendrais quelque chose comme ceci:

entrez la description de l'image ici

Test KS

L'hypothèse nulle pour le test KS est que les 2 ensembles de distributions de score continues proviennent de la même population

Lors de la réalisation du test KS, j'obtiens: D = 0,18888, p-value = 0,04742

Tout d'abord, je veux vérifier que mon interprétation des résultats est correcte. Ici, je rejetterais l'hypothèse nulle et dirais que les distributions des scores masculins et féminins proviennent de populations différentes. En d'autres termes, la distribution des scores masculins et féminins est différente l'une de l'autre.

Plus précisément, les hommes ont tendance à avoir une probabilité plus élevée d'obtenir des scores plus faibles pour cette tâche, et c'est la différence entre les 2 sexes, comme j'interprète à partir de l'intrigue

T-test

Maintenant au test testera la différence entre les moyennes masculines et féminines sur la variable de score.

Imaginons le cas où la performance masculine est pire que celle des femmes dans cette tâche. Dans ce cas, la distribution des scores masculins sera centrée autour d'une moyenne basse, tandis que la distribution des scores féminins sera centrée autour d'une moyenne élevée. Ce scénario serait conforme à l'intrigue ci-dessus, car les hommes auront une probabilité plus élevée d'obtenir des scores inférieurs

Si le test t s'avère significatif, je conclurais que les femmes obtiennent, en moyenne, un score significativement plus élevé que les hommes. Ou en termes de population, les scores féminins sont tirés d'une population dont la moyenne est supérieure à la population masculine, ce qui semble très similaire à la conclusion KS selon laquelle ils proviennent de populations différentes.

Quelle est la différence?

Donc, la conclusion que je tirerais à la fois dans les cas de test KS et t est la même. Les mâles obtiennent de mauvais résultats par rapport aux femelles. Quel est donc l'avantage d'utiliser un test par rapport à l'autre? Y a-t-il de nouvelles connaissances que vous pouvez acquérir en utilisant le test KS?

Selon moi, les mâles dont la distribution est centrée autour d'une moyenne faible et les femelles centrées autour d'une moyenne élevée sont à l'origine du test t significatif. Mais par ce même fait , les hommes auront une probabilité plus élevée de marquer des valeurs plus faibles, ce qui ferait ressembler l'intrigue ci-dessus et donnerait un test KS significatif. Ainsi, les résultats des deux tests ont la même cause sous-jacente, mais on pourrait peut-être affirmer qu'un test KS prend en compte plus que les moyens des distributions et prend également en compte la forme de la distribution, mais est-il possible d'analyser la cause du test KS significatif à partir des seuls résultats du test?

Alors, quelle est la valeur de l'exécution d'un test KS au cours du test? Et supposons que je puisse répondre aux hypothèses du test t pour cette question

Simon
la source
Le test t classique est de loin inférieur à l'analyse des données bayésiennes, consultez "L'estimation bayésienne de John Kruschke remplace le test t" indiana.edu/~kruschke/BEST/BEST.pdf
Vladislavs Dovgalecs
Je ne sais pas comment le test KS est lié aux méthodes bayésiennes ...?
Simon
Arrêtez d'utiliser KS et t-test
Vladislavs Dovgalecs
4
@xeon Si vous voulez faire des déclarations aussi fortes, vous feriez mieux de les soutenir. Vos conseils ne seraient d'aucune utilité pour détecter le genre de différence dans l'exemple de ma réponse. Pourquoi devrait-on abandonner une approche qui fonctionne clairement pour identifier cette différence de distribution au profit d'une approche qui ne fonctionne pas?
Glen_b -Reinstate Monica
1
@Glen_b C'est pourquoi a écrit un commentaire, pas une réponse. Peut-être que OP n'a pas lu le document, ce qui est génial; Je voulais simplement le suggérer. Mais je suis d'accord que j'ai fait une déclaration trop forte et que je me suis comporté un peu snob. Je m'excuse d'être un peu grossier. Cela n'arrivera plus.
Vladislavs Dovgalecs

Réponses:

18

Comme exemple de la raison pour laquelle vous souhaitez utiliser les deux échantillons de test de Kolmogorov-Smirnov:

Imaginez que les moyennes de la population étaient similaires mais les variances étaient très différentes. Le test de Kolmogorov-Smirnov pourrait capter cette différence, mais pas le test t.

Ou imaginez que les distributions ont des moyennes et des SD similaires, mais les mâles ont une distribution bimodale (rouge) tandis que les femelles (bleues) n'en ont pas:

entrez la description de l'image ici

Les hommes et les femmes ont-ils des performances différentes? Oui - les mâles ont tendance à marquer quelque part autour de 7,5-8 ou 12,5-13, tandis que les femelles ont plus souvent tendance à marquer plus vers le milieu (près de 10 environ) mais sont beaucoup moins regroupées autour de cette valeur que les deux valeurs les mâles ont tendance à marquer près de.

Ainsi, le Kolmogorov-Smirnov peut trouver des différences de distribution beaucoup plus générales que le test t.

Glen_b -Reinstate Monica
la source
Ah, faites sens. Puis-je étendre cette logique et dire que si un test t est significatif, alors le test KS sera également probablement significatif, mais il pourrait être dû à une différence moyenne et / ou toute autre différence dans la distribution, ce qui rend l'interprétation du KS test difficile? Un test KS n'est-il donc vraiment utile que s'il n'y a pas de différence moyenne entre 2 groupes?
Simon
Le test t est plus sensible aux différences de moyenne (en particulier si les distributions des populations sont proches de la normale avec un écart-type similaire). Le test KS peut être plus difficile à interpréter, mais je ne suis pas d'accord avec votre dernière phrase. Vous pourriez avoir une petite différence de moyens qui s'accompagne d'autres différences; le test t n'a que la différence de moyens pour l'informer, tandis que le test KS peut être informé par les autres types de différences. Imaginez l'exemple ci-dessus, mais où il y a aussi un petit changement de moyens; le test t peut ne pas prendre la différence aussi facilement que le test KS.
Glen_b -Reinstate Monica
@Glen_b: est-il alors juste de dire que KS teste si les distributions sont égales tandis que le test t teste si les distributions ont la même moyenne?
@fcop Oui et non; étant donné les hypothèses, et sous la valeur nulle, le test t ordinaire à variance égale teste également l'identité des distributions - c'est la généralité de l'alternative (combinée avec les hypothèses) qui les rend vraiment différentes. Bien sûr, nous pouvons (et utilisons généralement) les tests lorsque leurs hypothèses ne s'appliquent pas tout à fait, puis nous examinons davantage leur comportement sous la valeur nulle et alternative; le test t aura tendance à être sensible à un changement de moyenne dans l'alternative, tandis que le KS est quelque peu sensible à une très large classe d'alternatives.
Glen_b -Reinstate Monica