Intervalle de confiance pour le chi carré

10

J'essaie de trouver une solution pour comparer deux tests de "qualité d'ajustement du chi carré". Plus précisément, je veux comparer les résultats de deux expériences indépendantes. Dans ces expériences, les auteurs ont utilisé le khi carré de l'ajustement pour comparer les suppositions aléatoires (fréquences attendues) avec les fréquences observées. Les deux expériences ont eu le même nombre de participants et les procédures expérimentales sont identiques, seuls les stimuli ont changé. Les résultats des deux expériences ont indiqué un chi carré significatif (exp. 1: X² (18) = 45; p <.0005 et exp. 2: X² (18) = 79; p <.0001).

Maintenant, ce que je veux faire, c'est tester s'il y a une différence entre ces deux résultats. Je pense qu'une solution pourrait être l'utilisation d'intervalles de confiance mais je ne sais pas comment calculer ces intervalles de confiance uniquement avec ces résultats. Ou peut-être un test pour comparer la taille de l'effet (w de Cohen)?

Quelqu'un a une solution?

Merci beaucoup!

FD

Florian
la source
1
Salut Florian. Pourquoi ne pas utiliser un test de permutation sur la différence entre les carrés chi?
Tal Galili
Salut et merci pour votre réponse! Tout simplement parce que je ne connais pas vraiment les tests de permutations. Est-il possible de faire la permutation uniquement avec deux valeurs khi-deux (je n'ai pas de données brutes, seulement les résultats)? Merci encore :)
Florian

Réponses:

8

Les informations très limitées dont vous disposez sont certainement une contrainte sévère! Cependant, les choses ne sont pas entièrement désespérées.

χ2χ2χ2λχ2(18,λ^)Distribution. (Cela ne veut pas dire que ce test aura beaucoup de puissance, cependant.)

Nous pouvons estimer le paramètre de non-centralité à partir des deux statistiques de test en prenant leur moyenne et en soustrayant les degrés de liberté (une méthode d'estimation des moments), en donnant une estimation de 44, ou par maximum de vraisemblance:

x <- c(45, 79)
n <- 18

ll <- function(ncp, n, x) sum(dchisq(x, n, ncp, log=TRUE))
foo <- optimize(ll, c(30,60), n=n, x=x, maximum=TRUE)
> foo$maximum
[1] 43.67619

Bon accord entre nos deux estimations, pas vraiment surprenant étant donné deux points de données et les 18 degrés de liberté. Maintenant, pour calculer une valeur de p:

> pchisq(x, n, foo$maximum)
[1] 0.1190264 0.8798421

Notre valeur de p est donc de 0,12, ce qui n'est pas suffisant pour rejeter l'hypothèse nulle selon laquelle les deux stimuli sont identiques.

λχ2(λ-δ,λ+δ)δ=1,2,,15δ et voyez à quelle fréquence notre test rejette, disons, le niveau de confiance de 90% et 95%.

nreject05 <- nreject10 <- rep(0,16)
delta <- 0:15
lambda <- foo$maximum
for (d in delta)
{
  for (i in 1:10000)
  {
    x <- rchisq(2, n, ncp=c(lambda+d,lambda-d))
    lhat <- optimize(ll, c(5,95), n=n, x=x, maximum=TRUE)$maximum
    pval <- pchisq(min(x), n, lhat)
    nreject05[d+1] <- nreject05[d+1] + (pval < 0.05)
    nreject10[d+1] <- nreject10[d+1] + (pval < 0.10)
  }
}
preject05 <- nreject05 / 10000
preject10 <- nreject10 / 10000

plot(preject05~delta, type='l', lty=1, lwd=2,
     ylim = c(0, 0.4),
     xlab = "1/2 difference between NCPs",
     ylab = "Simulated rejection rates",
     main = "")
lines(preject10~delta, type='l', lty=2, lwd=2)
legend("topleft",legend=c(expression(paste(alpha, " = 0.05")),
                          expression(paste(alpha, " = 0.10"))),
       lty=c(1,2), lwd=2)

ce qui donne:

entrez la description de l'image ici

En regardant les vrais points d'hypothèse nulle (valeur de l'axe des x = 0), nous voyons que le test est conservateur, en ce sens qu'il ne semble pas rejeter aussi souvent que le niveau l'indiquerait, mais pas de manière écrasante. Comme nous nous y attendions, il n'a pas beaucoup de puissance, mais c'est mieux que rien. Je me demande s'il existe de meilleurs tests, étant donné la quantité très limitée d'informations dont vous disposez.

jbowman
la source
Je suis novice dans ce domaine, puis-je vous demander comment exécuter le script (s'il s'agissait d'un script) à partir de la réponse jbowman. Dans mon cas, essayez d'obtenir l'OR à 90% CI. Je suis vraiment reconnaissant si l'un de vous peut me l'expliquer, et j'utilise PASW17
Bonjour ash6. En fait, c'est un script pour le logiciel R (pour plus d'informations: r-project.org ), pas une syntaxe pour PASW17. Ce script peut donc être exécuté directement dans la console R. Ce script ne calcule pas les intervalles de confiance mais vous donne la valeur de p (ici précisément> pchisq (x, n, foo $ maximum ==> [1] valeur de p = 0,1190264) correspondant au test d'une différence entre les 2 expériences (ici entre deux stimuli, dans le cas d'une hypothèse alternative), et ici nous ne pouvons pas rejeter l'hypothèse nulle selon laquelle les deux expériences ont donné les mêmes résultats.
Florian
3

Vous pouvez obtenir le V de Cramer, qui peut être interprété comme une corrélation, le convertir en un Z de Fisher, puis l'intervalle de confiance est simple (SE = 1 / sqrt (n-3): Z ± se * 1,96). Après avoir obtenu les extrémités du CI, vous pouvez les reconvertir en r.

Avez-vous envisagé de mettre tous vos comptes dans un tableau de contingence avec une dimension d'expérimentation supplémentaire?

John
la source
Je pensais qu'il n'était pas possible d'utiliser un Phi avec une qualité d'ajustement Pearson chi-carré (1 variable). C'est pourquoi j'ai parlé du w de Cohen mais les formules sont vraiment similaires (phi = X² / n et w = sqrt (X² / n))! Mais s'il est possible de calculer phi avec ce test et d'appliquer la transformation r à z, seriez-vous d'accord pour nous donner une référence à citer? Nous aimerions utiliser ce test dans un article et peu de critiques peuvent être très exigeants avec les statistiques. Ce serait une grande aide pour nous! A propos de votre question: nous n'avons pas de données brutes uniquement la valeur X², df et p d'un article publié. Merci beaucoup pour votre aide!
Florian
Désolé ... censé réprimer Cramer V, pas phi. Le V de Cramer peut être utilisé comme phi.
John
Et non, je n'ai pas de citation. Si vous avez un effet important, peu importe s'il y a un petit biais dans cette mesure. Si vous n'avez pas d'effet important, assurez-vous de ne pas faire de gros os avec la «signification» d'un test.
John