Pouvez-vous reproduire ce résultat de test chi carré?

Chez Skeptics.StackExchange , une réponse cite une étude sur l'hypersensibilité électromagnétique:

• McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo & Marino, Electromagnetic Hypersensitivity: Evidence for a Novel Neurological Syndrome International Journal of Neuroscience, 00, 1-7, 2011, DOI: 10.3109 / 00207454.2011.608139.

Je doute de certaines des statistiques utilisées et j'apprécierais une certaine expertise pour vérifier qu'elles sont utilisées de manière appropriée.

La figure 5a montre les résultats d'un sujet tentant de détecter le moment où un générateur de champ électromagnétique était allumé.

Voici une version simplifiée:

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

Ils affirment avoir utilisé un test du chi carré et trouvé une signification (p <0,05, sans préciser ce qu'est p.)

Les fréquences des réponses somatiques et comportementales en présence et en l'absence du champ ont été évaluées à l'aide du test du chi carré (2 × 2 tableaux) ou de l'extension Freeman – Halton du test de probabilité exacte de Fisher (2 × 3 tableaux; Freeman & Halton, 1951).

Je vois plusieurs problèmes.

• Ils ont exclu certaines des données - voir Tableau 5b - où ils ont laissé l'appareil éteint pendant de longues périodes. Je ne vois pas la justification de la séparation de ces données.

• Ils semblent prétendre que le résultat est statistiquement significatif lorsque l'appareil réel était allumé, mais pas quand il ne l'était pas. (Je me trompe peut-être; ce n'est pas clair.) Ce n'est pas un résultat que le test du chi carré peut donner, n'est-ce pas?

• Lorsque j'ai essayé de reproduire ce test avec une calculatrice en ligne, je l'ai trouvé statistiquement insignifiant.

Voici ma vraie question: ai-je raison de dire cela?: Un test chi carré à deux queues utilisant le test exact de Fisher est la bonne façon d'analyser ces données ET ce n'est PAS statistiquement significatif.

Il me semble qu'il y a trois choses qui ne vont pas dans la conclusion.

Tout d'abord, comme l'a dit @caracal: ils signalent leur «importance» à l'aide d'un test unilatéral, sans dire qu'ils le font. La plupart des gens, je pense, recommandent d'utiliser presque toujours des tests bilatéraux. Certes, il n'est pas acceptable d'utiliser un test unilatéral sans le dire.

Deuxièmement, l'effet est minime. Lorsqu'il y avait un signal, le sujet (il n'y en avait qu'un) le détectait 11% du temps (32/293). En l'absence de signal, elle a détecté un signal 6,5% du temps. Cette différence semble assez petite. Et le sujet n'a pas pu détecter le signal 89% du temps!

Troisièmement, comme l'a souligné @oddthinking, certains rapports de données sélectifs n'ont pas été correctement expliqués ou justifiés (je n'ai pas lu attentivement le document, donc je répète simplement ce qui était dans le message d'origine).

Un test exact de Fisher sur le tableau donné donne, selon ce code

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0,08