Correction de Bonferroni avec corrélation de Pearson et régression linéaire

9

J'exécute des statistiques sur 5 IVs (5 traits de personnalité, extraversion, agrément, conscience, névrosisme, ouverture) contre 3 DVs Attitude envers PCT, Attitude envers CBT, Attitude envers PCT vs CBT. J'ai également ajouté l'âge et le sexe pour voir quels sont les autres effets.

Je teste pour voir si les traits de personnalité peuvent prédire les attitudes des DV.

J'ai d'abord utilisé la corrélation de Pearson pour toutes les variables (45 tests).

La principale constatation était que l'extraversion était corrélée à l'attitude du PCT à p = 0,05. Mais comme je faisais 45 tests, j'ai fait une correction de Bonferroni de alpha = 0,05 / 45 = 0,001, ce qui rend ce résultat insignifiant.

J'ai ensuite effectué une régression linéaire simple sur toutes les variables, encore une fois l'extraversion était significative avec l'attitude envers le PCT. Si je fais la correction de Bonferroni, cela ressort à nouveau insignifiant.

Des questions:

  1. Dois-je corriger Bonferroni à la corrélation de Pearson?
  2. Si je le fais, et donc que l'extraversion avec une attitude envers le PCT est insignifiante, y a-t-il encore un intérêt à faire une régression linéaire?
  3. Si je fais une régression linéaire, dois-je également faire la correction de Bonferroni?
  4. Dois-je uniquement déclarer les valeurs corrigées ou les valeurs non corrigées et corrigées?
Wendy
la source
4
La question 1 est liée à l' apparence et vous trouverez (une corrélation) et la question 3 à Est-ce que l'ajustement des valeurs de p dans une régression multiple pour des comparaisons multiples est une bonne idée? . Plus généralement, les résultats de cette requête peuvent être intéressants.
chl

Réponses:

4

Je pense que Chl vous a indiqué beaucoup de bons documents et références sans répondre directement à la question. La réponse que je donne peut être un peu controversée car je sais que certains statisticiens ne croient pas à l'ajustement de la multiplicité et que de nombreux bayésiens ne croient pas à la valeur p. En fait, j'ai déjà entendu Don Berry dire que l'utilisation de l'approche bayésienne, en particulier dans les conceptions adaptatives contrôlant les erreurs de type I, n'est pas un problème. Il l'a repris plus tard après avoir vu à quel point il est pratiquement important pour la FDA de s'assurer que les mauvais médicaments ne sont pas commercialisés.

Ma réponse est oui et non. Si vous faites 45 tests, vous devez certainement ajuster la multiplicité, mais non à Bonferroni, car cela pourrait être beaucoup trop conservateur. L'inflation de l'erreur de type I lorsque vous extrayez des données pour la corrélation est clairement un problème qui a retenu l'attention avec l'article cité "regardez et vous trouverez une corrélation". Les trois liens fournissent d'excellentes informations. Ce qui, selon moi, manque, c'est l'approche de rééchantillonnage de l'ajustement de la valeur p, si bien développée par Westfall et Young. Vous pouvez trouver des exemples dans mon livre de bootstrap ou des détails complets dans leur livre de rééchantillonnage. Ma recommandation serait d'envisager des méthodes de bootstrap ou de permutation pour l'ajustement de la valeur de p et peut-être de considérer le taux de fausses découvertes par rapport au taux d'erreur strict par famille.

Lien vers Westfall and Young: http://www.amazon.com/Resampling-Based-Multiple-Testing-Adjustment-Probability/dp/0471557617/ref=sr_1_1?s=books&ie=UTF8&qid=1343398751&sr=1-1&keywords=peter+ Westfall

Livre récent de Bretz et al sur les comparaisons multiples: http://www.amazon.com/Multiple-Comparisons-Using-Frank-Bretz/dp/1584885742/ref=sr_1_2?s=books&ie=UTF8&qid=1343398796&sr=1-2&keywords= peter + westfall

Mon livre avec du matériel dans la section 8.5 et des tonnes de références de bootstrap: http://www.amazon.com/Bootstrap-Methods-Practitioners-Researchers-Probability/dp/0471756210/ref=sr_1_2?s=books&ie=UTF8&qid=1343398953&sr=1 -2 & mots-clés = michael + chernick

Michael R. Chernick
la source
+1 La reproduction de la grille statistique de Munchausen de Graham Martin à la fin de Westfall & Young dit tout d'une manière très engageante. Vous pouvez le lire dans la fonction «regarder à l'intérieur» d'Amazon. (C'est presque aussi amusant de voir Amazon offrir un prix d' échange de 7 $ pour ce livre à 150 $ .)
whuber
@whuber Je pense avoir vu un dessin animé une fois montrant le baron se sortant d'un lac par ses bootstraps. Efron a peut-être été sage de l'appeler le bootstrap, car beaucoup sont sceptiques quant à ce que cela puisse être fait dans les statistiques, tout comme beaucoup sont sceptiques quant à la légende du baron!
Michael R. Chernick
4

Il me semble que c'est de la recherche exploratoire / analyse de données , pas de confirmation. Autrement dit, il ne semble pas que vous ayez commencé avec une théorie selon laquelle seule l' extraversion devrait être liée au PCT pour une raison quelconque. Je ne m'inquiéterais donc pas trop des ajustements alpha, car je pense que c'est plus lié à l'ADC, et je ne pense pas non plus que votre conclusion soit nécessairement vraie. Au lieu de cela, je penserais à cela comme quelque chose qui pourraitêtre vrai, et jouer avec ces idées / possibilités à la lumière de ce que je sais sur les sujets abordés. Ayant vu cette conclusion, cela vous semble-t-il vrai ou êtes-vous sceptique? Qu'est-ce que cela signifierait pour les théories actuelles si c'était vrai? Serait-ce intéressant? Serait-ce important? Vaut-il la peine de lancer une nouvelle étude (de confirmation) pour déterminer si elle est vraie, en tenant compte du temps, des efforts et des dépenses potentiels que cela implique? Rappelez-vous que la raison des corrections de Bonferroni est que nous nous attendons à ce que quelque chose apparaisse avec autant de variables. Je pense donc qu'une heuristique peut être 'cette étude serait-elle suffisamment informative, même si la vérité se révèle être non'? Si vous décidez que cela n'en vaut pas la peine, cette relation reste dans la catégorie `` pourrait '' et vous passez à autre chose, mais si cela en vaut la peine, testez-le.

gung - Réintégrer Monica
la source
S'il comprend vraiment ce qu'est l'analyse exploratoire des données et qu'il ne prend pas trop au sérieux les grandes corrélations, je serais d'accord avec vous. Mais les gens admettront qu'ils ne font qu'une analyse exploratoire pour filtrer les corrélations de mauvaise qualité, mais qu'ils sont trop excités quand ils voient quelque chose de prometteur. Cela fait partie de la nature humaine. Je pense que faire l'ajustement en utilisant le FDR comme critère est un moyen sensé de contrôler l'excitation.
Michael R. Chernick
1
@MichaelChernick, je ne suis pas nécessairement en désaccord avec vous. Je voulais juste émettre une autre opinion et j'aime souvent donner une vue d'ensemble, semi-philosophique, de ce qui est tout. Beaucoup de pratiquants peuvent s'enliser dans des détails qui leur semblent obscurs et se retrouvent sans une compréhension fondée.
gung - Rétablir Monica
1
Il n'y a pas de désaccord ici et je comprends votre point. Je veux juste ajouter que si nous pouvions faire preuve de désinvolture et accepter le principe statistique et ne pas nous attacher personnellement à nos recherches avec un intérêt direct pour le résultat, nous pourrions faire exactement ce que vous dites. Mais c'est si difficile à faire. Imaginez que vous travaillez pour une entreprise pharmaceutique après avoir dépensé des millions en recherche clinique pour un médicament particulier et qu'il échoue. Le directeur médical va vous demander de parcourir 20 sous-groupes différents et d'en trouver un qui fonctionne.
Michael R. Chernick
1
L'analyse des sous-groupes est l'un des aspects les plus controversés de la recherche clinique. Sans ajustement de la multiplicité, il n'y a aucun moyen de le légitimer et le faire post hoc rend difficile la vente à la FDA. Ce n'est qu'un exemple de mon expérience de ces dernières années qui me rend sensible aux suggestions d'ignorer la multiplicité.
Michael R. Chernick
-1

Selon ce qui suit: http://birnlab.psychiatry.wisc.edu/resources/fMRI_TestRetest_Documentation.pdf

Lors de la détermination de la signification, corrigez la valeur de p pour les comparaisons multiples. Par exemple, une valeur de p corrigée par Bonferroni est la valeur de p divisée par le nombre total de comparaisons, qui dans ce cas est le m (m - 1) / 2 connexions uniques.

Par exemple, votre valeur de p de coupure pour une corrélation est de 0,05 et supposez que votre table de corrélation est de 100 * 100. Ensuite, votre valeur p doit être ajustée à 0,05 / (100 * 99/2).

La régression linéaire applique la correction de Bonferroni de la même manière que ci-dessus.

Je sais que la réponse ne semble pas liée à ce que vous demandez. Dans ce cas, veuillez me le faire savoir et je ferai de mon mieux pour clarifier. J'espère que ça aide.

Frank Puk
la source