Comment répondre aux critiques demandant des valeurs de p dans le modèle bayésien à plusieurs niveaux?

Un examinateur nous a demandé de fournir des valeurs de p afin de mieux comprendre les estimations du modèle dans notre modèle bayésien à plusieurs niveaux. Le modèle est un modèle typique d'observations multiples par participant à une expérience. Nous avons estimé le modèle avec Stan, afin que nous puissions facilement calculer des statistiques postérieures supplémentaires. Actuellement, nous rapportons (visuellement et dans des tableaux) l'estimation moyenne et les quantiles 0,025 et 0,975.

Jusqu'à présent, ma réponse comprendrait:

1. Les valeurs de P ne sont pas cohérentes avec les modèles bayésiens, c'est-à-dire$P(X|\theta) \neq P(\theta|X).$
2. Sur la base du postérieur, nous pouvons calculer la probabilité que les paramètres soient plus grands (plus petits) que 0. Cela ressemble un peu à une valeur de p traditionnelle.

Ma question est de savoir si cette réponse peut satisfaire un évaluateur ou si cela ne causera que plus de confusion?

Mise à jour du 10 octobre: ​​nous avons réécrit le document en gardant à l'esprit les conseils de la réponse. Le document est accepté, je vais donc réitérer mon commentaire précédent selon lequel ce conseil était vraiment utile!

Tout d'abord, une brève clarification: bien que la probabilité ne soit en effet pas postérieure, les valeurs de p ne sont pas tellement incompatibles avec l'inférence bayésienne qu'habituellement juste une chose différente, pour toutes les raisons pour lesquelles les intervalles de confiance peuvent correspondre ou non à des intervalles crédibles. (Bien que ce ne soit pas nécessairement une chose entièrement différente, comme le montre la vérification prédictive postérieure, qui implique vraiment des valeurs de p.)

Cependant, je suppose que ce niveau de sophistication n'est pas ce que le critique a en tête. Je suppose qu'ils «savent» simplement que les modèles statistiques sont censés avoir des valeurs de p, alors ils les ont demandés. La question demeure donc: comment répondre?

Lorsque «l'examinateur veut un X», j'ai trouvé utile de me poser deux questions connexes:

1. Motivation: que veulent-ils que X fasse pour eux?

2. Reconstruction rationnelle: quelle aurait été la chose la plus sensée qu'ils auraient pu demander au lieu de X s'ils avaient voulu le faire?

Donnez-leur ensuite cela.

L'avantage d'un réviseur ignorant (qui peut néanmoins être intelligent et avoir raison sur le papier) est qu'il a rarement une idée claire de ce qu'il veut dire lorsqu'il demande X. Cela signifie que si vous le reconstruisez en posant une meilleure question, il '' Je serai content de vous voir y répondre à la place.

Dans votre cas, il est fort possible que le critique souhaite une analyse fréquentiste parallèle, même si j'en doute. Je pense que vous voulez travailler avec l'indicateur de l'examinateur selon lequel il veut que les valeurs de p «comprennent mieux le modèle». Votre travail, je pense, est d'analyser cela d'une manière qui rend le critique sage. Vraisemblablement, il y avait quelques phrases suivantes notant ce qui n'était pas clair dans le document. Peut-être qu'il y avait des effets d'intérêt pour le réviseur qui n'ont pas pu être reconstruits à partir de vos marginaux de paramètres, ou certaines quantités qui éclaireraient ce que le modèle dirait sur les cas qui les intéressent, ou un manque de résumés de nombres uniques ...

Si vous pouvez identifier ces préoccupations, vous pouvez récapituler votre réponse dans les formulaires suivants (demande originale entre crochets):

"l'examinateur [demande une valeur de p pour un terme d'interaction] était préoccupé par le fait que notre présentation ne comprenait pas clairement comment A variait avec B, donc dans la figure 2, nous montrons ..." ou "l'examinateur s'est demandé [si nous pouvions rejeter la hypothèse que l'effet de A est nul] sur la direction de l'effet de A. Le tableau 3 montre que ce modèle donne une probabilité de 99% que cela soit négatif "ou" l'examinateur se demande [si notre modèle est significativement mieux adapté qu'un modèle contenant seulement A] comment notre modèle par rapport à un contenant seulement A. Nous répondons à cette question en le comparant à ... en utilisant DIC / en calculant un facteur de Bayes / en montrant que nos inférences sur A sont robustes à l'inclusion de B "etc.

Dans chaque cas, il y a une traduction étroite de la demande originale et une réponse.

Avertissements: cette stratégie semble mieux fonctionner lorsque le réviseur est un expert en la matière avec une compréhension relativement faible des statistiques. Cela ne fonctionne pas avec le réviseur auto-identifié statistiquement sophistiqué qui veut réellement un X parce qu'il aime les X ou en a lu quelque part récemment. Je n'ai aucune suggestion pour ce dernier.

Enfin, je recommanderais fortement de ne rien dire, même faiblement religieux, sur le fait que Bayes est un paradigme différent et les questions des critiques n'ont aucun sens. Même si cela est vrai, cela rend tout le monde grincheux sans réel gain.