Liste de situations dans lesquelles une approche bayésienne est plus simple, plus pratique ou plus pratique

63

Il y a eu beaucoup de débats dans les statistiques entre Bayésiens et fréquentistes. Je trouve généralement cela plutôt rebutant (même si je pense que cela s’est éteint). Par ailleurs, j’ai rencontré plusieurs personnes qui avaient une vision tout à fait pragmatique de la question, affirmant qu’il était parfois plus pratique de procéder à une analyse fréquentiste et parfois plus facile de procéder à une analyse bayésienne. Je trouve cette perspective pratique et rafraîchissante.

Il me semble utile d’avoir une liste de tels cas. Parce qu'il y a trop d'analyses statistiques et que je suppose qu'il est généralement plus pratique d'effectuer une analyse fréquentiste (le codage d'un test t dans WinBUGS est beaucoup plus complexe que l'appel de fonction unique requis pour effectuer la version basée sur le fréquentiste dans R par exemple), il serait bien d’avoir une liste des situations où une approche bayésienne est plus simple, plus pratique et / ou plus pratique qu’une approche fréquentiste.


(Deux réponses qui ne m'intéressent pas sont: "toujours" et "jamais". Je comprends que les gens ont des opinions bien arrêtées, mais s'il vous plaît, ne les diffusez pas ici. Si ce fil de discussion devient un lieu propice aux petites querelles, je supprimerai probablement Mon objectif ici est de développer une ressource qui sera utile à un analyste ayant un travail à faire et non un axe de travail.)

Les gens sont invités à suggérer plus d'un cas, mais veuillez utiliser des réponses séparées pour le faire, afin que chaque situation puisse être évaluée (votée / discutée) individuellement. Les réponses devraient énumérer: (1) quelle est la nature de la situation et (2) pourquoi l'approche bayésienne est plus simple dans ce cas. Certains codes (par exemple, dans WinBUGS) démontrant comment l'analyse serait effectuée et pourquoi la version bayésienne est plus pratique seraient idéaux, mais je m'attends à ce qu'ils soient trop lourds. Si cela peut être fait facilement, je l’apprécierais, mais veuillez indiquer pourquoi de toute façon.

Enfin, je reconnais que je n'ai pas défini ce que cela signifie pour une approche d'être «plus simple» que l'autre. En vérité, je ne suis pas tout à fait sûr de ce que cela signifie pour une approche plus pratique que l’autre. Je suis ouvert à différentes suggestions, précisez simplement votre interprétation lorsque vous expliquez pourquoi une analyse bayésienne est plus pratique dans la situation dont vous parlez.

gung - Rétablir Monica
la source
7
La modélisation à plusieurs niveaux est nettement plus facile pour la méthode bayésienne, en particulier sur le plan conceptuel.
probabilitéislogic
Le questionneur peut ne pas aimer cela, mais il n'y a aucun moyen de contourner réellement de penser et de comprendre ce que les méthodes d'inférence ou de modélisation font réellement, et comment les interpréter. Cela n'a pas de sens de chercher ce qui est plus simple quand ils atteignent des objectifs différents.
1
Je vais bien avec le conseil de penser clairement à ce que vous essayez de faire et au fonctionnement des analyses, @ Mayo. J'ai moi-même donné ce conseil ;-). Je suis également familier avec l’idée que les analyses bayésiennes et fréquentistes émettent des hypothèses différentes sur la nature de la probabilité. Cependant, comme je l’ai noté dans la question, j’ai rencontré plusieurs personnes (par exemple, des doctorants en statistique qui comprennent très bien les problèmes) qui ont dit qu’elles étaient parfois suffisamment similaires et que 1 était plus pratique. Les autres réponses montrent qu'il est possible de donner de tels exemples. J'aimerais voir tous les cas supplémentaires que vous connaissez.
Gay - Rétablir Monica
Juste curieux - quand vous dites que "l'analyse fréquentiste est plus pratique", parlez-vous du logiciel - par exemple, utiliser lm ()R est-il plus facile à utiliser? Ou y a-t-il autre chose?
probabilitéislogique
@probabilityislogic, essentiellement. Mon exemple est d'utiliser t.test()plutôt que de coder un test t bayésien dans WinBUGS, ce qui nécessite beaucoup plus de code. Peut-être qu'au lieu de "plus pratique", j'aurais dû dire "plus facile".
gung - Rétablir Monica

Réponses:

26

(1) Dans les contextes où la fonction de vraisemblance est intraitable (au moins numériquement), l’utilisation de l’approche bayésienne, au moyen du calcul bayésien approximatif (ABC), a gagné du terrain par rapport à certains concurrents fréquentistes tels que les vraisemblances composites ( 1 , 2 ). ou la probabilité empirique, car elle tend à être plus facile à mettre en œuvre (pas nécessairement correcte). Pour cette raison, l’utilisation de l’ABC est devenue populaire dans des domaines où il est courant de rencontrer des probabilités insolubles telles que la biologie , la génétique et l’ écologie . Ici, nous pourrions mentionner un océan d’exemples.

Quelques exemples de vraisemblances insolubles sont

  • Processus superposés. Cox et Smith (1954) ont proposé un modèle dans le contexte de la neurophysiologie consistant en processus ponctuels superposés. Par exemple, considérons les temps entre les impulsions électriques observées dans une partie du cerveau et émises par plusieurs neurones au cours d'une certaine période. Cet échantillon contient des observations non iid qui rendent difficile la construction de la vraisemblance correspondante, ce qui complique l'estimation des paramètres correspondants. Une solution fréquentiste (partielle) a récemment été proposée dans cet article . La mise en œuvre de l'approche ABC a également été récemment étudiée et peut être trouvée ici .N

  • La génétique des populations est un autre exemple de modèles conduisant à des vraisemblances intraitables. Dans ce cas, le caractère intraitable a une nature différente: la probabilité est exprimée sous la forme d'une intégrale multidimensionnelle (parfois de dimension ) qu'il faudrait quelques décennies pour l'évaluer en un point unique. Cette zone est probablement le siège de ABC.1000+

utilisateur10525
la source
1
Ils sont géniaux! Pouvez-vous les diviser en 2 réponses (pour que je puisse vous faire voter à deux reprises ;-) et ne donner qu'un exemple typique (jouet)? Merci.
gung - Rétablir Monica
2
@Procrastinator Pourriez-vous expliquer un peu pourquoi, dans certains contextes, la probabilité est insoluble. Étant donné que vous parlez de biologie, de génétique et d’écologie, j’imagine qu’elle est liée aux dépendances complexes entre paramètres. Je pense que cela serait particulièrement utile pour les personnes qui ne sont pas familières avec l'analyse bayésienne (dont je suis), d'autant plus que la page wikipedia sur ABC vers laquelle vous créez un lien ne fournit pas beaucoup de contexte. Merci
Antoine Vernet
15

À mesure que le logiciel Bayesian s'améliore, le problème "plus facile à appliquer" devient sans objet. Les logiciels bayésiens sont de plus en plus emballés. Un exemple récent est tiré d'un article intitulé « L'estimation bayésienne remplace le test t . Le site Web suivant fournit des liens vers l’article et le logiciel: http://www.indiana.edu/~kruschke/BEST/

Un extrait de l'introduction de l'article:

... certaines personnes ont l'impression que les conclusions des méthodes NHST et Bayesiennes tendent à s'accorder dans des situations simples telles que la comparaison de deux groupes: , il n’est vraiment pas nécessaire d’essayer d’appliquer toute la machinerie bayésienne à un problème aussi simple »(Brooks, 2003, p. 2694). Cet article montre, au contraire, que l'estimation paramétrique bayésienne fournit des informations beaucoup plus riches que le test t du NHST et que ses conclusions peuvent différer de celles du test t du NHST. Les décisions basées sur une estimation paramétrique bayésienne sont mieux fondées que celles basées sur NHST, que les décisions dérivées par les deux méthodes soient en accord ou non.

John K. Kruschke
la source
10
Je suppose que votre réponse est soit toujours, soit «ce sera toujours bientôt». C’est la réponse d’un partisan bayésien.
gung - Rétablir Monica
3
Et voici une implémentation javascript en ligne de BEST de Kruschke. Analyse Bayésienne dans le navigateur :) sumsar.net/best_online
Rasmus Bååth Le
13

(2) Modèles de résistance au stress. L'utilisation de modèles de résistance à la contrainte est populaire en fiabilité. L'idée de base consiste à estimer le paramètre où et sont des variables aléatoires. Il est intéressant de noter que le calcul de la probabilité de profil de ce paramètre est assez difficile en général (même numériquement), sauf pour certains exemples de jouets tels que le cas exponentiel ou normal. Pour cette raison, il faut envisager des solutions fréquentistes ad hoc telles que la vraisemblance empirique ( voirX Y X Y θθ=P(X<Y)XY) ou des intervalles de confiance dont la construction est difficile aussi dans un cadre général. Par ailleurs, l’utilisation d’une approche bayésienne est très simple, étant donné que si vous avez un échantillon de la distribution postérieure des paramètres des distributions de et , vous pouvez facilement les transformer en un échantillon de la partie postérieure de .XYθ

f ( x , ξ 1 ) F ( x , ξ 1 ) Y g ( y , ξ 2 )XF(X;ξ1)F(X;ξ1)Yg(y;ξ2)g(y;ξ2)

()θ=F(y;ξ1)g(y;ξ2)y.

(ξ1,ξ2)θ

(ξ1,ξ2)()θ

utilisateur10525
la source
4
+1 à vos deux réponses - ce sont des exemples intéressants. Vous semblez supposer que la solution fréquentiste doit cependant être basée sur la probabilité, ignorant apparemment les méthodes non paramétriques. Dans ce cas particulier, les méthodes fréquentistes non paramétriques du chapitre 5 du livre que vous avez lié me semblent au moins aussi faciles à utiliser que les méthodes bayésiennes.
MånsT
@ MånsT Bon point. En effet, cette réponse met l’accent sur l’ inférence bayésienne par rapport à la vraisemblance. J'ai écrit il y a quelque temps une réponse sur une solution non paramétrique de ce problème qui, comme vous le signalez, est aussi simple que l'approche bayésienne.
@ MånsT & Procrastinator, j'avais également voté pour cela. Je ne vois pas très bien ce que «plus facile» devrait signifier dans le contexte de cette question / les commentaires qui m'ont été faits au fil des ans. Je voulais surtout exclure les réponses dans lesquelles l’analyste a une position théorique telle qu’elle soit toujours meilleure pour des raisons indépendantes de la situation. Une telle position est défendable, bien sûr, et il existe de nombreux endroits sur Internet où consulter de tels arguments (y compris certains sur CV), mais j’ai pensé qu’il serait intéressant d’avoir un endroit où les gens pourraient énumérer utiliserait l'autre et pourquoi.
gung - Rétablir Monica
13

Je suis formé aux statistiques fréquentistes (en fait, en économétrie), mais je n’ai jamais eu une attitude conflictuelle à l’égard de l’approche bayésienne, car j’estime que la source philosophique de cette bataille "épique" était fondamentalement mal orientée (j'ai diffusé mon point de vue ici ). En fait, je prévois de me familiariser également à l'approche bayésienne dans un avenir proche.

Pourquoi? Parce que l’un des aspects de la statistique fréquentiste qui me passionne le plus en tant que projet mathématique et conceptuel, il m’inquiète en même temps le plus: les asymptotiques de la taille de l’échantillon. Au moins en économétrie, presque pasUn article sérieux affirme aujourd'hui que l'un des divers estimateurs généralement utilisés dans l'économétrie fréquentiste possède l'une des propriétés souhaitables du "petit échantillon" que nous souhaiterions obtenir d'un estimateur. Ils s'appuient tous sur des propriétés asymptotiques pour justifier leur utilisation. La plupart des tests utilisés n'ont des propriétés souhaitables qu'asymptotiquement ... Mais nous ne sommes plus dans "z-land / t-land": tout l'appareil sophistiqué (et formidable) de l'estimation fréquentiste moderne et de l'inférence est également hautement idiosyncratique, ce qui signifie que parfois, un laaaaaaaaaaaaaaaaaaaa - grand échantillon est en effet nécessaire pour que ces précieuses propriétés asymptotiques émergent et affectent favorablement les estimations dérivées des estimateurs, comme l'ont démontré diverses simulations. Ce qui signifie des dizaines de milliers d'observations - bien qu'elles commencent à être disponibles pour certains domaines d'activité économique (comme le marché du travail ou les marchés financiers), il en existe d'autres (comme la macroéconomie) dans lesquelles ils ne le feront jamais (du moins pendant toute ma vie). Et cela me gêne beaucoup, parce que cela rend vraiment les résultats dérivésincertain (pas seulement stochastique).

L'économétrie bayésienne pour les petits échantillons ne repose pas sur des résultats asymptotiques. "Mais ils s'appuient sur le préalable subjectif !" est la réponse habituelle ... à laquelle, ma réponse simple et pratique est la suivante: "si le phénomène est ancien et étudié auparavant, le prieur peut être estimé à partir de données antérieures. Si le phénomène est nouveau , par quoi d'autre sinon par des arguments subjectifs pouvons-nous commencer la discussion à ce sujet ?

Alecos Papadopoulos
la source
5
Ceci est une perspective valable, mais notons qu'il existe des approches fréquentistes qui ne reposent pas tellement sur les asymptotiques, telles que les simulations de Monte Carlo, le bootstrap et les tests de permutation.
Gay - Rétablir Monica
1
Et si on essaie de tirer le meilleur parti des deux mondes? Une tentative: Bartels, Christian (2017): Utiliser les connaissances antérieures dans des tests fréquentistes. figshare. doi.org/10.6084/m9.figshare.4819597.v3 Récupérée: 17 h 18, 10 mai 2017 (GMT)
utilisateur36160
13

C'est une réponse tardive, j'espère néanmoins qu'elle ajoute quelque chose. J'ai été formé en télécommunication où nous utilisons la plupart du temps l'approche bayésienne.

Voici un exemple simple: Supposons que vous puissiez transmettre quatre signaux possibles: +5, +2,5, -2,5 et -5 volts. L'un des signaux de cet ensemble est transmis, mais le signal est corrompu par le bruit gaussien au moment où il atteint l'extrémité destinataire. En pratique, le signal est également atténué, mais nous allons laisser tomber ce problème pour plus de simplicité. La question est la suivante: si vous êtes à la réception, comment concevez-vous un détecteur qui vous indique lequel de ces signaux a été transmis à l'origine?

Ce problème réside évidemment dans le domaine des tests d'hypothèses. Cependant, vous ne pouvez pas utiliser les valeurs p, car le test de signification peut éventuellement rejeter les quatre hypothèses possibles, et vous savez qu'un de ces signaux a été réellement transmis. Nous pouvons utiliser la méthode de Neyman-Pearson pour concevoir un détecteur, mais cette méthode fonctionne mieux pour les hypothèses binaires. Pour plusieurs hypothèses, il devient trop maladroit de traiter un nombre limité de probabilités de fausse alarme. Une alternative simple est donnée par le test d'hypothèse bayésien. N'importe lequel de ces signaux aurait pu être choisi pour être transmis, de sorte que le prior est équiprobable. Dans de tels cas équiprobables, la méthode consiste à choisir le signal avec le maximum de vraisemblance. On peut donner à cette méthode une belle interprétation géométrique: choisissez le signal qui se trouve être le plus proche du signal reçu. Cela conduit également à la partition de l'espace de décision en un certain nombre de régions de décision, de telle sorte que si le signal reçu tombe dans une région particulière, il est alors décidé que l'hypothèse associée à cette région de décision est vraie. Ainsi, la conception d'un détecteur est rendue facile.

Jyaure
la source
4
Merci de partager votre expérience avec nous. Bienvenue sur notre site!
whuber
4

Les tests statistiques dits 'Frequentist' sont généralement équivalents à l'approche bayésienne en principe plus complexe sous certaines hypothèses. Lorsque ces hypothèses sont applicables, l'une ou l'autre approche donnera le même résultat. Il est donc prudent d'utiliser le test Frequentist le plus facile à appliquer. L’approche bayésienne est plus sûre en général car elle rend les hypothèses explicites, mais si vous savez ce que vous faites, le test Frequentist est souvent aussi valable qu’une approche bayésienne et généralement plus facile à appliquer.

Bogdanovist
la source
1
Merci. Vous notez que les tests Frequentist sont "généralement plus faciles à appliquer". Connaissez-vous une situation spécifique où ce n’est pas le cas (si F sont seulement "typiquement" plus faciles, il doit en être ainsi). Pour le moment, nous pouvons laisser de côté la question de savoir quelle approche serait la plus "sûre", et nous concentrer uniquement sur la partie la plus facile à appliquer .
gung - Rétablir Monica
4

(Je vais essayer ce que je pensais être le type de réponse le plus typique.)

Disons que vous avez une situation où il y a plusieurs variables et une réponse, et que vous en savez beaucoup sur la façon dont l'une des variables doit être liée à la réponse, mais pas autant que sur les autres.

Dans une situation comme celle-ci, si vous réalisiez une analyse de régression multiple standard, cette connaissance préalable ne serait pas prise en compte. Une méta-analyse peut ensuite être réalisée, ce qui peut être intéressant pour déterminer si le résultat actuel est conforme aux autres résultats et permettre une estimation légèrement plus précise (en incluant les connaissances antérieures à ce moment-là). Mais cette approche ne permettrait pas à ce que l’on sait de cette variable d’influencer les estimations des autres variables.

Une autre option est qu'il serait possible de coder et d'optimiser votre propre fonction qui fixe la relation avec la variable en question et trouve les valeurs de paramètre des autres variables qui maximisent la vraisemblance des données étant donné cette restriction. Le problème ici est que, bien que la première option ne contraigne pas correctement l'estimation bêta, cette approche la contraint excessivement.

Il est peut-être possible de gréer au jury un algorithme qui traiterait la situation de manière plus appropriée. De telles situations semblent être des candidats idéaux pour l'analyse bayésienne. Toute personne qui ne s’oppose pas dogmatiquement à l’approche bayésienne devrait être disposée à l’essayer dans de tels cas.

gung - Rétablir Monica
la source
2

Un domaine de recherche dans lequel les méthodes bayésiennes sont extrêmement simples et les méthodes Frequentist sont extrêmement difficiles à suivre est celui de la conception optimale .

x(1)βX(2)β

βX(je)β^ββ^X(je)β

ββXX

Du point de vue bayésien, ce problème est très facile.

  1. β
  2. X
  3. X
  4. Répétez les étapes 2 et 3 jusqu'à ce que la précision souhaitée soit atteinte.

X

Cliff AB
la source
2

L'un des cas les plus simples et communs où l'approche bayésienne est plus facile est la quantification de l'incertitude des paramètres.

Dans cette réponse, je ne fais pas référence à l'interprétation des intervalles de confiance vs intervalles crédibles. Pour le moment, supposons qu'un utilisateur accepte l’une ou l’autre des méthodes.

Cela dit, dans le cadre bayésien, le processus est simple; c'est la variance marginale de la postérieure pour tout paramètre d'intérêt individuel. En supposant que vous puissiez échantillonner à partir du postérieur, prenez simplement vos échantillons et calculez vos variances. Terminé!

Dans le cas de Frequentist, cela n’est généralement direct que dans certains cas et c’est vraiment pénible quand ce n’est pas le cas. Si nous avons un grand nombre d'échantillons par rapport à un petit nombre de paramètres (et qui sait vraiment à quel point il est assez grand), nous pouvons utiliser la théorie MLE pour obtenir des CI. Cependant, ces critères ne sont pas toujours valables, en particulier dans les cas intéressants (modèles à effets mixtes). Parfois, nous pouvons utiliser l'amorçage, mais parfois, nous ne le pouvons pas! Dans les cas où nous ne le pouvons pas, il peut s'avérer très difficile de dériver des estimations d'erreur et nécessite souvent un peu d'intelligence (par exemple, la formule de Greenwood pour dériver les SE des courbes de Kaplan Meier). "Utiliser un peu d'intelligence" n'est pas toujours une recette fiable!

Cliff AB
la source