Paradigmes bayésiens objectifs vs subjectifs

12

Quelle est la différence entre les paradigmes bayésiens objectifs et subjectifs?
Quels objets ou procédures définissent-ils ou interprètent-ils différemment?
Y a-t-il une différence dans leur choix de méthodes?

Richard Hardy
la source
1
+1 Mon impression - qui ne fait pas vraiment autorité - est qu'être un bayésien "objectif" a tendance à être en corrélation avec les recettes automatiques pour trouver des prieurs comme les Jeffreys antérieurs, tandis que les "subjectifs" laissent leurs croyances privées dicter le choix du prieur. Cela pourrait aussi être le cas - mais je suis encore moins sûr de cela - c'est que pour l'ancien groupe, on est plus susceptible de voir la discussion sur le "vrai" paramètre et si un estimateur est "proche" de lui.
Christoph Hanck
1
@ChristophHanck, merci pour votre contribution. J'espère que quelqu'un de bien informé pourra préparer un bon résumé / aperçu et le poster comme réponse, alors nous verrons comment vos points s'intègrent.
Richard Hardy
1
Je suis également un peu confus quant à savoir si ici l'objectif fait référence à l'empirique (apprentissage préalable à partir des données comme ARD / SBL) ou objectif dans le sens où il donne des résultats identiques aux résultats fréquentistes.
boomkin
1
@boomkin, AFAIK il existe des écoles de pensée qui s'identifient aux "bayésiens subjectifs" et aux "bayésiens objectifs". Je voudrais connaître leurs principales idées et les différences entre les premières et les secondes. L'apprentissage préalable à partir des données est une caractéristique que les deux peuvent ou non traiter différemment.
Richard Hardy
2
+1 mais, je trouve préférable de ne pas utiliser le terme «bayésien» comme adjectif nominalisé. L'adjectif «bayésien» classe les méthodes, pas les personnes. Le placement des statisticiens dans une fausse dichotomie "comme si l'on adhérait à une seule et à une seule école de pensée sur plusieurs écoles de pensée" peut rendre difficile la réponse à la question. Il pourrait s'agir d'une question piège à laquelle il est impossible de répondre, car elle est «incorrectement» énoncée en premier lieu (en utilisant une prémisse incorrecte sur l'existence des bayésiens).
Sextus Empiricus

Réponses:

3

Il s'agit d'un sujet très déroutant, principalement en raison du fait qu'il existe deux manières différentes d'utiliser le concept de «subjectivisme» dans ces discussions. Elle est rendue encore plus confuse par le fait qu'il existe une classe de «subjectivisme» qui est enracinée dans une élicitation préalable d'experts, et cette variation particulière doit être adaptée à la catégorisation philosophique des paradigmes avec soin. J'essaierai d'apporter une certaine clarté à cette question en exposant différentes manières d'interpréter souvent le «subjectivisme», puis en définissant de larges domaines d'accord entre les Bayésiens et les domaines où il existe une divergence dans les approches philosophiques et pratiques. J'espère qu'il y en aura d'autres qui seront en désaccord avec mes propres opinions à ce sujet, mais j'espère que cela donnera un bon point de départ pour une discussion claire.


Subjectivisme faible: dans cette interprétation, le terme «subjectif» est utilisé dans son sens le plus faible, signifiant simplement que la probabilité résume les croyances rationnelles d'un sujet. (Certaines personnes, comme moi, préfèrent utiliser le terme «épistémique» pour ce concept, car il ne nécessite pas réellement de subjectivité au sens fort.)

Subjectivisme fort: Dans cette interprétation, le terme «subjectif» est utilisé dans son sens le plus fort, signifiant que le subjectivisme faible tient, et en outre, la croyance du sujet n'a aucune justification «objective» extérieure (c.-à-d., Deux ou plusieurs sujets différents pourraient tous tenir différents croyances, et aucune ne serait considérée comme plus ou moins fausse que les autres).


Dans l'analyse bayésienne, il est généralement vrai que la distribution d'échantillonnage choisie a une justification objective fondée sur une certaine compréhension du mécanisme d'échantillonnage. Cependant, il existe rarement toute information disponible concernant le paramètre, autre que dans les données d'échantillon. Cela donne lieu à trois grands paradigmes dans les statistiques bayésiennes, qui correspondent à différentes façons de déterminer la distribution antérieure.

Paradigme bayésien subjectif: ce paradigme s'accorde avec un subjectivisme faible et soutient en outre que tout ensemble de croyances probabilistes est également valable. Tant que les sujets utilisent la mise à jour bayésienne pour de nouvelles données, il est légitime d'utiliser tout préalable. Dans ce paradigme, le prieur ne nécessite aucune justification objective. Dans ce paradigme, l'accent est mis sur la divulgation de l'ancien utilisé, puis sur la façon dont cela se met à jour avec les nouvelles données. Il est courant dans cette méthode d'inclure une analyse de sensibilité montrant les croyances postérieures sous une gamme de croyances antérieures.

Paradigme bayésien objectif:Ce paradigme s'accorde également avec un subjectivisme faible, mais préfère en outre contraindre les croyances antérieures (avant l'inclusion de toute donnée) afin qu'elles soient objectivement «non informatives» sur le paramètre. Dans ce paradigme, le prieur est censé refléter avec précision le manque d'informations disponibles concernant le paramètre, en dehors des données. Cela implique généralement d'adopter une théorie sur la façon de définir le prior (par exemple, Jeffrey's, Jaynes, Bernardo reference priors, etc.). Ce paradigme soutient qu'un ensemble de croyances probabilistes doit être préféré s'il est basé sur une croyance antérieure objectivement déterminé et peu informatif sur les paramètres du problème qui nous intéresse. Il convient que tout ensemble de croyances probabilistes est conforme aux critères de rationalité qui sous-tendent l'analyse bayésienne, mais considère les croyances basées sur de «mauvais» prieurs (trop informatives sur le paramètre inconnu) comme étant pires que celles basées sur de «bons» prieurs. Dans ce paradigme, le prieur est choisi dans une classe non informative, puis mis à jour avec de nouvelles données pour fournir une réponse objective au problème.

Expert-paradigme bayésien antérieur:Cette méthode est souvent considérée comme faisant partie du paradigme subjectif et n'est généralement pas identifiée séparément, mais je la considère comme un paradigme distinct car elle comporte des éléments de chaque point de vue. Ce paradigme s'accorde avec un faible subjectivisme, mais comme le paradigme bayésien objectif, il ne considère pas tous les prieurs comme également valables. Ce paradigme traite les «prieurs» actuels comme des postérieurs à une expérience de vie antérieure, et considère donc les croyances antérieures des experts en la matière comme étant supérieures aux croyances antérieures des non-experts. Il reconnaît également que ces croyances sont probablement basées sur des données qui n'ont pas été systématiquement enregistrées, et ne sont pas basées sur l'utilisation systématique de la théorie des probabilités, il n'est donc pas possible de décomposer ces prieurs experts existants en un a priori non informatif original et les données que cet expert a observé. (Et en effet, en l'absence d'une utilisation systématique de la théorie des probabilités, l'expert actuel «antérieur» n'est probablement même pas cohérent avec la mise à jour bayésienne.) Dans ce paradigme, l'opinion actuelle «subjective» de l'expert est traitée comme étant une encapsulation précieuse de la connaissance du sujet, qui est traité comme un primitif primitif. Dans ce paradigme, l'analyste cherche à obtenir l'expert avant par le biais de tests de croyance préalable, puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance du présent Les données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. ) Dans ce paradigme, l'opinion «subjective» actuelle de l'expert est traitée comme une encapsulation précieuse de la connaissance du sujet, qui est traitée comme un prior primitif. Dans ce paradigme, l'analyste cherche à obtenir l'expert avant par le biais de tests de croyance préalable, puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance du présent Les données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. ) Dans ce paradigme, l'opinion «subjective» actuelle de l'expert est traitée comme une encapsulation précieuse de la connaissance du sujet, qui est traitée comme un prior primitif. Dans ce paradigme, l'analyste cherche à obtenir l'expert avant par le biais de tests de croyance préalable, puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance du présent Les données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance des présentes données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance des présentes données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures.

Différences de méthode: En termes de méthode, le paradigme bayésien objectif diffère du paradigme subjectif dans la mesure où le premier contraint les prieurs admissibles (soit à un a priori unique, soit à une très petite classe de priors similaires), tandis que le second ne contraint pas le admissible prieurs. Dans l'approche bayésienne objective, le prieur est contraint par les théories de représenter un prieur «non informatif». Le paradigme expert-préalable adopte une approche différente et identifie à la place une ou plusieurs personnes qui sont des experts, et suscite leurs croyances antérieures.


Une fois que nous comprenons ces différents sens des différents paradigmes dans les statistiques bayésiennes, nous pouvons définir certains domaines de large accord et les domaines où il y a désaccord. En fait, en dépit des différences de méthode, il y a plus d'accord sur les théories sous-jacentes que ce qui est généralement admis.

Large accord sur le faible subjectivisme: Il existe une grande littérature dans les statistiques bayésiennes montrant que les «axiomes» de probabilité peuvent être dérivés de desiderata préliminaires concernant la prise de décision rationnelle. Cela inclut des arguments relatifs à la cohérence dynamique des croyances (voir par exemple Epstein et Le Breton 1993 ), des arguments faisant appel au théorème du livre néerlandais (voir par exemple, Lehmann 1955 , Hajek 2009). Les bayésiens de tous ces paradigmes conviennent largement que la probabilité doit être interprétée épistémiquement, comme se référant aux croyances d'un sujet, contraintes par les contraintes de rationalité inhérentes aux axiomes de probabilité. Nous convenons qu'il faut utiliser les règles de probabilité pour contraindre ses croyances sur l'incertitude à être rationnelles. Cela implique que les croyances sur l'incertitude nécessitent une mise à jour bayésienne face aux nouvelles données, mais cela n'impose aucune contrainte supplémentaire (c'est-à-dire que sans plus, cela ne dit pas qu'un précédent est meilleur qu'un autre). Les trois paradigmes ci-dessus sont d'accord sur ce point.

Il y a accord sur le fait que les postérieurs ont tendance à converger avec plus de données: il existe un certain nombre de théorèmes de cohérence dans les statistiques bayésiennes qui montrent que si vous avez deux personnes avec la même fonction de vraisemblance, mais des priors différents, alors leurs croyances postérieures convergeront à mesure que vous en obtiendrez plus et plus de données. Cela signifie qu'avec une grande quantité de données, la priorité n'a pas beaucoup d'importance. Ce sont des théorèmes de probabilité indéniables, et les trois paradigmes ci-dessus sont d'accord là-dessus. Pour cette raison, il est généralement reconnu qu'avec de grandes quantités de données, l'un des trois paradigmes est susceptible de donner des résultats similaires. Par conséquent, les différences dans les paradigmes sont les plus importantes lorsque nous ne disposons que d'une petite quantité de données.

Il existe un large consensus sur le fait qu'il existe des règles à peu près «objectives» pour les prieurs qui sont disponibles si vous souhaitez les utiliser :Il existe une grande littérature dans les statistiques bayésiennes montrant comment vous pouvez développer des priors «non informatifs» qui sont grossièrement déterminés par le problème d'échantillonnage et résument grossièrement l'absence de beaucoup de connaissances sur le paramètre en question. Je dis «grossièrement» parce qu'il y a ici plusieurs théories concurrentes qui correspondent parfois mais diffèrent parfois légèrement (par exemple, Jeffrey's, Jaynes, les prieurs de référence, les classes Walley de prieurs imprécis, etc.), et il y a aussi des paradoxes délicats qui peuvent se produire. Le problème le plus difficile ici est qu'il est difficile de faire un prior «non informatif» pour un paramètre continu qui peut être soumis à des transformations non linéaires (car «l'ininformativité» devrait idéalement être invariante aux transformations). Encore une fois, ce sont des théorèmes de probabilité, et tous les paradigmes sont d'accord avec leur contenu. Les bayésiens objectifs ont tendance à considérer cette théorie comme étant suffisamment bonne pour donner des prieurs supérieurs, tandis que les bayésiens subjectifs et les bayésiens antérieurs experts ont tendance à considérer la théorie comme insuffisante pour établir la supériorité de ces prieurs. En d'autres termes, il existe un large consensus sur le fait que ces règles objectives existent et peuvent être utilisées, mais il existe un désaccord sur leur qualité.

Il existe un désaccord sur l'importance d'avoir une réponse unique: les bayésiens objectifs sont motivés par la préférence qu'un problème statistique avec des données fixes et une fonction de vraisemblance fixe conduise à une croyance postérieure déterminée de manière unique (ou au moins un petit nombre de croyances postérieures autorisées qui varient très peu). Cette préférence fait généralement partie d'une préférence plus large d'avoir des procédures scientifiques qui donnent une réponse unique lorsqu'elles sont appliquées à des ensembles fixes de conditions objectives. Au contraire, les Bayésiens subjectifs et les Bayésiens antérieurs experts pensent que ce n'est pas particulièrement important, et ils pensent généralement que cette focalisation sur un postérieur déterminé de façon unique est en fait trompeuse.

Il existe un large consensus sur le fait que le public ne connaît pas bien les postérieurs bayésiens: tous les paradigmes s'accordent à dire que le grand public ne connaît pas bien les mécanismes de base de la façon dont l'analyse bayésienne passe d'une phase antérieure à une phase postérieure. Les Bayésiens objectifs craignent parfois que donner plus d'une réponse permise pour la partie postérieure soit source de confusion pour les gens. Les Bayésiens subjectifs s'inquiètent du fait que le fait de ne pas donner plus d'une réponse permise pour le postérieur est trompeur pour les gens.


Il convient de noter que la confusion sur le "subjectivisme" provient ici d'un cas particulier de la fausse dichotomie générale en épistémologie entre "subjectivisme" et "intrinsicisme" (voir par exemple Piekoff ). Dans leurs tentatives d'interprétation des probabilités, de nombreux utilisateurs ont commis l'erreur de croire que tout rejet des théories aléatoires des probabilités conduit nécessairement à des interprétations «subjectives» au sens fort spécifié ici. Pour bien comprendre les interprétations des probabilités, il est judicieux de comprendre les problèmes généraux de la dichotomie subjectivisme-intrinsicisme, et donc de reconnaître qu'il existe des interprétations épistémiques objectives.

Il y a quelques conditions générales de régularité requises pour ce résultat (par exemple, les deux sujets ont un a priori avec support incluant la vraie valeur du paramètre) mais cela s'applique très largement.

Ben - Réintègre Monica
la source
Merci pour cette réponse si volumineuse et si éloquente! Il semble donc que les antérieurs soient à l'origine du désaccord. Est-ce que c'est ça? Y a-t-il un désaccord / des variations sur, disons, la définition / interprétation de la probabilité? Ou ce que cela signifie pour un paramètre d'être une variable aléatoire? J'ai oublié de l'inclure dans le PO, mais pourriez-vous peut-être inclure quelques noms qui peuvent plus ou moins clairement être attribués à un paradigme donné? Je sais que tous les statisticiens ne peuvent pas être placés dans l'une ou l'autre boîte, mais il doit y avoir des pères fondateurs ou des partisans dévoués dans chaque camp.
Richard Hardy
La racine du désaccord concerne définitivement l'opportunité / l'indésirabilité des inférences objectives (c'est-à-dire unique ou proche de unique) et la portée de ce qui constitue un "bon" a priori. Je ne pense pas que ce soit un désaccord plus large sur l'interprétation de la probabilité ou la signification d'une variable aléatoire. À ma connaissance, presque tous les Bayésiens s'accordent sur l'interprétation épistémique. Comme la plupart des fondements des paradigmes se trouvent dans des théorèmes, où il n'y a pas de place pour un désaccord sur la validité, les seuls désaccords concernent la valeur et l'opportunité de différentes méthodes.
Ben - Réintègre Monica le
Pour un aperçu de tout, voir "la Bible" (Bernardo et Smith 2001, Théorie Bayésienne). Paradigme bayésien subjectif - voir par exemple Savage, Lindley, Goldstein. Paradigme bayésien objectif - voir par exemple Bernardo, Berger, Jaynes, Jeffreys. Paradigme d'opinion d'experts - mélange éclectique d'auteurs, mais peut-être voir par exemple Choi, Sun. Il vaut également la peine de lire Walley sur l'analyse bayésienne imprécise, qui utilise des classes fixes de prieurs, et est effectivement dans la catégorie objective.
Ben - Rétablir Monica le
Merci beaucoup! J'ai de la chance de t'avoir sur mon étui.
Richard Hardy
3
+1 Belle réponse. Une chose qui semble manquer est une mention des méthodes "empiriques de Bayes" où le prieur est estimé à partir des données elles-mêmes. Je pense que cela devrait être une catégorie à part entière avec vos priors subjectifs, vos priors objectifs (aka non informatifs) et vos priors experts.
amibe dit Réintégrer Monica le