Paradigmes bayésiens objectifs vs subjectifs

Quelle est la différence entre les paradigmes bayésiens objectifs et subjectifs?
Quels objets ou procédures définissent-ils ou interprètent-ils différemment?
Y a-t-il une différence dans leur choix de méthodes?

Il s'agit d'un sujet très déroutant, principalement en raison du fait qu'il existe deux manières différentes d'utiliser le concept de «subjectivisme» dans ces discussions. $^\dagger$ Elle est rendue encore plus confuse par le fait qu'il existe une classe de «subjectivisme» qui est enracinée dans une élicitation préalable d'experts, et cette variation particulière doit être adaptée à la catégorisation philosophique des paradigmes avec soin. J'essaierai d'apporter une certaine clarté à cette question en exposant différentes manières d'interpréter souvent le «subjectivisme», puis en définissant de larges domaines d'accord entre les Bayésiens et les domaines où il existe une divergence dans les approches philosophiques et pratiques. J'espère qu'il y en aura d'autres qui seront en désaccord avec mes propres opinions à ce sujet, mais j'espère que cela donnera un bon point de départ pour une discussion claire.

Subjectivisme faible: dans cette interprétation, le terme «subjectif» est utilisé dans son sens le plus faible, signifiant simplement que la probabilité résume les croyances rationnelles d'un sujet. (Certaines personnes, comme moi, préfèrent utiliser le terme «épistémique» pour ce concept, car il ne nécessite pas réellement de subjectivité au sens fort.)

Subjectivisme fort: Dans cette interprétation, le terme «subjectif» est utilisé dans son sens le plus fort, signifiant que le subjectivisme faible tient, et en outre, la croyance du sujet n'a aucune justification «objective» extérieure (c.-à-d., Deux ou plusieurs sujets différents pourraient tous tenir différents croyances, et aucune ne serait considérée comme plus ou moins fausse que les autres).

Dans l'analyse bayésienne, il est généralement vrai que la distribution d'échantillonnage choisie a une justification objective fondée sur une certaine compréhension du mécanisme d'échantillonnage. Cependant, il existe rarement toute information disponible concernant le paramètre, autre que dans les données d'échantillon. Cela donne lieu à trois grands paradigmes dans les statistiques bayésiennes, qui correspondent à différentes façons de déterminer la distribution antérieure.

Paradigme bayésien subjectif: ce paradigme s'accorde avec un subjectivisme faible et soutient en outre que tout ensemble de croyances probabilistes est également valable. Tant que les sujets utilisent la mise à jour bayésienne pour de nouvelles données, il est légitime d'utiliser tout préalable. Dans ce paradigme, le prieur ne nécessite aucune justification objective. Dans ce paradigme, l'accent est mis sur la divulgation de l'ancien utilisé, puis sur la façon dont cela se met à jour avec les nouvelles données. Il est courant dans cette méthode d'inclure une analyse de sensibilité montrant les croyances postérieures sous une gamme de croyances antérieures.

Paradigme bayésien objectif:Ce paradigme s'accorde également avec un subjectivisme faible, mais préfère en outre contraindre les croyances antérieures (avant l'inclusion de toute donnée) afin qu'elles soient objectivement «non informatives» sur le paramètre. Dans ce paradigme, le prieur est censé refléter avec précision le manque d'informations disponibles concernant le paramètre, en dehors des données. Cela implique généralement d'adopter une théorie sur la façon de définir le prior (par exemple, Jeffrey's, Jaynes, Bernardo reference priors, etc.). Ce paradigme soutient qu'un ensemble de croyances probabilistes doit être préféré s'il est basé sur une croyance antérieure objectivement déterminé et peu informatif sur les paramètres du problème qui nous intéresse. Il convient que tout ensemble de croyances probabilistes est conforme aux critères de rationalité qui sous-tendent l'analyse bayésienne, mais considère les croyances basées sur de «mauvais» prieurs (trop informatives sur le paramètre inconnu) comme étant pires que celles basées sur de «bons» prieurs. Dans ce paradigme, le prieur est choisi dans une classe non informative, puis mis à jour avec de nouvelles données pour fournir une réponse objective au problème.

Expert-paradigme bayésien antérieur:Cette méthode est souvent considérée comme faisant partie du paradigme subjectif et n'est généralement pas identifiée séparément, mais je la considère comme un paradigme distinct car elle comporte des éléments de chaque point de vue. Ce paradigme s'accorde avec un faible subjectivisme, mais comme le paradigme bayésien objectif, il ne considère pas tous les prieurs comme également valables. Ce paradigme traite les «prieurs» actuels comme des postérieurs à une expérience de vie antérieure, et considère donc les croyances antérieures des experts en la matière comme étant supérieures aux croyances antérieures des non-experts. Il reconnaît également que ces croyances sont probablement basées sur des données qui n'ont pas été systématiquement enregistrées, et ne sont pas basées sur l'utilisation systématique de la théorie des probabilités, il n'est donc pas possible de décomposer ces prieurs experts existants en un a priori non informatif original et les données que cet expert a observé. (Et en effet, en l'absence d'une utilisation systématique de la théorie des probabilités, l'expert actuel «antérieur» n'est probablement même pas cohérent avec la mise à jour bayésienne.) Dans ce paradigme, l'opinion actuelle «subjective» de l'expert est traitée comme étant une encapsulation précieuse de la connaissance du sujet, qui est traité comme un primitif primitif. Dans ce paradigme, l'analyste cherche à obtenir l'expert avant par le biais de tests de croyance préalable, puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance du présent Les données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. ) Dans ce paradigme, l'opinion «subjective» actuelle de l'expert est traitée comme une encapsulation précieuse de la connaissance du sujet, qui est traitée comme un prior primitif. Dans ce paradigme, l'analyste cherche à obtenir l'expert avant par le biais de tests de croyance préalable, puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance du présent Les données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. ) Dans ce paradigme, l'opinion «subjective» actuelle de l'expert est traitée comme une encapsulation précieuse de la connaissance du sujet, qui est traitée comme un prior primitif. Dans ce paradigme, l'analyste cherche à obtenir l'expert avant par le biais de tests de croyance préalable, puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance du présent Les données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance des présentes données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures. puis le prieur est formulé comme le mieux adapté à cette croyance experte (en prenant soin de s'assurer que la croyance experte n'a pas été polluée par la connaissance des présentes données). La croyance «subjective» de l'expert est ainsi traitée comme une encapsulation «objective» des connaissances en la matière à partir de données antérieures.

Différences de méthode: En termes de méthode, le paradigme bayésien objectif diffère du paradigme subjectif dans la mesure où le premier contraint les prieurs admissibles (soit à un a priori unique, soit à une très petite classe de priors similaires), tandis que le second ne contraint pas le admissible prieurs. Dans l'approche bayésienne objective, le prieur est contraint par les théories de représenter un prieur «non informatif». Le paradigme expert-préalable adopte une approche différente et identifie à la place une ou plusieurs personnes qui sont des experts, et suscite leurs croyances antérieures.

Une fois que nous comprenons ces différents sens des différents paradigmes dans les statistiques bayésiennes, nous pouvons définir certains domaines de large accord et les domaines où il y a désaccord. En fait, en dépit des différences de méthode, il y a plus d'accord sur les théories sous-jacentes que ce qui est généralement admis.

Large accord sur le faible subjectivisme: Il existe une grande littérature dans les statistiques bayésiennes montrant que les «axiomes» de probabilité peuvent être dérivés de desiderata préliminaires concernant la prise de décision rationnelle. Cela inclut des arguments relatifs à la cohérence dynamique des croyances (voir par exemple Epstein et Le Breton 1993 ), des arguments faisant appel au théorème du livre néerlandais (voir par exemple, Lehmann 1955 , Hajek 2009). Les bayésiens de tous ces paradigmes conviennent largement que la probabilité doit être interprétée épistémiquement, comme se référant aux croyances d'un sujet, contraintes par les contraintes de rationalité inhérentes aux axiomes de probabilité. Nous convenons qu'il faut utiliser les règles de probabilité pour contraindre ses croyances sur l'incertitude à être rationnelles. Cela implique que les croyances sur l'incertitude nécessitent une mise à jour bayésienne face aux nouvelles données, mais cela n'impose aucune contrainte supplémentaire (c'est-à-dire que sans plus, cela ne dit pas qu'un précédent est meilleur qu'un autre). Les trois paradigmes ci-dessus sont d'accord sur ce point.

Il y a accord sur le fait que les postérieurs ont tendance à converger avec plus de données: il existe un certain nombre de théorèmes de cohérence dans les statistiques bayésiennes qui montrent que si vous avez deux personnes avec la même fonction de vraisemblance, mais des priors différents, alors leurs croyances postérieures convergeront à mesure que vous en obtiendrez plus et plus de données. Cela signifie qu'avec une grande quantité de données, la priorité n'a pas beaucoup d'importance. Ce sont des théorèmes de probabilité indéniables, et les trois paradigmes ci-dessus sont d'accord là-dessus. Pour cette raison, il est généralement reconnu qu'avec de grandes quantités de données, l'un des trois paradigmes est susceptible de donner des résultats similaires. Par conséquent, les différences dans les paradigmes sont les plus importantes lorsque nous ne disposons que d'une petite quantité de données.$^{\dagger \dagger}$

Il existe un large consensus sur le fait qu'il existe des règles à peu près «objectives» pour les prieurs qui sont disponibles si vous souhaitez les utiliser :Il existe une grande littérature dans les statistiques bayésiennes montrant comment vous pouvez développer des priors «non informatifs» qui sont grossièrement déterminés par le problème d'échantillonnage et résument grossièrement l'absence de beaucoup de connaissances sur le paramètre en question. Je dis «grossièrement» parce qu'il y a ici plusieurs théories concurrentes qui correspondent parfois mais diffèrent parfois légèrement (par exemple, Jeffrey's, Jaynes, les prieurs de référence, les classes Walley de prieurs imprécis, etc.), et il y a aussi des paradoxes délicats qui peuvent se produire. Le problème le plus difficile ici est qu'il est difficile de faire un prior «non informatif» pour un paramètre continu qui peut être soumis à des transformations non linéaires (car «l'ininformativité» devrait idéalement être invariante aux transformations). Encore une fois, ce sont des théorèmes de probabilité, et tous les paradigmes sont d'accord avec leur contenu. Les bayésiens objectifs ont tendance à considérer cette théorie comme étant suffisamment bonne pour donner des prieurs supérieurs, tandis que les bayésiens subjectifs et les bayésiens antérieurs experts ont tendance à considérer la théorie comme insuffisante pour établir la supériorité de ces prieurs. En d'autres termes, il existe un large consensus sur le fait que ces règles objectives existent et peuvent être utilisées, mais il existe un désaccord sur leur qualité.

Il existe un désaccord sur l'importance d'avoir une réponse unique: les bayésiens objectifs sont motivés par la préférence qu'un problème statistique avec des données fixes et une fonction de vraisemblance fixe conduise à une croyance postérieure déterminée de manière unique (ou au moins un petit nombre de croyances postérieures autorisées qui varient très peu). Cette préférence fait généralement partie d'une préférence plus large d'avoir des procédures scientifiques qui donnent une réponse unique lorsqu'elles sont appliquées à des ensembles fixes de conditions objectives. Au contraire, les Bayésiens subjectifs et les Bayésiens antérieurs experts pensent que ce n'est pas particulièrement important, et ils pensent généralement que cette focalisation sur un postérieur déterminé de façon unique est en fait trompeuse.

Il existe un large consensus sur le fait que le public ne connaît pas bien les postérieurs bayésiens: tous les paradigmes s'accordent à dire que le grand public ne connaît pas bien les mécanismes de base de la façon dont l'analyse bayésienne passe d'une phase antérieure à une phase postérieure. Les Bayésiens objectifs craignent parfois que donner plus d'une réponse permise pour la partie postérieure soit source de confusion pour les gens. Les Bayésiens subjectifs s'inquiètent du fait que le fait de ne pas donner plus d'une réponse permise pour le postérieur est trompeur pour les gens.

$^\dagger$ Il convient de noter que la confusion sur le "subjectivisme" provient ici d'un cas particulier de la fausse dichotomie générale en épistémologie entre "subjectivisme" et "intrinsicisme" (voir par exemple Piekoff ). Dans leurs tentatives d'interprétation des probabilités, de nombreux utilisateurs ont commis l'erreur de croire que tout rejet des théories aléatoires des probabilités conduit nécessairement à des interprétations «subjectives» au sens fort spécifié ici. Pour bien comprendre les interprétations des probabilités, il est judicieux de comprendre les problèmes généraux de la dichotomie subjectivisme-intrinsicisme, et donc de reconnaître qu'il existe des interprétations épistémiques objectives.

$^{\dagger \dagger}$ Il y a quelques conditions générales de régularité requises pour ce résultat (par exemple, les deux sujets ont un a priori avec support incluant la vraie valeur du paramètre) mais cela s'applique très largement.