Un bayésien admettrait-il qu'il existe une valeur de paramètre fixe?

40

Dans l'analyse de données bayésienne, les paramètres sont traités comme des variables aléatoires. Cela découle de la conceptualisation subjective bayésienne de la probabilité. Mais les Bayésiens reconnaissent-ils théoriquement qu’il existe une véritable valeur de paramètre fixe dans le «monde réel»?

Il semble que la réponse évidente soit «oui», car tenter d'estimer le paramètre serait presque absurde. Une citation académique pour cette réponse serait grandement appréciée.

ATJ
la source
2
Donnez-moi ce paramètre et je définirai une distribution pour cela. :-)
Anne van Rossum le

Réponses:

43

IMHO "oui"! Voici l'une de mes citations préférées du Groenland (2006: 767):

On dit souvent (à tort) que "les paramètres sont traités comme fixés par le fréquentiste mais aléatoires par le bayésien". Pour les fréquentistes et les bayésiens, la valeur d'un paramètre peut avoir été fixée depuis le début ou avoir été générée à partir d'un mécanisme physiquement aléatoire. Dans les deux cas, les deux supposent qu'il a pris une valeur fixe que nous aimerions connaître. Le bayésien utilise des modèles de probabilité formels pour exprimer une incertitude personnelle quant à cette valeur. Le «caractère aléatoire» dans ces modèles représente une incertitude personnelle quant à la valeur du paramètre. ce n'est pas une propriété du paramètre (bien que nous devrions espérer qu'il reflète avec précision les propriétés des mécanismes qui ont produit le paramètre).

Groenland, S. (2006). Perspectives bayésiennes pour la recherche épidémiologique: I. Fondements et méthodes de base. Journal international d'épidémiologie , 35 (3), 765-774.

Bernd Weiss
la source
2
Étant légèrement contrarian, ne pourrait-on pas prétendre que la (position, le moment) d’une particule est un "paramètre" que nous pourrions essayer d’estimer? On pourrait soutenir qu'il n'y a pas de valeur "fixe" de ce paramètre et qu'il faut vraiment le considérer comme une distribution. Considérer les inconnues spécifiquement comme des distributions plutôt que des valeurs fixes semble être ce que la nature fait dans certaines situations. Je ne pense pas que ce raisonnement soit très attrayant pour un bayésien dans la pratique, mais je pense que pour répondre pleinement à la question des OP, il est nécessaire de discuter de la nature du caractère aléatoire.
mec
3
Je ne vois pas ce qui est "peu commun" quand on considère une distribution comme la cible de l'inférence. En effet, indexer des choses avec des paramètres est de toute façon facultatif, par exemple on peut affirmer son incertitude en utilisant directement des distributions sur des fonctions (voir Neal et Williams sur les processus gaussiens). Et il n’est pas nécessaire d’avoir une vision particulière du «caractère aléatoire» pour représenter l’incertitude avec le calcul de probabilité. Inférence basée sur l' échantillonnage (théorie) sans doute ne ont besoin d' une telle théorie, mais pour autant que je peux voir Bayesianism n'est pas (ou du moins n'a pas besoin d'être.)
conjugateprior
2
Je ne suis pas d'accord pour dire qu'un Bayésien suppose qu'un paramètre a une valeur fixe et que seule l'incertitude personnelle le pousse à le définir comme une distribution plutôt que comme un point. J'ai essayé de développer cela dans ma réponse. Votre incertitude personnelle / théorique fait partie de la distribution, mais il me semble que votre modèle calcule essentiellement la moyenne des variables exclues du modèle et crée une distribution, même si vos a priori personnels sont très précis.
Wayne
29

La conception bayésienne d'une probabilité n'est pas nécessairement subjective (cf Jaynes). La distinction importante ici est que le Bayésien tente de déterminer son état de connaissance concernant la valeur du paramètre en combinant une distribution antérieure pour sa valeur plausible avec la vraisemblance qui résume les informations contenues dans certaines observations. Par conséquent, en tant que bayésien, je dirais que je suis satisfait de l’idée que le paramètre a une valeur réelle, ce que l’on ne sait pas exactement, et le but d’une distribution postérieure est de résumer ce que je sais de ses valeurs plausibles, basé sur mes hypothèses antérieures et les observations.

Maintenant, quand je fais un modèle, le modèle n'est pas la réalité. Donc, dans certains cas, le paramètre en question existe dans la réalité (par exemple, le poids moyen d'un wombat) et dans d'autres, il n'en a pas (par exemple, la valeur vraie d'un paramètre de régression - le modèle de régression n'est qu'un modèle du résultat de les lois physiques qui régissent le système, qui peuvent en fait ne pas être entièrement capturées par le modèle de régression). Donc, dire qu'il y a une vraie valeur de paramètre fixe dans le monde réel n'est pas nécessairement vrai.

D'un autre côté, je dirais que la plupart des fréquentistes diraient qu'il existe une valeur réelle pour la statistique, mais ils ne savent pas non plus ce que c'est, mais ils ont des estimateurs et des intervalles de confiance pour leurs estimations qui (dans un sens ) quantifie leur incertitude quant à la plausibilité de valeurs différentes (mais la conception fréquentiste d'une probabilité les empêche de l'exprimer directement).

Dikran Marsupial
la source
J'ai toujours pensé que les "probabilités subjectives" étaient appelées subjectives car elles faisaient référence à une propriété du sujet effectuant le calcul (c'est-à-dire sa connaissance) plutôt qu'à une propriété de la réalité objective (par exemple, la distribution du poids d'un dés pas tout à fait juste).
Nikie
1
α
Je sais, mais ce sont toujours des probabilités subjectives, non? Parce qu'ils décrivent encore les connaissances du sujet sur certains paramètres (qui, pour un fréquentiste, ne seraient pas du tout une variable aléatoire)
nikie
Il n'y a pas nécessairement de sujet. Un ensemble de robots ou d’ordinateurs peuvent tous effectuer le même calcul et arriver à la même conclusion, qu’il s’agisse d’une approche bayésienne fréquentiste ou objectiviste. C’est l’ état des connaissances, quel que soit le sujet qui effectue le calcul, et c’est pourquoi il est objectif plutôt que subjectif.
Dikran Marsupial le
17

Dans votre analyse principale, dans Bayesian Data Analysis (3 e éd., 93), Gelman écrit également:

Du point de vue de l'analyse bayésienne des données, nous pouvons souvent interpréter les estimations ponctuelles classiques comme des résumés a posteriori exacts ou approximatifs fondés sur un modèle de probabilité implicite. En fait, dans la limite d'un échantillon de grande taille, nous pouvons utiliser la théorie asymptotique pour construire une justification bayésienne théorique de l'inférence classique du maximum de vraisemblance.

Alors peut-être que ce ne sont pas les Bayésiens qui devraient "admettre" qu'il existe, en vérité, de véritables valeurs paramétriques, mais les fréquentistes qui devraient faire appel aux statistiques bayésiennes pour justifier leurs procédures d'estimation! (Je dis cela avec la langue fermement dans la joue.)

Pr(θ|y)

Mais l'idée qu'il existe des paramètres uniques dans la nature ou dans les systèmes sociaux n'est qu'une hypothèse simplificatrice. Il peut y avoir un processus fastueux générant des résultats observables, mais la découverte de ce système est incroyablement compliquée. en supposant qu'il n'y ait qu'une seule valeur de paramètre fixe, le problème est considérablement simplifié. Je pense que cela touche au cœur de votre question: les bayésiens ne devraient pas avoir à "admettre" cette simplification plus que les frequentists.

Sycorax dit Réintégrer Monica
la source
Pourriez-vous expliquer pourquoi vous refusez que l'inférence bayésienne soit basée sur une probabilité subjective? Les textes d'introduction que j'ai lus (Kruschke, Lynch) semblent tous l'encadrer de cette façon. Est-ce que ce n'est que partiellement subjectif (venant du prieur)?
ATJ
@ATJ J'espère que cela clarifie mon point. Il y a d'autres arguments que l'on pourrait avancer, mais le vrai point de blocage pour moi était l'hypothèse implicite selon laquelle les statistiques bayésiennes sont subjectives, contrairement aux autres paradigmes. Par exemple, je m'oppose à la caractérisation de la citation de Bernd parce qu'il semble tout aussi "personnel" de privilégier une méthode d'estimation ponctuelle sans biais par rapport à un cadre de variabilité postérieure.
Sycorax dit: Réintégrer Monica le
@ATJ, les textes d'introduction racontent une histoire pour motiver les méthodes. Quelque chose comme cette histoire a peut-être motivé les méthodes. Mais cela ne veut pas dire que cette histoire a beaucoup d'influence sur les hypothèses que les gens font en appliquant ces méthodes dans la pratique. (Et l'histoire peut être absurde: par exemple, l'idée que les probabilités impliquées dans les statistiques puissent être définies en termes de fréquences de la manière que les textes introductifs fréquentistes disent parfois n'a pas de sens - les papiers "15 arguments" de Google Alan Hajek Cela ne veut pas dire que les statistiques fréquentistes ne fonctionnent pas, ça marche.)
Mars
9

Pensez-vous qu'il existe un seul "véritable paramètre fixe" pour quelque chose comme la contribution de la consommation de lait à la croissance d'un enfant? Ou pour la diminution de la taille d'une tumeur en fonction de la quantité de X chimique que vous injectez dans le corps d'un patient? Choisissez le modèle que vous connaissez et demandez-vous si vous croyez réellement qu'il existe une valeur vraie, universelle, précise et fixe pour chaque paramètre, même en théorie.

Ignorer l'erreur de mesure, il suffit de regarder votre modèle comme si toutes les mesures étaient parfaitement précises et infiniment précises. Selon votre modèle, pensez-vous que chaque paramètre a de manière réaliste une valeur en points spécifique?

Le fait que vous ayez un modèle indique que vous omettez certains détails. Votre modèle sera imprécis car vous faites une moyenne sur les paramètres / variables que vous avez omis afin de créer un modèle - une représentation simplifiée de la réalité. (Tout comme vous ne faites pas une carte 1: 1 de la planète, complète avec tous les détails, mais plutôt une carte 1: 10000000, ou une telle simplification. La carte est un modèle.)

Étant donné que vous faites la moyenne entre les variables non renseignées, les paramètres des variables que vous incluez dans votre modèle seront des distributions et non des valeurs ponctuelles.

Ce n'est qu'un aspect de la philosophie bayésienne - j'ignore l'incertitude théorique, l'incertitude de mesure, les a priori, etc. - mais il me semble que l'idée que vos paramètres ont des distributions a un sens intuitif, au même titre que les statistiques descriptives. Distribution.

Wayne
la source
7

Mais les Bayésiens reconnaissent-ils théoriquement qu’il existe une véritable valeur de paramètre fixe dans le «monde réel»?

θ0θ0

Stéphane Laurent
la source
θ00
2

Si nous allons coupler le bayésianisme avec un univers déterministe (avant de dire quoi que ce soit avec le mot 'quantum' dedans, amusez-vous et rappelez-vous que ce n'est pas de la physique. Stackexchange), nous obtiendrons des résultats intéressants.

Rendre nos hypothèses explicites:

  1. Nous avons un agent bayésien faisant partie d’un univers déterministe et l’observant.
  2. L'agent dispose de ressources informatiques limitées.

L'univers déterministe est peut-être un univers où les atomes sont de petites boules de billard newtoniennes. Cela peut être entièrement non quantique. Disons que c'est.

L'agent lance maintenant une pièce équitable. Pensez-y une seconde, que constitue une pièce de monnaie équitable dans un univers déterministe? Une pièce qui a un rapport de probabilité 50/50?

Mais c'est déterministe! Avec suffisamment de puissance de calcul, vous pouvez calculer exactement comment la pièce va atterrir, simplement en simulant un modèle de pièce retournée de la même manière.

Dans un univers déterministe, une pièce de monnaie serait un disque de métal de densité uniforme. Aucune force ne l’oblige à passer plus de temps avec l’un face cachée que l’autre (réfléchissez à la façon dont les dés pondérés fonctionnent.)

Donc, l'agent lance une pièce équitable. Pourtant, l'agent n'est pas assez puissant. Il n'a pas assez d'yeux pour mesurer la rotation de la pièce, il ne voit qu'un flou.

Et il est donc dit "Cette pièce va atterrir une tête avec une probabilité de 50%." Le manque d'information mène à des probabilités.

Nous pouvons regarder l'espace de phase de la façon dont une pièce de monnaie est lancée. Un grand système de coordonnées multidimensionnel avec des axes relatifs à la direction du lancer, à la force du lancer, à la rotation de la pièce, à la vitesse et à la direction du vent, etc. Un seul point dans cet espace correspond à un seul coinflip possible.

Si nous demandons à l'agent d'avant de colorier dans le système de coordonnées avec un dégradé de niveaux de gris correspondant à l'attribution par l'agent de probabilité de têtes pour chaque projection donnée, il colorera généralement le tout d'une nuance de gris uniforme.

Si nous lui donnons progressivement des ordinateurs internes plus puissants avec lesquels calculer les probabilités de têtes, il sera en mesure de faire de plus en plus de coloris éclairants. Lorsque nous lui donnerons enfin l'ordinateur interne le plus puissant, le rendant omniscient, il peindra efficacement un damier étrange.

Les pièces justes ne sont pas faites de probabilités, elles sont en métal. Les probabilités n'existent que dans les structures de calcul. Ainsi dit le bayésien.

Karl Damgaard Asmussen
la source
-3

Il y a des a priori inappropriés, par exemple Jeffreys, qui a un certain rapport avec la matrice d'informations de pêcheur. Alors ce n'est pas subjectif.

Analyste
la source
2
Pourriez-vous préciser en quoi le précédent de Jeffreys et sa relation avec la matrice d'information de Fisher signifient que l'inférence bayésienne n'est pas subjective? Si je comprends bien, la principale raison d'utiliser l'antérieur de Jeffreys est qu'il est invariant par rapport aux paramétrisations alternatives du modèle. De plus, dans un contexte multidimensionnel, le prieur de Jeffreys peut devenir très informatif et les résultats sont controversés (Gelman, BDA 3, p. 53). Cela mine-t-il son «objectivité»?
Sycorax dit: réintégrer Monica le
@ user777, puisqu'il est basé sur des paramètres de densité, il est objectif. Supposons que je multiplie la probabilité par 1, ai-je alors un subjectif préalable pour la probabilité? Puisque la probabilité postérieure est liée à la probabilité antérieure x.
Analyste le
Et les fréquencistes doivent également invoquer Axiom of The True Model s'ils veulent utiliser la vraisemblance ... :)
Analyste,