Comment les données sont-elles générées dans le cadre bayésien et quelle est la nature du paramètre qui génère les données?

9

J'essayais de réapprendre les statistiques bayésiennes (à chaque fois que je pensais l'avoir enfin, quelque chose d'autre apparaissait que je n'avais pas envisagé plus tôt ...) mais il n'était pas clair (pour moi) quel était le processus de génération de données dans le cadre bayésien est en fait.

Le cadre fréquentiste est clair pour moi. Il y a des "vrais" paramètresθ et ce paramètre génère les données en fonction de la distribution qu'il paramètre.

Cependant, dans le cadre bayésien, nous modélisons le paramètre comme une variable aléatoire. Cette partie ne me confond pas. Cela a du sens, car un bayésien interprète cette probabilité comme l'incertitude de ses propres croyances. Ils sont d'accord pour attribuer une probabilité aux événements non répétables. Donc, la façon dont j'ai interprété le "Bayésianisme" était que, selon lui, il y a un paramètre générant les données, il est définitivement inconnu mais néanmoins, fixé une fois qu'il a été décidé par la "nature" (et peut-être que la nature a décidé au hasard ce qu'il était supposé être). Néanmoins, il est corrigé et donc sa création était un "événement non reproductible". Même s'il n'était pas reproductible, nous essayons seulement de mettre à jour notre propre croyanceθdonnées données. Par conséquent, les données peuvent avoir été générées par l'un des paramètres pris en compte par notre distribution de probabilité (antérieure), mais néanmoins, le paramètre est fixe et inconnu. Nous y attachons simplement une valeur de probabilité.

Avec ce point de vue, il est logique pour moi de supposer que le processus de génération de données est presque identique au processus fréquentiste. "Nature" sélectionne le paramètreθ en utilisant la "vraie" distribution "antérieure" P(θ) et une fois que la variable aléatoire prend sa réalisation "vraie" (mais fixe), elle commence à générer les données que nous observons.

Est-ce la manière standard d'interpréter le processus de génération de données dans le cadre bayésien?

La chose principale à mon avis est que le paramètre θest définitivement fixé (vu comme une réalisation d'un VR), et il génère les données selonθ. Par conséquent, un autre point très important à mon avis est que, pour moi, notre a priori n'est qu'un moyen quantifiable d'exprimer notre incertitude sur l'événement fixe (et non répétable) de création du paramètreθ. Est-ce ainsi que les gens interprètentP(θ)?


Côté humoristique:

J'aimerais pouvoir demander à "Nature" comment elle le fait et régler ça une fois pour toutes ... lol.

Pinocchio
la source
4
Je ne pense pas que nous ayons mis une quantification sur "l'événement de création du paramètre θ". La modélisation antérieure est plutôt une quantification des limites de nos croyances et connaissances θ.
Xi'an
4
Pour moi, la méthode de génération de données est exactement la même pour un bayésien que pour un non-bayésien, c'est-à-dire qu'il existe une vraie valeur de paramètre et que ce paramètre génère des données selon vos hypothèses de modèle (si le modèle est vrai).
jaradniemi
@jaradniemi Je pense que pour moi c'est presque identique, cependant, il diffère dans un détail, en précisant comment θa été choisi en premier lieu. Pour moi, d'abord la variable aléatoireθ prend une valeur choisie par la nature en fonction de sa véritable "priorité" P(x)puis il commence à générer des données comme je l'ai expliqué.
Pinocchio
2
@ Xi'an (+1). Néanmoins, vous avez écrit "Au contraire, la modélisation antérieure est une quantification des limites de nos croyances et connaissances antérieures sur". Je ne comprends pas le but du mot "limitation". Pouvez-vous me détailler cela s'il vous plaît?
peuhp

Réponses:

3

C'est assez simple: il n'y a pas de différence entre bayésiens et fréquentistes quant à l'idée du modèle générateur de données.

Pour comprendre cela, considérons d'abord que le modèle générateur de données est codé mathématiquement selon la vraisemblance, qui est la base de l'inférence des Bayésiens et des fréquentistes. Et il n'y a aucune différence entre une probabilité bayésienne et fréquentiste.

Maintenant, vous pourriez dire: cela ne signifie pas que les Bayésiens pensent que les paramètres du processus de génération de données sont fixes. Bien sûr, mais vraiment, cela n'a pas beaucoup de sens de penser autrement - quel serait l'intérêt d'estimer une quantité qui n'est pas fixe? Qu'est-ce que cela signifierait même mathématiquement? Bien sûr, il se pourrait que vous ayez une quantité qui n'est pas une valeur, mais une distribution. Mais ensuite, vous estimez la distribution, elle est donc à nouveau fixée.

La vraie différence, comme le dit @ Xi'an, ne réside pas dans l'hypothèse de la façon dont nos données sont générées, mais dans l'inférence. Alors, quand tu dis

Cependant, dans le cadre bayésien, nous modélisons le paramètre comme une variable aléatoire.

Je ne suis pas d'accord - nous modélisons nos connaissances / incertitudes sur le vrai paramètre comme une variable aléatoire - c'est la différence subtile mais importante - nous traitons le paramètre comme des variables aléatoires pour explorer notre incertitude quant à leur "vraie" valeur.

Florian Hartig
la source
"quel serait l'intérêt d'estimer une quantité qui n'est pas fixe?" Eh bien, en général, dans le monde réel, nous avons des systèmes dynamiques qui changent avec le temps, il y aurait donc des cas d'utilisation d'estimation de quantités qui changent avec le temps.
nbro
Oui, mais ce n'était pas le sujet. La question était de savoir si l'inférence bayésienne suppose qu'il existe une vraie valeur (fixe) pour les choses que vous estimez. Dans votre exemple, la question serait de savoir si l'inférence suppose que le système dynamique a un état réel à chaque instant.
Florian Hartig
2

Les pages 3 et 4 du BDA de Gelman et al., 3e éd., Sont éclairantes. Les statistiques bayésiennes visent à faire des inférences à partir de données en utilisant des modèles de probabilité pour des quantités observables et non observables. Nous désignons les quantités non observables comme des paramètres, même si la distinction n'est pas toujours nette. Dans les statistiques bayésiennes, toute incertitude concernant les variables impliquées dans le modèle est représentée en utilisant la probabilité. Nous devons donc mettre en place un modèle de probabilité complet, c'est-à-dire une probabilité conjointe entre tousles variables impliquées dans notre problème, à la fois observables et non observables, c'est-à-dire les paramètres. Cela signifie que nous utilisons des variables aléatoires pour représenter les deux. Cela ne signifie pas que nous pensons que le paramètre est aléatoire: cela signifie simplement que notre connaissance de la valeur réelle des paramètres est limitée, et nous représentons toutes les connaissances limitées que nous avons avant d'observer les données à travers la distribution de probabilité antérieure. Nous observons ensuite les données et conditionnons sur les données observées en utilisant un modèle pour le processus de génération de données (qui donne lieu à une certaine fonction de vraisemblance) et la règle de Bayes, pour obtenir une distribution de probabilité postérieure, qui quantifie l'incertitude restante dans nos connaissances sur la quantités non observables.

En d'autres termes, nous utilisons des variables aléatoires pour les paramètres non pas parce que nous pensons qu'il n'y a pas de vrais paramètres, mais parce que nous en avons une connaissance limitée, qui s'améliore après avoir observé les données pour les variables mesurables, mais elle ne disparaît pas complètement. En effet, il existe des conditions techniques dans lesquelles la distribution postérieure tend vers un delta de Dirac (donc la variable aléatoire utilisée pour représenter le paramètre devient dégénérée) dans la limite du nombre d'observations qui passe à 0. S'il n'y avait pas valeur "vraie" pour le paramètre, cela n'aurait pas beaucoup de sens. Maintenant, ces conditions ne sont certainement pas toujours valables, mais dans de nombreuses analyses bayésiennes standard (même si elles ne sont pas toutes) nous ne doutons pas de l'existence d'un vrai modèle, et de valeurs vraies ou fixes pour les non observables.

DeltaIV
la source
1
donc pour les personnes ayant cette interprétation du bayésien (c'est-à-dire qu'il existe un vrai modèle que nous ignorons tout simplement), il semble que le processus de génération de données devrait être le même que la normale, c'est-à-dire que les vrais paramètres génèrent les données (x, y) et c'est tout?
Pinocchio
1
absolument oui. Comme je l'ai écrit ci-dessus, et comme @FlorianHartig l'a expliqué plus longuement, le processus de génération de données définit la fonction de vraisemblance, et la fonction de vraisemblance est définie de la même manière dans les deux paradigmes.
DeltaIV
1

Est-ce la manière standard d'interpréter le processus de génération de données dans le cadre bayésien?

Non, ce n'est pas l'interprétation standard. En fait, vous avez déjà reconnu dans votre question l' interprétation "subjective" de la probabilité , qui est la base standard des statistiques bayésiennes. Dans le cadre de l'interprétation «subjectiviste» (plus exactement appelée interprétation «épistémique»), les distributions de probabilité a priori et postérieure des paramètres sont utilisées pour représenter l'incertitude de l'utilisateur sur les paramètres inconnus dans le modèle. Dans ce récit, il n'y a aucune hypothèse de processus métaphysique correspondant se produisant dans la nature, ni de caractère aléatoire dans la nature. En effet, selon ce point de vue, le paradigme bayésien ne fournit aucune théorie du toutsur le "processus de génération de données" de la nature; il nous donne simplement un moyen mathématique de modéliser notre incertitude sur les choses dans la nature, et donc de former une théorie inférentielle et prédictive .

Votre dernière description est un exemple de la théorie de la propension à la probabilité , qui postule qu'il existe un processus métaphysique qui se produit dans la nature et qui est analogue au calcul des probabilités. Cette interprétation de la probabilité suppose qu'il existe une «propension» métaphysique intégrée dans la nature pour que les résultats se produisent au hasard selon les lois de la probabilité. Comme pour la plupart des Bayésiens, j'ai toujours trouvé les comptes de propension un peu stupides. C'est vraiment un exemple de la propension des êtres humains à projeter nos propres modes de pensée sur la nature et à supposer qu'il existe dans la nature des analogues à nos méthodes et constructions épistémologiques. (En tant que telle, "l'interprétation de la propension" est plus proprement une théorie de la propension des êtres humains qu'une théorie de la probabilité!)

Maintenant, vous pourriez décider d'adopter l'interprétation subjectiviste de la probabilité, ou vous pourriez être en désaccord avec moi et décider d'adopter l'interprétation de la propension. Quoi qu'il en soit, vous allez vous retrouver dans un horrible gâchis si vous équivoquez entre ces deux interprétations différentes. C'est probablement ce qui vous pose des problèmes en ce moment.

Ben - Réintègre Monica
la source
-1

Le paramètre θne peut être considéré comme fixe mais inconnu que si vous supposez que le modèle sous-jacent avec lequel vous travaillez est une représentation parfaite du vrai système. Cependant, comme la nature est généralement beaucoup plus complexe que n'importe quel modèle mathématique que nous utilisons, cette hypothèse ne peut pas être faite. Par conséquent, il n'y a pas de paramètre «un seul vrai fixe» de votre modèle.

Mathématiquement, à mesure que vous ajoutez de plus en plus de données, vous convergerez vers un certain paramètre θ. Cependant, cela est dû à l'insuffisance de vos hypothèses dans le processus de modélisation. Vous devez être prudent de l'appeler le véritable paramètre fixe du système sous-jacent. Même si un paramètre de votre modèle a une signification physique - ce n'est qu'une supposition que le paramètre postérieur conserve complètement cette interprétation.

Les données dans une vue bayésienne sont générées par le «vrai système» - que vous ne pourrez jamais modéliser correctement. Par conséquent, un vrai paramètre sous-jacent de votre modèle supposé ne peut pas exister.

Sommet
la source
5
Je ne suis pas d'accord avec l'interprétation ci-dessus: une analyse bayésienne standard ne met pas d'incertitude sur la pertinence du modèle. La distribution a priori représente une incertitude sur les informations disponibles sur le paramètre. Cela ne signifie pas qu'il n'y a pas de paramètre à valeur fixe ou pas de vrai paramètre.
Xi'an
@ Xi'an: Comme vous le dites, une analyse bayésienne standard ne met pas d'incertitude sur la pertinence du modèle: le modèle probabiliste représente nos croyances antérieures - qu'elles soient appropriées ou non est une question différente. Cependant, qui peut prétendre que son modèle est vraiment capable de représenter parfaitement le véritable système sous-jacent? Si ce lien est manquant, vous pouvez vous retrouver avec un paramètre fixe. MAIS ce n'est PAS le «vrai paramètre» - si vous définissez le «vrai paramètre» comme celui qui a réellement généré les données.
Sommet du