Existe-t-il une base * mathématique * pour le débat bayésien vs fréquentiste?

Il est dit sur Wikipedia que:

les mathématiques [de probabilité] sont largement indépendantes de toute interprétation de probabilité.

Question: Alors, si nous voulons être mathématiquement corrects, ne devrions-nous pas rejeter toute interprétation de la probabilité? C'est-à-dire que le bayésien et le fréquentisme sont mathématiquement incorrects?

Je n'aime pas la philosophie, mais j'aime les mathématiques et je veux travailler exclusivement dans le cadre des axiomes de Kolmogorov. Si tel est mon objectif, devrait-il découler de ce qui est dit sur Wikipedia que je devrais rejeter le bayésianisme et le fréquentisme? Si les concepts sont purement philosophiques et pas du tout mathématiques, pourquoi apparaissent-ils dans les statistiques en premier lieu?

Contexte / Contexte:
Ce billet de blog ne dit pas tout à fait la même chose, mais il soutient que tenter de classer les techniques comme "bayésiennes" ou "fréquentistes" est contre-productif d'un point de vue pragmatique.

Si la citation de Wikipedia est vraie, il semble alors que, d'un point de vue philosophique, tenter de classer des méthodes statistiques soit également contre-productif - si une méthode est mathématiquement correcte, il est alors valide d'utiliser la méthode lorsque les hypothèses des mathématiques sous-jacentes sont correctes. hold, sinon, si ce n'est pas mathématiquement correct ou si les hypothèses ne tiennent pas, alors il est invalide de l'utiliser.

D'autre part, beaucoup de gens semblent identifier "l'inférence bayésienne" avec la théorie des probabilités (c'est-à-dire les axiomes de Kolmogorov), bien que je ne sache pas trop pourquoi. Quelques exemples sont le traité de Jaynes sur l'inférence bayésienne appelé "Probabilité", ainsi que le livre de James Stone "La règle de Bayes". Donc, si je prends ces affirmations pour argent comptant, cela signifie que je devrais préférer le bayésianisme.

Cependant, le livre de Casella et Berger semble fréquentiste, car il traite des estimateurs du maximum de vraisemblance, mais ignore les estimateurs maximaux a posteriori, mais il semble également que tout ce qui y est présenté est mathématiquement correct.

Cela ne signifie donc pas que la seule version mathématiquement correcte de la statistique est celle qui refuse d'être tout sauf agnostique en ce qui concerne le bayésianisme et le fréquentisme? Si les méthodes avec les deux classifications sont mathématiquement correctes, alors n’est-ce pas une pratique inappropriée de préférer certaines méthodes aux autres, car cela donnerait la priorité à une philosophie vague et mal définie par rapport à des mathématiques précises et bien définies?

Résumé: En résumé, je ne comprends pas quelle est la base mathématique du débat bayésien versus fréquentiste, et s’il n’ya pas de base mathématique pour le débat (comme le prétend Wikipedia), je ne comprends pas pourquoi il est toléré à tout dans le discours académique.

Espaces de probabilité et axiomes de Kolmogorov

Un espace de probabilité est par définition un triple où est un ensemble de résultats, est un -algèbre sur les sous-ensembles de et est une mesure de probabilité qui remplit les axiomes de Kolmogorov, c'est-à-dire que est une fonction de à telle que et pour disjoint dans il est dit que ( Ω , F , P$\mathcal{P}$$(\Omega, \mathcal{F}, \mathbb{P} )$$\Omega$ σ Ω P P F [ 0 , 1 ] P ( Ω ) = 1 E 1 , E 2 , ... F P ( ∪ ∞ j = 1 E j ) = Σ ∞ j = 1 P ( E j$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$$\mathbb{P}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\Omega)=1$$E_1, E_2, \dots$$\mathcal{F}$$P \left( \cup_{j=1}^\infty E_j \right)=\sum_{j=1}^\infty \mathbb{P}(E_j)$.

Dans cet espace de probabilité, on peut, pour deux événements dans définir la probabilité conditionnelle commeF P ( E 1 | E 2 ) d e f = P ( E 1 ∩ E 2$E_1, E_2$$\mathcal{F}$$\mathbb{P}(E_1|_{E_2})\stackrel{def}{=}\frac{\mathbb{P}(E_1 \cap E_2)}{\mathbb{P}(E_2)}$

Notez que:

1. cette '' probabilité conditionnelle '' n'est définie que lorsque est défini sur , nous avons donc besoin d'un espace de probabilité pour pouvoir définir des probabilités conditionnelles.$\mathbb{P}$$\mathcal{F}$
2. Un espace de probabilité est défini en termes très généraux ( un ensemble , un algebra et une mesure de probabilité ), la seule condition est que certaines propriétés soient remplies mais en dehors de cela ces trois éléments peuvent être "n'importe quoi".σ F $\Omega$ $\sigma$$\mathcal{F}$$\mathbb{P}$

Plus de détails peuvent être trouvés dans ce lien

La règle de Bayes est valable dans tout espace de probabilité (valide)

De la définition de la probabilité conditionnelle, il est également indiqué que . Et à partir des deux dernières équations, nous trouvons la règle de Bayes. La règle de Bayes est donc valable (par définition de probabilité probabiliste conditionnelle) dans tout espace de probabilité (pour le montrer, dérivez et de chaque équation et équate. eux (ils sont égaux car l'intersection est commutative)). P(E1∩E2)P(E2∩E1$\mathbb{P}(E_2|_{E_1})=\frac{\mathbb{P}(E_2 \cap E_1)}{\mathbb{P}(E_1)}$$\mathbb{P}(E_1 \cap E_2)$$\mathbb{P}(E_2 \cap E_1)$

Comme la règle bayésienne est la base de l'inférence bayésienne, on peut effectuer une analyse bayésienne dans tout espace de probabilité valide (c'est-à-dire remplissant toutes les conditions, notamment les axiomes de Kolmogorov).

La définition fréquentiste de la probabilité est un "" cas spécial "

Ce qui précède est valable pour '' en général '', c'est-à-dire que nous n'avons pas en tête , , , tant que est un algebra sur des sous-ensembles de et remplit les axiomes de Kolmogorov.F P F σ Ω $\Omega$$\mathcal{F}$$\mathbb{P}$$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$

Nous allons maintenant montrer qu'une définition '' fréquentiste '' de remplit les axiomes de Kolomogorov. Si tel est le cas, les probabilités «fréquentistes» ne sont qu'un cas particulier de la probabilité générale et abstraite de Kolmogorov. $\mathbb{P}$

Prenons un exemple et lançons les dés. Ensuite, l'ensemble de tous les résultats possibles est . Nous avons également besoin d'un -algebra sur cet ensemble et nous prenons l'ensemble des sous-ensembles de , c'est-à-dire .Ω = { 1 , 2 , 3 , 4 , 5 , 6 } σ Ω F Ω F = 2 $\Omega$$\Omega=\{1,2,3,4,5,6\}$$\sigma$$\Omega$$\mathcal{F}$$\Omega$$\mathcal{F}=2^\Omega$

Nous devons encore définir la mesure de probabilité de manière fréquentiste. Par conséquent, nous définissons comme où est le nombre de obtenu sur lancers de dés. Semblable pour , ... .$\mathbb{P}$$\mathbb{P}(\{1\})$ n$\mathbb{P}(\{1\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1}{n}$$n_1$$1$$n$$\mathbb{P}(\{2\})$$\mathbb{P}(\{6\})$

De cette façon, est défini pour tous les singletons dans . Pour tout autre ensemble de , par exemple nous définissons de manière fréquentiste, c'est-à-dire , mais par la linéarité de 'lim', cela équivaut à , ce qui implique que les axiomes de Kolmogorov tiennent.$\mathbb{P}$$\mathcal{F}$$\mathcal{F}$$\{1,2\}$$\mathbb{P}(\{1,2\})$$\mathbb{P}(\{1,2\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1+n_2}{n}$$\mathbb{P}(\{1\})+\mathbb{P}(\{2\})$

La définition fréquentiste de la probabilité n'est donc qu'un cas particulier de la définition générale et abstraite d'une mesure de probabilité de Kolomogorov.

Notez qu'il existe d'autres moyens de définir une mesure de probabilité qui respecte les axiomes de Kolmogorov. La définition fréquentiste n'est donc pas la seule possible.

Conclusion

La probabilité dans le système axiomatique de Kolmogorov est '' abstraite '', elle n'a pas de signification réelle, elle doit seulement remplir des conditions appelées '' axiomes ''. En utilisant seulement ces axiomes, Kolmogorov a pu dériver un ensemble très riche de théorèmes.

La définition fréquentiste de la probabilité remplit les axiomes et remplace donc l'abstrait '' non-sens '' par une probabilité définie de manière fréquentiste, tous ces théorèmes sont valables car la '' probabilité fréquentiste '' n'est qu'une spéciale cas de la probabilité abstraite de Kolmogorov (c’est-à-dire qu’il remplit les axiomes).$\mathbb{P}$

L'une des propriétés pouvant être déduites du cadre général de Kolmogorov est la règle de Bayes. Comme cela est valable dans le cadre général et abstrait, il en sera de même (cfr supra) dans le cas spécifique où les probabilités sont définies de manière fréquentiste (car la définition fréquentiste respecte les axiomes et ces axiomes étaient la seule chose nécessaire pour dériver tous les théorèmes). On peut donc faire une analyse bayésienne avec une définition fréquentiste de la probabilité.

Définir de manière fréquentiste n'est pas la seule possibilité, il existe d'autres moyens de la définir de telle sorte qu'elle remplisse les axiomes abstraits de Kolmogorov. La règle de Bayes sera également valable dans ces "" cas spécifiques ". On peut donc aussi faire une analyse bayésienne avec une définition non fréquentielle de la probabilité.$\mathbb{P}$

EDIT 23/8/2016

@mpiktas réaction à votre commentaire:

Comme je l'ai dit, les ensembles et la mesure de probabilité n'ont pas de signification particulière dans le système axiomatique, ils sont abstraits. $\Omega, \mathcal{F}$$\mathbb{P}$

Pour appliquer cette théorie, vous devez donner des définitions supplémentaires (donc ce que vous dites dans votre commentaire "inutile de la compliquer davantage avec des définitions bizarres" est faux, vous avez besoin de définitions supplémentaires ).

Appliquons-le au cas de lancer une pièce équitable. L'ensemble dans la théorie de Kolmogorov n'a pas de signification particulière, il doit simplement être "un ensemble". Nous devons donc spécifier quel est cet ensemble dans le cas d’une pièce équitable, c’est-à-dire que nous devons définir l’ensemble . Si nous représentons la tête en tant que H et la queue en tant que T, l'ensemble est par définition .$\Omega$$\Omega$$\Omega$ $\Omega\stackrel{def}{=}\{H,T\}$

Nous devons également définir les événements, c’est-à-dire le algebra . Nous définissons comme . Il est facile de vérifier que est un algebra.$\sigma$$\mathcal{F}$$\mathcal{F} \stackrel{def}{=} \{\emptyset, \{H\},\{T\},\{H,T\} \}$$\mathcal{F}$$\sigma$

Ensuite, nous devons définir pour chaque événement dans sa mesure. Nous devons donc définir une carte à partir de dans . Je vais le définir de manière fréquentiste, pour une pièce équitable, si je le jette un grand nombre de fois, la fraction de têtes sera alors de 0,5; je définis donc . De même, je définis , et . Notez que est une carte de dans et qu'elle remplit les axiomes de Kolmogorov.$E \in \mathcal{F}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\{H\})\stackrel{def}{=}0.5$$\mathbb{P}(\{T\})\stackrel{def}{=}0.5$$\mathbb{P}(\{H,T\})\stackrel{def}{=}1$$\mathbb{P}(\emptyset)\stackrel{def}{=}0$$\mathbb{P}$$\mathcal{F}$$[0,1]$

Pour une référence avec la définition fréquentiste de la probabilité, voir ce lien (à la fin de la section 'définition') et ce lien .

Stats is not Math

Tout d’abord, je vole les mots de @ whuber d’un commentaire dans Statistiques n’est pas mathématique? (appliqué dans un contexte différent, alors je vole des mots sans citer):

Si vous deviez remplacer «statistiques» par «chimie», «économie», «ingénierie» ou tout autre domaine utilisant les mathématiques (comme l'économie domestique), il semble que votre argument ne changerait pas.

Tous ces champs sont autorisés à exister et à poser des questions qui ne sont pas résolues uniquement en vérifiant quels théorèmes sont corrects. Bien que certaines réponses à Stats ne soient pas des maths? En désaccord, je pense qu'il est clair que les statistiques ne sont pas des mathématiques (pures). Si vous voulez faire de la théorie des probabilités, une branche des mathématiques (pures), vous pouvez en effet ignorer tous les débats du type de celui pour lequel vous demandez. Si vous souhaitez appliquer la théorie des probabilités à la modélisation de questions du monde réel, vous avez besoin de quelque chose de plus pour vous guider que les axiomes et les théorèmes du cadre mathématique. Le reste de la réponse découle de ce point.

L'affirmation "si nous voulons être mathématiquement corrects, ne devrions-nous pas rejeter toute interprétation de la probabilité" semble également injustifiée. Ajouter une interprétation au-dessus d'un cadre mathématique ne rend pas les mathématiques incorrectes (tant que l'interprétation n'est pas prétendue être un théorème du cadre mathématique).

Le débat ne concerne pas (principalement) les axiomes

Bien qu'il existe des axiomatisations alternatives *, le débat (?) Ne porte pas sur la contestation des axiomes de Kolmogorov. En ignorant certaines subtilités avec des événements de conditionnement avec zéro mesure, conduisant à une probabilité conditionnelle régulière, etc., dont je ne connais pas suffisamment, les axiomes de Kolmogorov et la probabilité conditionnelle impliquent la règle de Bayes, que personne ne conteste. Cependant, si n’est même pas une variable aléatoire dans votre modèle (modèle au sens de la configuration mathématique consistant en un espace de probabilité ou une famille de ces variables, variables aléatoires, etc.), il n’est bien sûr pas possible de calculer la valeur conditionnelle. distribution . Personne ne conteste également que les propriétés de fréquence, si elles sont correctement calculées, sont des conséquences du modèle. Par exemple, les distributions conditionnellesP ( X ∣ Y ) p ( y ∣ θ ) p ( y ; θ ) p ( y ∣ θ ) = p ( y ; θ ) θ $X$$P(X\mid Y)$$p(y\mid \theta)$dans un modèle bayésien, définissez une famille indexée de distributions de probabilités en laissant simplement et si certains résultats sont valables pour tous les de cette dernière, ils sont également valables pour tous les du premier.$p(y; \theta)$$p(y \mid \theta) = p(y; \theta)$$\theta$$\theta$

Le débat porte sur la façon d'appliquer les mathématiques

Les débats (le plus important possible **) concernent plutôt le choix du type de modèle de probabilité à mettre en place pour un problème (réel, non mathématique) et les implications de ce modèle pour le dessin (réel). vie) conclusions. Mais ces questions existeraient même si tous les statisticiens étaient d’accord. Pour citer le blog que vous avez lié à [1], nous souhaitons répondre à des questions telles que

Comment dois-je concevoir une roulette pour que mon casino gagne $? Cet engrais augmente-t-il le rendement des cultures? La streptomycine guérit-elle la tuberculose pulmonaire? Est-ce que fumer cause le cancer? Quel film cet utilisateur apprécierait-il? À quel joueur de baseball les Red Sox devraient-ils donner un contrat? Ce patient doit-il recevoir une chimiothérapie?

Les axiomes de la théorie des probabilités ne contiennent même pas de définition du baseball, il est donc évident que "Les Red Sox devraient donner un contrat au joueur de baseball X" n’est pas un théorème de la théorie des probabilités.

Note sur les justifications mathématiques de l'approche bayésienne

Il y a des «justifications mathématiques» pour considérer toutes les inconnues comme probabilistes, comme le théorème de Cox auquel Jaynes fait référence (bien que j'aie entendu dire qu'il y a des problèmes mathématiques, ils peuvent avoir été corrigés ou non, voir [2] et références) ou l’approche (subjective bayésienne) de Savage (j’ai entendu dire que c’est dans [3] mais que je n’ai jamais lu le livre) prouve que, sous certaines hypothèses, un décideur rationnel aura une distribution de probabilité entre les états du monde et sélectionnez son action basée sur la maximisation de la valeur attendue d’une fonction d’utilité. Toutefois, on ne peut déduire d'aucun cadre mathématique si le directeur de Red Sox doit accepter les hypothèses ou si nous devons accepter la théorie selon laquelle fumer provoque le cancer,

Notes de bas de page

* Je ne l'ai pas étudié, mais j'ai entendu dire que de Finetti avait une approche où les probabilités conditionnelles sont des primitives plutôt que obtenues à partir de la mesure (inconditionnelle) par conditionnement. [4] mentionne un débat entre (bayésiens) José Bernardo, Dennis Lindley et Bruno de Finetti dans un restaurant français confortable pour savoir si -additivity est nécessaire.$\sigma$

** Comme mentionné dans l'article de blog auquel vous vous connectez [1], il pourrait ne pas y avoir de débat clair avec chaque statisticien appartenant à une équipe et méprisant l'autre. J'ai entendu dire que nous sommes tous pragmatiques de nos jours et que le débat inutile est terminé. Cependant, selon mon expérience, ces différences existent, par exemple, selon que la première approche consiste à modéliser toutes les inconnues sous forme de variables aléatoires ou non et à quel point une personne s'intéresse aux garanties de fréquence.

Références

[1] Simply Statistics, blog statistique de Rafa Irizarry, Roger Peng et Jeff Leek, "Je déclare le débat bayésien contre Frequentist pour les scientifiques de données", 13 octobre 2014, http://simplystatistics.org/2014/10. / 13 / en tant que statisticien appliqué-je-trouve-les-fréquentistes-contre-bayésiens-le-débat-complètement inconséquent /

[2] Dupré, MJ et Tipler, FJ (2009). Nouveaux axiomes pour une probabilité bayésienne rigoureuse. Analyse bayésienne, 4 (3), 599-606. http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856

[3] Savage, LJ (1972). Les fondements de la statistique. Courier Corporation.

[4] Bernardo, JM L'histoire de Valence - Quelques détails sur l'origine et le développement des réunions internationales de Valence sur la statistique bayésienne. http://www.uv.es/bernardo/ValenciaStory.pdf

La base mathématique du débat bayésien vs fréquentiste est très simple. Dans les statistiques bayésiennes, le paramètre inconnu est traité comme une variable aléatoire. dans les statistiques fréquentistes, il est traité comme un élément fixe. Puisqu'une variable aléatoire est un objet mathématique beaucoup plus compliqué qu'un simple élément de l'ensemble, la différence mathématique est évidente.

Cependant, il s'avère que les résultats réels en termes de modèles peuvent être étonnamment similaires. Prenons la régression linéaire par exemple. La régression linéaire bayésienne avec des a priori non informatifs conduit à la distribution d'une estimation de paramètre de régression, dont la moyenne est égale à l'estimation du paramètre de régression linéaire fréquentiste, qui est une solution au problème des moindres carrés, ce qui n'est même pas un problème de théorie des probabilités . Néanmoins, les mathématiques qui ont été utilisées pour arriver à une solution similaire sont très différentes, pour la raison indiquée ci-dessus.

Naturellement, en raison de la différence de traitement entre le paramètre inconnu et les propriétés mathématiques (variable aléatoire vs élément de l'ensemble), les statistiques bayésiennes et fréquentistes touchent des cas où il peut sembler plus avantageux d'utiliser une approche concurrente. Les intervalles de confiance en sont un excellent exemple. Ne pas avoir à compter sur MCMC pour obtenir une estimation simple en est un autre. Cependant, ce sont généralement davantage des questions de goût et non de mathématiques.

Je n'aime pas la philosophie, mais j'aime les mathématiques et je veux travailler exclusivement dans le cadre des axiomes de Kolmogorov.

Comment appliqueriez-vous exactement les axiomes de Kolmogorov sans aucune interprétation? Comment voulez - vous interpréter la probabilité? Que diriez-vous à quelqu'un qui vous demanderait "Que signifie votre estimation de probabilité de ?" $0.5$Diriez-vous que votre résultat est un nombre$0.5$, lequel est correct puisqu'il suit les axiomes? Sans interprétation, vous ne pourriez pas dire que cela indique à quelle fréquence nous nous attendrions à voir le résultat si nous répétions notre expérience. Vous ne pouvez pas non plus dire que ce nombre vous indique à quel point vous êtes certain de la possibilité qu'un événement se produise. Vous ne pouvez pas non plus répondre que cela vous indique quelle est la probabilité que l'événement soit. Comment interpréteriez-vous la valeur attendue - certains nombres étant multipliés par d'autres et additionnés, qui sont valables puisqu'ils suivent les axiomes et quelques autres théorèmes?

Si vous souhaitez appliquer les mathématiques au monde réel, vous devez les interpréter. Les chiffres seuls sans interprétations sont ... des nombres. Les gens ne calculent pas les valeurs attendues pour estimer les valeurs attendues, mais pour en apprendre davantage sur la réalité.

De plus, la probabilité est abstraite, tandis que nous appliquons les statistiques (et la probabilité en soi) aux événements du monde réel. Prenons l'exemple le plus élémentaire: une pièce équitable. Dans l'interprétation fréquentiste, si vous jetiez une telle pièce un grand nombre de fois, vous vous attendriez au même nombre de têtes et de queues. Cependant, dans une expérience réelle, cela ne se produirait presque jamais. Donc, probabilité de n'a vraiment rien à faire avec une pièce de monnaie lancée un nombre de fois donné.$0.5$

La probabilité n'existe pas

- Bruno de Finetti

Mon point de vue sur le contraste entre l'inférence bayésienne et fréquentiste est que le premier problème est le choix de l'événement pour lequel vous voulez une probabilité. Les fréquentistes supposent ce que vous essayez de prouver (par exemple, une hypothèse nulle), puis calculez la probabilité d'observer quelque chose que vous avez déjà observé, dans cette hypothèse. Il existe une analogie exacte entre ces probabilités d'ordre de flux d'informations inversées et la sensibilité et la spécificité du diagnostic médical, qui ont provoqué d'énormes malentendus et doivent être renflouées par la règle de Bayes pour obtenir des probabilités à terme ("probabilités post-test"). Les Bayésiens calculent la probabilité d'un événement, et les probabilités absolues sont impossibles à calculer sans ancre (le précédent). La probabilité bayésienne de la véracité d'une déclaration est très différente de la probabilité fréquentiste d'observer des données sous une certaine hypothèse inconnaissable. Les différences sont plus prononcées lorsque le fréquentiste doit s’ajuster à d’autres analyses qui ont été faites ou qui auraient pu être faites (multiplicité, tests séquentiels, etc.).

La discussion sur la base mathématique est donc très intéressante et constitue une discussion très appropriée. Mais il faut faire un choix fondamental de probabilités avant / arrière. Par conséquent, ce qui est conditionné, qui n'est pas tout à fait mathématique, est extrêmement important. Les Bayésiens croient qu'il est essentiel de conditionner complètement ce que vous savez déjà. Les fréquentistes conditionnent plus souvent ce qui rend les mathématiques simples.

Je vais diviser cela en deux questions distinctes et répondre à chacune d’elles.

1.) Compte tenu des conceptions philosophiques différentes de la notion de probabilité dans les perspectives Frequentist et Bayésienne, existe-t-il des règles mathématiques de probabilité qui s'appliquent à une interprétation et ne s'appliquent pas à une autre?

Non. Les règles de probabilité restent exactement les mêmes entre les deux groupes.

2.) Les bayésiens et les fréquentistes utilisent-ils les mêmes modèles mathématiques pour analyser les données?

De manière générale, non. En effet, les deux interprétations différentes suggèrent qu’un chercheur peut obtenir des informations de différentes sources. En particulier, on pense souvent que le cadre Frequentist suggère que l'on peut déduire des paramètres d'intérêt uniquement à partir des données observées, tandis qu'une perspective bayésienne suggère d'inclure également des connaissances d'experts indépendants sur le sujet. Différentes sources de données signifient que différents modèles mathématiques seront utilisés pour l'analyse.

Il convient également de noter qu’il existe de nombreuses différences entre les modèles utilisés par les deux camps, qui sont davantage liées à ce qui a été fait que ce qui peut être fait.être fait (c’est-à-dire que de nombreux modèles traditionnellement utilisés par un camp peuvent être justifiés par l’autre camp). Par exemple, les modèles BUG (inférence bayésienne à l'aide de l'échantillonnage de Gibbs, nom qui ne décrit plus avec précision l'ensemble des modèles pour de nombreuses raisons) sont traditionnellement analysés à l'aide de méthodes bayésiennes, principalement en raison de la disponibilité d'excellents logiciels permettant de le faire (JAG, Stan par exemple). Cependant, rien ne dit que ces modèles doivent être strictement bayésiens. En fait, j'ai travaillé sur le projet NIMBLE qui construit ces modèles dans le cadre des BUG, ​​tout en laissant beaucoup plus de liberté à l'utilisateur pour lui permettre de faire des inférences. Bien que la grande majorité des outils fournis soient des méthodes bayésiennes MCMC personnalisables, il est également possible d’utiliser l’estimation du maximum de vraisemblance, une méthode traditionnellement Frequentist, pour ces modèles. De même, Les a priori sont souvent considérés comme ce que vous pouvez faire avec Bayesian et que vous ne pouvez pas faire avec les modèles Frequentist. Cependant, une estimation pénalisée peut fournir les mêmes modèles en utilisant des estimations de paramètres de régularisation (bien que le cadre bayésien offre un moyen plus simple de justifier et de choisir des paramètres de régularisation, tandis que les fréquenteurs se retrouvent avec, dans le meilleur des cas, un grand nombre de données, "nous avons choisi ces paramètres de régularisation car, sur un grand nombre d’échantillons ayant fait l’objet d’une validation croisée, ils ont abaissé l’estimation de l’erreur hors échantillon "... pour le meilleur ou pour le pire).

Les Bayésiens et les Fréquentistes pensent que les probabilités représentent différentes choses. Les fréquentistes pensent qu'ils sont liés aux fréquences et n'ont de sens que dans des contextes où les fréquences sont possibles. Les Bayésiens les considèrent comme des moyens de représenter l'incertitude. Comme tout fait peut être incertain, vous pouvez parler de la probabilité de tout.

La conséquence mathématique est que les frequentists pensent que les équations de base de la probabilité ne s'appliquent que parfois, et les bayésiennes pensent qu'elles s'appliquent toujours. Ils considèrent donc que les mêmes équations sont correctes, mais diffèrent quant à leur généralité.

Cela a les conséquences pratiques suivantes:

(1) Les bayésiens tireront leurs méthodes des équations de base de la théorie des probabilités (dont le théorème de Bayes n’est qu’un exemple), tandis que Frequentists invente une approche intuitive ad hoc après l’autre pour résoudre chaque problème.

(2) Il existe des théorèmes indiquant que, si vous raisonnez à partir d'informations incomplètes, vous feriez mieux d'utiliser systématiquement les équations de base de la théorie des probabilités, sinon vous aurez des problèmes. Beaucoup de gens ont des doutes sur la signification de tels théorèmes, mais c'est ce que nous voyons dans la pratique.

Par exemple, il est possible que des intervalles de confiance à 95% d'aspect innocent dans le monde réel soient entièrement constitués de valeurs qui sont manifestement impossibles (à partir des mêmes informations utilisées pour dériver l'intervalle de confiance). En d'autres termes, les méthodes Frequentist peuvent contredire la simple logique déductive. Les méthodes bayésiennes entièrement dérivées des équations de base de la théorie des probabilités ne posent pas ce problème.

(3) Bayésien est strictement plus général que Frequentist. Puisqu'il peut y avoir une incertitude sur un fait, on peut attribuer une probabilité à chaque fait. En particulier, si les faits sur lesquels vous travaillez sont liés à des fréquences du monde réel (soit en tant que quelque chose que vous prédisez ou en faisant partie des données), alors les méthodes bayésiennes peuvent les prendre en compte et les utiliser comme elles le feraient avec n'importe quel autre fait réel.

Par conséquent, tout problème rencontré par Frequentist est que leurs méthodes s’appliquent aux bayésiens et peuvent également fonctionner naturellement. Cependant, l'inverse n'est souvent vrai que si les fréquencistes inventent des subterfuges pour interpréter leur probabilité comme une "fréquence" telle que, par exemple, imaginer les univers multiples ou inventer des répétitions hypothétiques à l'infini qui ne sont jamais exécutées et ne pourraient souvent pas être en principe .

Question: Alors, si nous voulons être mathématiquement corrects, ne devrions-nous pas rejeter toute interprétation de la probabilité? C'est-à-dire que le bayésien et le fréquentisme sont mathématiquement incorrects?

Oui, et c’est exactement ce que les gens font à la fois en philosophie des sciences et en mathématiques.

1. Approche philosophique. Wikipedia propose un recueil d'interprétations / définitions de probabilité .

2. Les mathématiciens ne sont pas en sécurité. Auparavant, l’école Kolmogorovian avait le monopole de la probabilité: une probabilité est définie comme une mesure finie attribuant 1 à l’espace entier ... Cette hégémonie n’est plus valable car il existe de nouvelles tendances en matière de probabilité de définition telles que la probabilité quantique et Probabilité libre .

Le débat bayes / fréquentiste repose sur de nombreux motifs. Si vous parlez de bases mathématiques, je ne pense pas qu'il y en ait beaucoup.

Ils ont tous deux besoin d'appliquer diverses méthodes approximatives pour résoudre des problèmes complexes. Deux exemples sont "bootstrap" pour fréquentiste et "mcmc" pour bayésien.

Ils viennent tous les deux avec des rituels / procédures pour savoir comment les utiliser. Un exemple fréquentiste est "propose un estimateur de quelque chose et évalue ses propriétés sous échantillonnage répété", tandis qu'un exemple bayésien est "calculez les distributions de probabilité pour ce que vous ne savez pas, conditionnellement à ce que vous savez". Il n’existe aucune base mathématique pour utiliser les probabilités de cette manière.

Le débat porte davantage sur l'application, l'interprétation et la capacité de résoudre des problèmes du monde réel.

En fait, cela est souvent utilisé par les gens qui discutent "de leur côté", où ils utiliseront un "rituel / procédé" spécifique utilisé par "l'autre" pour faire valoir que toute la théorie devrait être rejetée pour leur compte. Quelques exemples incluent ...

• utiliser des priors stupides (et ne pas les vérifier)
• en utilisant des CI stupides (et en ne les vérifiant pas)
• confondre une technique de calcul avec la théorie (bayes n'est pas mcmc !! Même chose pour assimiler la validation croisée à l'apprentissage automatique)
• parler d'un problème avec une application spécifique avec une théorie et non pas comment l'autre théorie résoudrait le problème spécifique "mieux"

Cela ne signifie donc pas que la seule version mathématiquement correcte de la statistique est celle qui refuse d'être tout sauf agnostique en ce qui concerne le bayésianisme et le fréquentisme? Si les méthodes avec les deux classifications sont mathématiquement correctes, alors n’est-ce pas une pratique inappropriée de préférer certaines méthodes aux autres, car cela donnerait la priorité à une philosophie vague et mal définie par rapport à des mathématiques précises et bien définies?

Non, cela ne suit pas. Les personnes qui sont incapables de ressentir leurs émotions sont biologiquement incapables de prendre des décisions, y compris celles qui semblent ne comporter qu'une solution objective. La raison en est que la prise de décision rationnelle dépend de notre capacité émotionnelle et de nos préférences à la fois cognitives et émotionnelles. Bien que cela soit effrayant, c'est la réalité empirique.

Gupta R, Koscik TR, Bechara A, Tranel D. L'amygdale et la prise de décision. Neuropsychologia. 2011; 49 (4): 760-766. doi: 10.1016 / j.neuropsychologia.2010.09.029.

Une personne qui préfère des pommes aux oranges ne peut pas défendre cela car c'est une préférence. Inversement, une personne qui préfère les oranges aux pommes ne peut pas défendre cela de manière rationnelle, car il s'agit d'une préférence. Les personnes qui préfèrent les pommes mangent souvent des oranges parce que le coût des pommes est trop élevé par rapport à celui des oranges.

Une grande partie du débat Bayésien et Frequentiste, ainsi que du débat sur le Probabilité et le Frequentisme, était centrée sur les erreurs de compréhension. Néanmoins, si nous imaginons avoir une personne bien formée à toutes les méthodes, y compris les méthodes mineures ou non utilisées telles que la probabilité carnapienne ou les statistiques fiduciales, il n’est que rationnel pour elles de préférer certains outils à d’autres.

La rationalité ne dépend que des préférences; le comportement dépend des préférences et des coûts.

Il se peut que, d’un point de vue purement mathématique, un outil soit meilleur que l’autre, lorsque l’on définit mieux en utilisant une fonction de coût ou d’utilité, mais à moins d’une réponse unique dans laquelle un seul outil pourrait fonctionner, les coûts et les préférences doivent être pesées.

Considérons le problème d'un bookmaker qui envisage d'offrir un pari complexe. Il est clair que le bookmaker devrait utiliser les méthodes bayésiennes dans ce cas car elles sont cohérentes et possèdent d’autres propriétés intéressantes, mais qu’il suppose également que le bookmaker n’a qu’une calculatrice et même pas un crayon et du papier. Il se peut que le bookmaker, avec l’utilisation de sa calculatrice et en gardant une trace de ce qu’il a en tête, puisse calculer la solution Frequentist et n’a aucune chance sur Terre de calculer le Bayésien. S'il est disposé à prendre le risque d'être "Dutch Booked" et trouve également que le coût potentiel est suffisamment petit, il est alors rationnel pour lui de proposer des paris en utilisant les méthodes Frequentist.

Il est rationnel pour vous d'être agnostique parce que vos préférences émotionnelles trouvent que c'est mieux pour vous. Il n’est pas rationnel que le domaine soit agnostique à moins que vous ne pensiez que tout le monde partage vos préférences émotionnelles et cognitives, ce qui, nous le savons, n’est pas le cas.

En bref, je ne comprends pas quelle est la base mathématique du débat bayésien versus fréquentiste, et s’il n’ya pas de base mathématique pour le débat (comme le prétend Wikipedia), je ne comprends pas pourquoi il est toléré du tout dans discours académique.

Le débat académique a pour but de faire la lumière sur des idées anciennes et nouvelles. Une grande partie du débat Bayésien contre Frequentist et du débat entre Probabiliste et Frequentiste provenaient de malentendus et de la faiblesse de la pensée. Certains venaient d’avoir omis d’indiquer leurs préférences. Une discussion sur les vertus d'un estimateur en étant impartial et bruyant, et d'un estimateur en biais et précis, est une discussion sur les préférences émotionnelles, mais tant que personne ne l'aura eu, il est fort probable que la réflexion à ce sujet restera confuse sur le terrain.

Je n'aime pas la philosophie, mais j'aime les mathématiques et je veux travailler exclusivement dans le cadre des axiomes de Kolmogorov.

Pourquoi? Parce que tu préfères ceux de Kolmogorov à ceux de Cox, de Finetti ou de Savage? Est-ce que cette préférence se faufile? En outre, les probabilités et les statistiques ne sont pas des mathématiques, elles les utilisent. C'est une branche de la rhétorique. Pour comprendre pourquoi cela peut être important, considérez votre déclaration:

si une méthode est mathématiquement correcte, il est alors valide d'utiliser cette méthode lorsque les hypothèses des mathématiques sous-jacentes sont vérifiées. Sinon, si elle n'est pas mathématiquement correcte ou si les hypothèses ne sont pas vérifiées, il est alors invalide de les utiliser.

Ce n'est pas vrai. Il y a un bel article sur les intervalles de confiance et leur abus est cité comme suit:

Morey, Richard; Hoekstra, Rink; Rouder, Jeffrey; Lee, Michael; Wagenmakers, Eric-Jan, Erreur de confiance dans les intervalles de confiance, Psychonomic Bulletin & Review, 2016, Vol.23 (1), p.103-123.

Si vous lisez les différents intervalles de confiance potentiels dans l'article, chacun d'eux est mathématiquement valide, mais si vous évaluez ensuite leurs propriétés, ils diffèrent très sensiblement. En fait, certains des intervalles de confiance fournis pourraient être considérés comme ayant de "mauvaises" propriétés, bien qu'ils respectent toutes les hypothèses du problème. Si vous supprimez l'intervalle bayésien de la liste et vous concentrez uniquement sur les quatre intervalles Frequentist, alors si vous effectuez une analyse plus approfondie pour déterminer quand les intervalles sont larges ou étroits ou constants, vous constaterez que les intervalles peuvent ne pas être "égaux". "bien que chacun réponde aux hypothèses et aux exigences.

Pour qu'il soit mathématiquement valide, il ne suffit pas qu'il soit utile ou aussi utile que possible. De même, cela pourrait être mathématiquement vrai, mais nuisible. Dans cet article, il existe un intervalle qui est à son point le plus étroit précisément lorsqu'il y a le moins d'informations sur le véritable emplacement et plus large lorsqu'il existe une connaissance parfaite ou quasi parfaite de l'emplacement du paramètre. Quoi qu’il en soit, il répond aux exigences de couverture et aux hypothèses.

Les mathématiques ne peuvent jamais suffire.