Pensez comme un bayésien, vérifiez comme un fréquentiste: qu'est-ce que cela signifie?

35

Je regarde des diapositives de cours sur un cours de science des données que vous pouvez trouver ici:

https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf

Malheureusement, je ne peux pas voir la vidéo de cette conférence et à un moment de la diapositive, le présentateur a le texte suivant:

Quelques principes clés

Penser comme un Bayésien, cocher comme un Frequentist (réconciliation)

Est-ce que quelqu'un sait ce que cela signifie réellement? J'ai l'impression qu'il y a un bon aperçu de ces deux écoles de pensée à tirer de cela.

Luca
la source
2
Pensez que cela peut être lié à la vérification du modèle: voir Pourquoi un Bayésien n’est-il pas autorisé à examiner les résidus? .
Scortchi - Réintégrer Monica
@Scortchi D'après ce que j'ai compris, cela n'a-t-il pas à voir avec la séparation des ensembles de données d'apprentissage, de validation et de test d'une manière ou peut-être un bayésien n'est-il pas autorisé à ajuster les a priori même pendant la phase d'apprentissage du modèle (utiliser un terme de type ML)? ici). Cependant, je suis toujours confus quant à ce que cela signifie par chèque comme un fréquentiste ...
Luca
1
Un "bon" bayésien ne règle jamais ses priors, mais les met à jour en fonction de nouvelles informations utilisant le théorème de Bayes. Mais je ne fais que deviner le sujet de ce "principe clé".
Scortchi - Réintégrer Monica
4
Je n'ai pas pu charger le lien. Je suppose qu'ils signifient que même si vous utilisez des méthodes bayésiennes, vous devez vous préoccuper des caractéristiques de fonctionnement de Frequentist: si vous générez des intervalles extrêmement fiables à 95%, mais couvrez en pratique le véritable paramètre d'intérêt 20% du temps, devriez-vous être concerné? Un Bayésien trop rigide pourrait dire «non» (mais très peu de Bayésiens d’une telle rigidité existent réellement).
Cliff AB
3
Regardant en avant dans les diapositives futures, ils approuvent Empirical Bayes. Ceci peut être vu sur les diapositives suivantes
Cliff AB

Réponses:

32

La principale différence entre les écoles de statistiques bayésiennes et fréquentistes tient à une différence d’interprétation de la probabilité. Une probabilité bayésienne est une déclaration sur la conviction personnelle qu'un événement va (ou s'est produit). Une probabilité fréquentiste est une déclaration sur la proportion d'événements similaires qui se produisent dans la limite lorsque ce nombre augmente.

Pour moi, "penser comme un bayésien" signifie mettre à jour sa conviction personnelle au fur et à mesure que de nouvelles informations se présentent et "vérifier [ou s'inquiéter] comme un fréquentiste", c'est se préoccuper de la performance des procédures statistiques agrégées à travers les périodes où ces procédures sont utilisées, Par exemple, quelle est la couverture d'intervalles crédibles, quel est le taux d'erreur de type I / II, etc.

Jaradniemi
la source
1
Merci pour votre réponse. Concis et efficace même pour un profane comme moi!
Luca
2
N’est-il pas possible de vérifier ou d’inquiéter comme un bayésien en recherchant l’influence des prieurs ou en utilisant un système non informatif? Est-ce uniquement applicable aux analyses séquentielles? Il y a eu beaucoup de travail sur le point où les statistiques bayésiennes et Frequentist se croisent avec les analyses séquentielles, la "mise à jour des croyances" n'est pas essentielle, et les statistiques séquentielles peuvent être rendues rigoureuses dans un contexte fréquentiste.
AdamO
1
Oui, il est possible de s’inquiéter comme un bayésien, par exemple en recherchant l’influence de son prédécesseur. Non, ma réponse ne s’applique pas uniquement aux analyses séquentielles, c’est-à-dire que les nouvelles informations peuvent apparaître toutes en même temps.
jaradniemi
15

Les statistiques bayésiennes résument les croyances, tandis que les statistiques fréquentistes résument les preuves. Les Bayésiens voient la probabilité comme un degré de croyance. Ce type de raisonnement inclusif et génératif est utile pour formuler des hypothèses. Par exemple, les bayésiens peuvent peut-être attribuer de manière arbitraire une probabilité à la notion selon laquelle la lune est faite de fromage vert, que les astronautes aient ou non été en mesure de s'y rendre pour le vérifier. Cette hypothèse est peut-être confortée par l’idée que, de loin, la lune semblecomme du fromage vert. Les fréquentistes ne peuvent pas concevoir singulièrement une hypothèse qui soit plus qu'un homme de paille, ils ne peuvent pas non plus dire que la preuve favorise une hypothèse par rapport à une autre. Même le maximum de vraisemblance ne génère qu'une statistique "la plus compatible avec ce qui a été observé". Formellement, les statistiques bayésiennes nous permettent de sortir des sentiers battus et de proposer des idées défendables à partir de données. Mais ceci est strictement générateur d’hypothèses dans la nature.

Les statistiques fréquentistes sont mieux appliquées pour confirmer des hypothèses. Quand une expérience est bien conduite, les statistiques fréquentistes fournissent un contexte "d'observateur indépendant" ou "empirique" aux résultats obtenus par les a priori évitants. Ceci est conforme à la philosophie de la science Karl Popper. Le point de preuve n'est pas de promulguer une certaine idée. De nombreuses preuves sont cohérentes avec des hypothèses incorrectes. Les preuves peuvent simplement fausser les croyances.

L'influence des a priori est généralement considérée comme un biais du raisonnement statistique. Comme vous le savez, nous pouvons trouver un grand nombre de raisons pour lesquelles les choses se passent. Psychologiquement, de nombreuses personnes pensent que les biais de nos observateurs résultent de prédispositions dans notre cerveau qui nous empêchent de vraiment pondérer ce que nous voyons. "Observation des nuages ​​d'espoir" comme disait la Révérende Mère dans Dune. Popper a rendu cette idée rigoureuse.

Cela a eu une grande importance historique dans certaines des plus grandes expériences scientifiques de notre époque. Par exemple, John Snow a méticuleusement rassemblé des preuves de l'épidémie de choléra et a conclu astucieusement que le choléra n'était pas causé par une privation morale, et a souligné que les preuves concordaient fortement avec la contamination par les eaux usées: notez qu'il ne l'a pas fait. concluceci, les découvertes de Snow étaient antérieures à la découverte de bactéries et il n'y avait aucune compréhension mécaniste ou étiologique. Un discours similaire se trouve dans Origine des espèces. Nous ne savions pas vraiment si la lune était faite de fromage vert jusqu'à ce que les astronautes atterrissent à la surface et recueillent des échantillons. À ce stade, les postérieurs bayésiens ont attribué une très très faible probabilité à toute autre possibilité, et Frequentists peut au mieux dire que les échantillons sont hautement incompatibles avec autre chose que la poussière de lune.

En résumé, les statistiques bayésiennes sont susceptibles de générer des hypothèses et les statistiques fréquentistes, de les confirmer. L'un des plus grands défis auxquels sont confrontés les statisticiens modernes est de veiller à ce que les données soient collectées de manière indépendante dans ces efforts.

AdamO
la source
1
Merci d'avoir répondu. Qu'as-tu voulu dire quand tu l'as dit Plenty of evidence is consistent with incorrect hypotheses?
Luca
2
@Luca Un exemple statistique courant pourrait être trouvé dans la confusion. Par exemple, je pourrais dire: "Fumer donne aux adolescents une meilleure fonction pulmonaire". Je pourrais aller plus loin pour rationaliser cela en disant que le tabagisme est un stimulant qui encourage une meilleure activité physique, un appétit plus sain et encourage une socialisation saine. Si je collectais des données, ils montreraient en effet que les adolescents qui fument ont une meilleure fonction pulmonaire. La conclusion associative est correcte, mais la causale est fausse. La relation est confondue avec l'âge, car les enfants plus âgés sont plus susceptibles de fumer.
AdamO
Merci! J'ai beaucoup appris de cette réponse très bien écrite.
Luca
5

D'après Cliff ABle commentaire du PO, il semble qu'ils se dirigent vers une philosophie empirique bayésienne. Il existe trois grandes écoles de pensée bayésiennes et Empirical Bayes estime les a priori à partir de données, souvent avec des méthodes fréquentistes. Cela ne correspond pas exactement à la citation (ce qui implique Bayes au début, des préoccupations de type fréquentiste ensuite), mais il ne faut pas oublier Cliff ABl'excellent commentaire.

En outre, il existait et pourrait encore être une école bayésienne qui pensait qu'il n'était pas nécessaire de vérifier quoi que ce soit après une procédure bayésienne. Une pensée plus moderne utiliserait des vérifications prédictives postérieures, et peut-être ce genre d'approche consistant à vérifier à deux reprises vos réponses est ce à quoi la citation fait référence.

De plus, la philosophie fréquentiste se préoccupe des procédures plutôt que des inférences à partir de données. Alors peut-être que c'est aussi un indice sur la signification de la citation.

Wayne
la source
Je pense que vous avez fait référence à mon premier commentaire, et mon deuxième commentaire était qu'après une inspection plus minutieuse, vous avez raison de dire qu'ils font très spécifiquement référence à Empirical Bayes. En fait, j’ai été déçu de voir que cette citation était simplement une approbation de Empirical Bayes plutôt qu’un appel plus général à examiner les avantages des deux courants de pensée. Tant pis.
Cliff AB
2

Dans le contexte de ce cours de science des données, mon interprétation de "vérifier comme un fréquentiste" est que vous évaluez la performance de votre fonction de prévision ou de votre fonction de décision sur des données de validation conservées. Le conseil de "penser comme un bayésien" exprime l'opinion selon laquelle une fonction de prédiction dérivée d'une approche bayésienne donnera généralement de bons résultats.

DavidR
la source
(jouant le rôle de l'avocat du diable :) Pourquoi l'approche bayésienne devrait-elle donner de "bons résultats" et non pas fréquentiste?
Tim
Les méthodes bayésiennes sont normatives à propos de l'approche. Les statistiques fréquentistes peuvent être considérées comme faisant partie de la théorie de la décision et fournissent un cadre pour évaluer toute fonction de décision (qu'elle soit basée sur le principe bayésien ou sur un principe fréquentiste). Certaines méthodes, telles que les méthodes de maximum de vraisemblance, sont souvent utilisées dans un contexte fréquentiste car elles possèdent de bonnes propriétés fréquentistes (par exemple, elles le font correctement, et y arrivent plus rapidement que la plupart des autres méthodes). Une méthode bayésienne pourrait certainement être utilisée par un fréquentiste, mais ils auraient des raisons différentes de l’utiliser.
DavidR
Les méthodes bayésiennes ont également beaucoup en commun avec la théorie de la décision. Je ne pense pas non plus que les méthodes bayésiennes puissent être utilisées dans un contexte fréquentiste (comment imagineriez-vous utiliser des a priori dans un contexte fréquentiste?). C’est plutôt l’inverse: de nombreuses méthodes fréquentistes ont des interprétations bayésiennes. Je ne pense pas qu'il soit utile de discuter de cela, mais ce que je dis, c'est que vos déclarations simplifient un peu les choses.
Tim
On peut trouver de nombreuses propriétés fréquentistes sur les approches bayésiennes. Dans ce sens, faire quelque chose de bayésien est assez sûr, à condition de disposer de suffisamment de données.
DavidR
1
Supposons que je veuille estimer la probabilité p de têtes dans une pièce de monnaie. En tant que bayésien, je commencerais par un préalable sur la probabilité p, observerais certaines données, puis un postérieur sur p. Nous devons arriver à une estimation ponctuelle de p et je choisis d'utiliser la moyenne de ma distribution postérieure comme estimation ponctuelle. Au total, cela décrit une méthode permettant de passer des données à une estimation ponctuelle. Cette méthode peut être évaluée de manière fréquentiste: est-elle biaisée? cohérent? asymptotiquement efficace? Le fait qu'un prieur ait été impliqué ne devrait pas, en soi, concerner le fréquentiste.
DavidR
1

Cela ressemble à "penser comme un bayésien, cocher comme un fréquentiste" se réfère à son approche en conception et analyse statistiques. Si je comprends bien, la pensée bayésienne implique une certaine conviction à propos de situations antérieures (de manière expérimentale ou statistique), par exemple, le score moyen en lecture des élèves de 4e année est de 80 mots à la minute, et certaines interventions peuvent porter ce chiffre à 90 mots à la minute. . Ce sont des croyances basées sur des études et des hypothèses antérieures. La pensée fréquentiste extrapole les résultats (de l'intervention) pour obtenir des intervalles de confiance ou d'autres statistiques basées sur la fréquence théorique ou pratique ou la probabilité que ces résultats se reproduisent (c.-à-d. À quelle fréquence). Par exemple, le score de lecture post-intervention peut être de 91 mots par minute avec un intervalle de confiance à 95% de 85 à 97 mots par minute et une valeur p associée (valeur de probabilité) différente de celle du score pré-intervention. Ainsi, dans 95% des cas, les nouvelles notes en lecture se situeraient entre 85 et 97 mots par minute après l'intervention. Par conséquent, "penser comme un bayésien" - c'est-à-dire théoriser, émettre une hypothèse, examiner des preuves antérieures et "vérifier comme un fréquentiste", c'est-à-dire quelle est la fréquence de ces résultats expérimentaux et quelle est la probabilité qu'ils soient dus le hasard plutôt que l'intervention. les nouveaux scores de lecture seraient entre 85 et 97 mots par minute après l'intervention. Par conséquent, "penser comme un bayésien" - c'est-à-dire théoriser, émettre une hypothèse, examiner des preuves antérieures et "vérifier comme un fréquentiste", c'est-à-dire quelle est la fréquence de ces résultats expérimentaux et quelle est la probabilité qu'ils soient dus le hasard plutôt que l'intervention. les nouveaux scores de lecture seraient entre 85 et 97 mots par minute après l'intervention. Par conséquent, "penser comme un bayésien" - c'est-à-dire théoriser, émettre une hypothèse, examiner des preuves antérieures et "vérifier comme un fréquentiste", c'est-à-dire quelle est la fréquence de ces résultats expérimentaux et quelle est la probabilité qu'ils soient dus le hasard plutôt que l'intervention.

Jeremy
la source
2
Votre dernière phrase - la partie "vérifier comme un fréquentiste" - n'a vraiment rien à voir avec le réglage fréquentiste: l'estimation bayésienne vous dirait également "à quelle fréquence" nous nous attendons à ce que quelque chose se produise, ou "quelle soit sa probabilité" ...
Tim