Comment décririez-vous en anglais les caractéristiques qui distinguent le raisonnement bayésien du raisonnement Frequentist?

Voici comment j'expliquerais la différence fondamentale à ma grand-mère:

J'ai égaré mon téléphone quelque part dans la maison. Je peux utiliser le localisateur de téléphone situé à la base de l'instrument pour localiser le téléphone. Lorsque j'appuie sur le localisateur de téléphone, le téléphone commence à émettre un bip.

Problème: dans quelle partie de ma maison devrais-je effectuer une recherche?

Raisonnement Frequentiste

Je peux entendre le téléphone sonner. J'ai aussi un modèle mental qui m'aide à identifier la zone d'où provient le son. Par conséquent, en entendant le bip, je déduis que la zone de ma maison je dois chercher pour localiser le téléphone.

Raisonnement bayésien

Je peux entendre le téléphone sonner. Maintenant, mis à part un modèle mental qui m'aide à identifier la région d'où provient le son, je connais également les endroits où j'ai égaré le téléphone dans le passé. Donc, je combine mes déductions en utilisant les bips sonores et mes informations préalables sur les emplacements où j'ai égaré le téléphone dans le passé pour identifier une zone dans laquelle je dois rechercher pour localiser le téléphone.

La langue fermement dans la joue:

Un bayésien définit une "probabilité" exactement de la même manière que la plupart des non-statisticiens, à savoir une indication de la plausibilité d'une proposition ou d'une situation. Si vous lui posez une question, il vous donnera une réponse directe en attribuant des probabilités décrivant les plausibilités des résultats possibles pour la situation particulière (et exposant ses hypothèses antérieures).

Un Frequentist est quelqu'un qui croit que les probabilités représentent des fréquences à long terme avec lesquelles des événements se produisent; Si besoin est, il inventera une population fictive à partir de laquelle votre situation particulière pourrait être considérée comme un échantillon aléatoire, de sorte qu'il puisse parler de manière significative de fréquences à long terme. Si vous lui posez une question sur une situation particulière, il ne donnera pas de réponse directe, mais fera plutôt une déclaration sur cette population (peut-être imaginaire). De nombreux statisticiens non fréquentistes seront facilement déconcertés par la réponse et l’interpréteront comme une probabilité bayésienne de la situation considérée.

Cependant, il est important de noter que la plupart des méthodes Frequentist ont un équivalent bayésien qui dans la plupart des cas donnera essentiellement le même résultat, la différence est en grande partie une question de philosophie et, dans la pratique, il s'agit de "chevaux pour des parcours".

Comme vous l'avez peut-être deviné, je suis bayésien et ingénieur. ; o)

Très grossièrement je dirais que:

Frequentist: l' échantillonnage est infini et les règles de décision peuvent être précises. Les données sont un échantillon aléatoire répétable - il y a une fréquence. Les paramètres sous-jacents sont fixes, c'est-à-dire qu'ils restent constants pendant ce processus d'échantillonnage répétable.

Bayésien: les quantités inconnues sont traitées de manière probabiliste et l'état du monde peut toujours être mis à jour. Les données sont observées à partir de l'échantillon réalisé. Les paramètres sont inconnus et décrits de manière probabiliste. Ce sont les données qui sont fixes.

Il existe un blog brillant qui donne un exemple détaillé de la façon dont un Bayésien et un Frequentist s’attaqueraient au même problème. Pourquoi ne pas répondre au problème par vous-même et ensuite vérifier?

Le problème (tiré du blog de Panos Ipeirotis):

Vous avez une pièce qui, lorsqu'elle est retournée, finit avec la probabilité p et la queue avec la probabilité 1-p. (La valeur de p est inconnue.)

En essayant d’estimer p, vous retournez la pièce 100 fois. Il finit tête 71 fois.

Ensuite, vous devez choisir l’événement suivant: "Lors des deux lancers suivants, nous aurons deux têtes de suite."

Parieriez-vous que l'événement se produira ou qu'il ne se produira pas?

Supposons qu'un homme lance un dé à six faces et qu'il ait les résultats 1, 2, 3, 4, 5 ou 6. De plus, il dit que s'il tombe sur un 3, il vous donnera un livre de texte gratuit.

Puis de manière informelle:

Le Frequentist dirait que chaque résultat a 1 chance sur 6 de se produire. Elle considère que la probabilité est dérivée de distributions de fréquence à long terme.

Le Bayésien dirait cependant: attendez un instant, je connais cet homme, c'est David Blaine, un filou célèbre! J'ai l'impression qu'il prépare quelque chose. Je vais dire qu'il y a seulement 1% de chance qu'il soit sur un 3 MAIS je vais réévaluer cette croyance et la changer plus souvent il jettera le dé. Si je vois les autres nombres augmenter aussi souvent, j'augmenterai de manière itérative les chances de passer de 1% à un niveau légèrement supérieur, sinon je le réduirai encore plus. Elle considère la probabilité comme un degré de croyance dans une proposition.

Juste un peu de plaisir ...

Un bayésien est un homme qui, attendant vaguement un cheval et apercevant un âne, croit fermement avoir vu un mulet.

De ce site:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

et du même site, un bel essai ...

"Explication intuitive du théorème de Bayes"

http://yudkowsky.net/rational/bayes

Il est demandé au Bayésien de faire des paris, qui peuvent inclure tout ce dont la mouche rampera plus rapidement que les médicaments qui sauveront la plupart des vies ou que les prisonniers devraient aller en prison. Il a une grosse boîte avec une poignée. Il sait que s'il met absolument tout ce qu'il sait dans la boîte, y compris son opinion personnelle, et qu'il tourne la manivelle, il prendra la meilleure décision possible pour lui.

Le fréquentiste est invité à rédiger des rapports. Il a un gros livre de règles noir. Si les règles sur lesquelles il est demandé de faire un rapport sont couvertes par son règlement, il peut suivre les règles et rédiger un rapport si soigneusement rédigé qu'il est faux, au pire, une fois sur 100 (ou une fois sur 20, ou une fois). temps dans les spécifications de son rapport).

Le fréquentiste sait (parce qu'il a écrit des rapports à ce sujet) que le bayésien fait parfois des paris qui, dans le pire des cas, lorsque son opinion personnelle est fausse, pourraient mal tourner. Le fréquentiste sait aussi (pour la même raison) que s'il parie contre le Bayésien à chaque fois qu'il diffère de lui, il perdra à long terme.

En clair, je dirais que les raisonnements bayésien et frequentiste se distinguent par deux manières différentes de répondre à la question:

Quelle est la probabilité?

La plupart des différences se résument essentiellement à la manière dont chacune répond à cette question, car elle définit essentiellement le domaine des applications valables de la théorie. Maintenant, vous ne pouvez pas vraiment donner l’une ou l’autre des réponses en termes d’anglais courant, sans générer plus de questions. Pour moi, la réponse est (comme vous pouvez probablement le deviner)

la probabilité est logique

la raison "non-claire de l'anglais" est que le calcul des propositions est un cas particulier du calcul des probabilités, si nous représentons la vérité par et la fausseté par0 $1$$0$. De plus, le calcul des probabilités peut être dérivé du calcul des propositions. Cela correspond le plus étroitement au raisonnement "bayésien" - même s'il étend également le raisonnement bayésien dans les applications en fournissant des principes pour attribuer des probabilités, en plus des principes pour les manipuler. Bien sûr, cela conduit à la question suivante "Qu'est-ce que la logique?" Pour moi, la réponse la plus proche à cette question est la suivante: "la logique, ce sont les jugements de sens commun d'une personne rationnelle, avec un ensemble donné d'hypothèses" (qu'est-ce qu'une personne rationnelle? etc. etc.). La logique a toutes les mêmes caractéristiques que le raisonnement bayésien. Par exemple, la logique ne vous dit pas quoi supposer ou ce qui est "absolument vrai". Il vous dit seulement comment la vérité d'une proposition est liée à la vérité d'une autre. Vous devez toujours fournir un système logique avec des "axiomes" pour pouvoir commencer les conclusions. Ils ont également les mêmes limites en ce que vous pouvez obtenir des résultats arbitraires d'axiomes contradictoires. Mais les "axiomes" ne sont que des probabilités antérieures qui ont été définies pour$1$ . Pour moi, rejeter le raisonnement bayésien, c'est rejeter la logique. Car si vous acceptez la logique, car le raisonnement bayésien "découle logiquement de la logique" (comment ça se passe pour un anglais simple: P), vous devez également accepter le raisonnement bayésien.

Pour le raisonnement fréquentiste, nous avons la réponse:

la probabilité est la fréquence

Bien que je ne sois pas sûr que "fréquence" soit un terme anglais simple dans le sens où il est utilisé ici - peut-être que "proportion" est un meilleur mot. Je voulais ajouter à la réponse fréquentiste que la probabilité d'un événement est considérée comme une quantité réelle, mesurable (observable?), Qui existe indépendamment de la personne / de l'objet qui la calcule. Mais je ne pouvais pas faire cela dans un "anglais simple".

Donc, peut-être une version "claire" de l'une des différences pourrait être que le raisonnement fréquentiste est une tentative de raisonnement à partir de probabilités "absolues", alors que le raisonnement bayésien est une tentative de raisonnement à partir de probabilités "relatives".

Une autre différence est que les fondements fréquentistes sont plus vagues dans la façon dont vous traduisez le problème du monde réel en mathématiques abstraites de la théorie. Un bon exemple est l’utilisation de "variables aléatoires" dans la théorie - elles ont une définition précise dans le monde abstrait des mathématiques, mais il n’existe pas de procédure non ambiguë permettant de décider si une quantité observée est ou non une "valeur aléatoire". variable".

La méthode bayésienne de raisonnement, la notion de "variable aléatoire" n'est pas nécessaire. Une distribution de probabilité est attribuée à une quantité car elle est inconnue - ce qui signifie qu’elle ne peut pas être déduite logiquement des informations dont nous disposons. Ceci fournit à la fois un simple lien entre la quantité observable et la théorie - car "être inconnu" est sans ambiguïté.

Vous pouvez également voir dans l'exemple ci-dessus une différence supplémentaire entre ces deux façons de penser - "aléatoire" vs "inconnu". Le "caractère aléatoire" est formulé de telle manière que le "caractère aléatoire" semble être une propriété de la quantité réelle. Inversement, "être inconnu" dépend de la personne à laquelle vous vous adressez au sujet de cette quantité - il s'agit donc d'une propriété du statisticien qui effectue l'analyse. Cela donne lieu aux adjectifs "objectifs" et "subjectifs" souvent associés à chaque théorie. Il est facile de montrer que le "hasard" ne peut pas être une propriété de certains exemples standard, en demandant simplement à deux fréquentistes à qui on donne des informations différentes sur la même quantité de décider si c'est "aléatoire". L’une est l’urne habituelle de Bernoulli: le fréquentiste 1 a les yeux bandés lorsqu’il dessine, alors que fréquentist 2 se tient au-dessus de l'urne, surveillant le fréquentiste 1 tirer les balles de l'urne. Si la déclaration de "caractère aléatoire" est une propriété des boules dans l'urne, elle ne peut pas dépendre de la connaissance différente des fréquentistes 1 et 2 - et par conséquent les deux fréquentistes devraient donner la même déclaration "aléatoire" ou "non aléatoire". .

En réalité, je pense que la philosophie qui sous-tend la question repose en grande partie sur la démagogie. Ce n'est pas pour écarter le débat, mais c'est une mise en garde. Parfois, les questions pratiques sont prioritaires - je vais donner un exemple ci-dessous.

En outre, vous pouvez tout aussi facilement affirmer qu'il existe plus de deux approches:

• Neyman-Pearson ('fréquentiste')
• Approches basées sur la probabilité
• Entièrement bayésien

Un collègue expérimenté m'a récemment rappelé que «beaucoup de personnes parlent couramment le fréquentisme et le bayésien. Je pense qu'une distinction plus valable est fondée sur la vraisemblance et la fréquentation. Le maximum de vraisemblance et les méthodes bayésiennes adhèrent au principe de vraisemblance, contrairement aux méthodes fréquentistes. "

Je vais commencer par un exemple pratique très simple:

Nous avons un patient. Le patient est en bonne santé (H) ou malade (S). Nous effectuerons un test sur le patient et le résultat sera positif (+) ou négatif (-). Si le patient est malade, il obtiendra toujours un résultat positif. Nous appellerons cela le résultat correct (C) et dirons que ou Si le patient est en bonne santé, le test sera négatif 95% du temps, mais il sera des faux positifs. Dans d'autres travaux, la probabilité que le test soit correct, pour les personnes en bonne santé, est de 95%.P ( C o r r e c t | S ) = 1 P ( - | H ) = 0,95 P ( + | H ) =

Ainsi, le test est précis à 100% ou à 95%, selon que le patient est en bonne santé ou malade. Pris ensemble, cela signifie que le test est précis à au moins 95%.

Jusqu'ici tout va bien. Ce sont les déclarations qui seraient faites par un fréquentiste. Ces déclarations sont assez simples à comprendre et sont vraies. Il n'est pas nécessaire de se laisser aller à une «interprétation fréquentiste».

Mais les choses deviennent intéressantes lorsque vous essayez de changer les choses. Compte tenu du résultat du test, que pouvez-vous apprendre sur la santé du patient? Si le résultat du test est négatif, le patient est évidemment en bonne santé, car il n’ya pas de faux négatifs.

Mais il faut aussi considérer le cas où le test est positif. Le test était-il positif parce que le patient était réellement malade ou s'agissait-il d'un faux positif? C’est là que les fréquentistes et les bayésiens divergent. Tout le monde conviendra qu'il est impossible d'y répondre pour le moment. Le fréquentiste refusera de répondre. Le Bayésien sera prêt à vous donner une réponse, mais vous devrez d'abord lui donner un préalable - c'est-à-dire lui dire quelle proportion de patients sont malades.

Pour récapituler, les déclarations suivantes sont vraies:

• Pour les patients en bonne santé, le test est très précis.
• Pour les patients malades, le test est très précis.

Si vous êtes satisfait de telles affirmations, vous utilisez des interprétations fréquentistes. Cela peut changer d'un projet à l'autre, en fonction du type de problèmes que vous étudiez.

Mais vous voudrez peut-être faire différentes déclarations et répondre à la question suivante:

• Pour les patients dont le résultat du test est positif, quelle est la précision du test?

Cela nécessite une approche préalable et une approche bayésienne. Notez également que c'est la seule question d'intérêt pour le médecin. Le médecin dira "Je sais que les patients obtiendront soit un résultat positif, soit un résultat négatif. Je pense aussi que ce résultat négatif signifie que le patient est en bonne santé et peut être renvoyé chez lui. Les seuls patients qui m'intéressent maintenant sont ceux qui ont un résultat positif - sont-ils malades? "

Pour résumer: dans de tels exemples, le bayésien sera d’accord avec tout ce que dit le fréquentiste. Mais le Bayésien soutiendra que les déclarations du fréquentiste, bien que vraies, ne sont pas très utiles; et fera valoir que les questions utiles ne peuvent être répondues avec un préalable.

Un fréquentiste examinera chaque valeur possible du paramètre (H ou S) et demandera à son tour "si le paramètre est égal à cette valeur, quelle est la probabilité que mon test soit correct?"

Un bayésien examinera à son tour chaque valeur observée possible (+ ou -) et posera la question suivante: "Si j'imagine que je viens d'observer cette valeur, qu'est-ce que cela me dit sur la probabilité conditionnelle de H contre S?"

Les statistiques bayésiennes et fréquentistes sont compatibles en ce sens qu’elles peuvent être comprises comme deux cas limites d’évaluation de la probabilité d’événements futurs basés sur des événements passés et un modèle supposé, si l’on admet que dans la limite d’un très grand nombre le système reste, et que dans ce sens un très grand nombre d'observations équivaut à connaître les paramètres du modèle.

Supposons que nous ayons fait quelques observations, par exemple, le résultat de 10 lancers de pièces. Dans les statistiques bayésiennes, vous partez de ce que vous avez observé, puis vous évaluez la probabilité d'observations futures ou de paramètres de modèle. Dans les statistiques fréquentistes, vous partez d'une idée (hypothèse) de ce qui est vrai en supposant les scénarios d'un grand nombre d'observations faites, par exemple, une pièce de monnaie est impartiale et donne 50% de heads-up si vous la lancez plusieurs fois. Sur la base de ces scénarios d’un grand nombre d’observations (= hypothèse), vous évaluez la fréquence des observations comme celle que vous avez faite, c’est-à-dire la fréquence des différents résultats de 10 lancers de pièces. Ce n'est qu'alors que vous prenez votre résultat réel, le comparez à la fréquence des résultats possibles et que vous décidez si le résultat appartient à ceux attendus avec une fréquence élevée. Si tel est le cas, vous concluez que l'observation faite ne contredit pas vos scénarios (= hypothèse). Sinon, vous concluez que l'observation faite est incompatible avec vos scénarios et vous rejetez l'hypothèse.

Ainsi, les statistiques bayésiennes partent de ce qui a été observé et évaluent les résultats futurs possibles. La statistique Frequentist commence par une expérience abstraite de ce qui serait observé si on suppose quelque chose, et seulement ensuite compare les résultats de l'expérience abstraite à ce qui a été réellement observé. Sinon, les deux approches sont compatibles. Ils évaluent tous les deux la probabilité d’observations futures en se basant sur certaines observations faites ou émises sur des hypothèses.

J'ai commencé à écrire cela d'une manière plus formelle:

Positionner l'inférence bayésienne comme une application particulière de l'inférence fréquentiste et vice versa. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Le manuscrit est nouveau. S'il vous arrive de le lire et d'avoir des commentaires, faites-le moi savoir.

Je dirais qu'ils envisagent la probabilité de différentes manières. Le bayésien est subjectif et utilise des croyances a priori pour définir une distribution de probabilité préalable sur les valeurs possibles des paramètres inconnus. Il s’appuie donc sur une théorie de la probabilité comme celle de deFinetti. Le fréquentiste considère la probabilité comme quelque chose qui a à voir avec une fréquence limite basée sur une proportion observée. Cela est conforme à la théorie de la probabilité développée par Kolmogorov et von Mises.
Un fréquentiste fait l'inférence paramétrique en utilisant uniquement la fonction de vraisemblance. Un bayésien prend cela et multiplie par un précédent et le normalise pour obtenir la distribution postérieure qu'il utilise pour l'inférence.

La façon dont je réponds à cette question est que les fréquentistes comparent les données qu'ils voient à ce à quoi ils s'attendaient. Autrement dit, ils ont un modèle mental sur la fréquence à laquelle quelque chose devrait arriver, puis ils voient les données et à quelle fréquence. c'est-à-dire quelle est la probabilité des données qu'ils ont vues compte tenu du modèle choisi

Les Bayésiens , d’autre part, combinent leurs modèles mentaux. C'est-à-dire qu'ils ont un modèle basé sur leurs expériences antérieures qui leur dit à quoi ils pensent que les données devraient ressembler, puis ils combinent cela avec les données qu'ils observent pour se fixer sur une croyance « postérieure». c'est-à-dire qu'ils trouvent la probabilité que le modèle qu'ils cherchent à choisir soit valide compte tenu des données qu'ils ont observées.

Frequentist: Le véritable état de la nature est. Si je fais habituellement des analyses comme celle-ci, 95% de mes réponses seront correctes.

Bayesian: Il y a 95% de chances que la vraie réponse soit… Je me base sur une combinaison des données que vous m'avez fournies et de nos suppositions antérieures sur la vérité.

Frequentist: parier sur les dés. Seule la valeur des dés décidera du résultat: vous remportez votre pari ou pas. En fonction du hasard seul.

Bayésien: jouer au poker Texas Hold'em. Vous êtes le seul à voir vos deux cartes. Vous avez des connaissances sur les autres joueurs sur la table. Vous devez ajuster votre probabilité de gagner au flop, au turn et au river et éventuellement en fonction des joueurs restants. Est-ce qu'ils bluffent souvent? Sont-ils des joueurs agressifs ou passifs? Tout cela décidera de ce que vous ferez. Ce n’est pas seulement la probabilité que vous obteniez ces deux premières cartes, qui décidera si vous gagnez ou non.

Jouer au poker fréquentiste signifierait que chaque joueur montrerait ses mains au début, puis parierait ou se coucherait avant que les cartes flop, turn et river ne soient affichées. Maintenant, cela ne dépend plus que du hasard, que vous gagniez ou non.

Dites, si vous avez mal à la tête et allez voir un médecin. Supposons que, dans l'ensemble des décisions du médecin, il existe deux causes possibles de mal de tête: la tumeur n ° 1 (cause fondamentale qui cause le mal de tête 99% du temps) et le rhume 2 (cause pouvant entraîner des maux de tête chez très peu de patients) .

Ensuite, une décision du médecin basée sur l’approche Frequentist serait: vous avez une tumeur au cerveau.

La décision des médecins basée sur l'approche bayésienne vous dira que vous avez un rhume (même si seulement 1% des rhumes causent des maux de tête)

Un chat et une chatte sont enfermés dans une chambre en acier, avec suffisamment de nourriture et d’eau pour 70 jours.

Un fréquentiste dirait que la période de gestation moyenne des félins est de 66 jours. La femelle était en chaleur lorsque les chats ont été parqués et une fois en chaleur, elle s'accouplera à plusieurs reprises pendant 4 à 7 jours. Comme il y avait probablement beaucoup d'actes de propagation et suffisamment de temps pour la gestation, les chances sont alors que, lorsque la boîte est ouverte le jour 70, il y a une portée de chatons nouveau-nés.

Un Bayésien dirait, j'ai entendu quelque Marvin Gaye sérieux sortir de la boîte le premier jour, puis ce matin j'ai entendu de nombreux sons ressemblant à des chaton provenant de la boîte. Ainsi, sans en savoir beaucoup sur la reproduction des chats, il y a de fortes chances que lorsque la boîte est ouverte le jour 70, il y a une portée de chatons nouveau-nés.