Qui sont fréquentistes?

55

Nous avions déjà un fil de discussion qui demandait qui étaient des Bayésiens et un autre qui demandait si les fréquentistes étaient bayésiens , mais aucun fil ne demandait directement qui étaient les fréquentistes . Ceci est une question qui a été posée par @whuber en tant que commentaire sur ce fil de discussion et qui appelle une réponse. Existe-t-il (existe-t-il des fréquentistes auto-identifiés)? Ils ont peut-être été inventés par des Bayésiens qui avaient besoin d'un bouc émissaire pour critiquer les statistiques classiques.

Méta-commentaire sur les réponses déjà données: Par contraste, les statistiques bayésiennes ne sont pas uniquement définies en termes d’utilisation du théorème de Bayes (les non-bayésiens l’utilisent aussi), ni de l’utilisation d’une interprétation subjectiviste de la probabilité (on n’appellerait aucun profane en disant, par exemple, "je parie que la chance est inférieure à 50:50!" ( Bayésien) - pouvons-nous donc définir le fréquentisme uniquement en termes d’interprétation adoptée de la probabilité? De plus, les statistiques probabilité appliquée , devrait doncdéfinition de frequentism se concentrer uniquement sur l'interprétation des probabilités?

Tim
la source
10
Je voudrais encore savoir ce qui est un « fréquentiste »? J'ai vu ce terme utilisé comme une référence apparente à "n'importe quel non-bayésien", ainsi qu'à quelqu'un qui adhère à une philosophie de la probabilité Frequentist. Je sais qu'il y en a beaucoup, mais je ne suis pas sûr qu'il y ait des représentants vivants de ce dernier!
whuber
9
Comptez-moi comme un fréquentiste, s'il vous plaît. Unissons-nous! Unis, nous serons forts pour détruire Bayesian à la porte une fois pour toutes!
Aksakal
10
@Aksakal le répète un nombre infini de fois et je le considérerai comme important;)
Tim
5
Attention à qui vous appelez Bayesian. Par DV Lindley "Il n'y a personne de moins bayésien qu'un bayésien empirique". Beaucoup d'utilisateurs de méthodes dites bayésiennes ne sont pas vraiment bayésiennes. Maintenant, avec les ordinateurs rapides et MCMC, tout le monde est soudain un bayésien? Pour beaucoup, il ne s'agit que d'un autre calcul, comme d'un autre, et non d'une philosophie profondément enracinée. La population est-elle divisée de manière disjointe, et seulement entre Fréquentistes et Bayésienne. Que diriez-vous de quelqu'un sans éducation pertinente, que sont-ils? Peut-il y avoir un degré (ou une fréquence) de Bayésien? Peut-être différent sur différents jours de la semaine ou types d'analyse?
Mark L. Stone
10
Tim, je crains que ce fil conducteur ne soit affecté par la même confusion que certains fils apparentés: à savoir, il existe des méthodes statistiques fréquentistes vs bayésiennes et des interprétations fréquentistes vs bayésiennes de la probabilité. Ce sont deux problèmes différents! De quoi parlez-vous? La confusion est déjà évidente dans les commentaires de la réponse de @ fcop; Fcop parle de la définition / interprétation de la probabilité, alors que vous avez parlé de MCO, il s'agit de méthodes statistiques.
amibe dit de réintégrer Monica

Réponses:

35

Certaines réponses existantes parlent d'inférence statistique et d'autres d'interprétation de probabilité, mais aucune ne fait clairement la distinction. Le but principal de cette réponse est de faire cette distinction.


Le mot "fréquentisme" (et "fréquentiste") peut faire référence à DEUX CHOSES DIFFÉRENTES:

  1. L'une est la question de savoir quelle est la définition ou l'interprétation de la "probabilité". Les interprétations sont multiples, "interprétation fréquentiste" en étant une. Les fréquentistes seraient les personnes adhérant à cette interprétation.

  2. Une autre est l'inférence statistique sur les paramètres du modèle basée sur les données observées. Il existe une approche bayésienne et une approche fréquentiste de l'inférence statistique, et ce sont les personnes fréquentistes qui préfèrent utiliser l'approche fréquentiste.

Vient maintenant une spéculation: je pense qu'il n'y a presque pas de fréquentistes du premier type (p-fréquentistes) , mais il y a beaucoup de fréquentistes du deuxième type (s-fréquentistes) .


Interprétation fréquentiste de la probabilité

La question de la probabilité est un sujet de débat intense avec plus de 100 ans d'histoire. Cela appartient à la philosophie. Si vous ne connaissez pas ce débat, référez-vous à l'article Interpretations of Probability de l’Encyclopedia of Philosophy de Stanford, qui contient une section sur les interprétations fréquentistes. Voici un autre compte-rendu très lisible que je connaisse: Appleby, 2004, Probability is single-case ou zero , qui est écrit dans le contexte des fondements de la mécanique quantique, mais contient des sections se concentrant sur ce qu'est la probabilité.

Appleby écrit:

Le fréquentisme est la position selon laquelle un énoncé de probabilité équivaut à un énoncé de fréquence relatif à un ensemble choisi de manière appropriée. Par exemple, selon von Mises [21, 22], l'affirmation «la probabilité que cette pièce monte de têtes est de 0,5» équivaut à l'affirmation «dans une séquence infinie de lancers cette pièce remontera les têtes avec une fréquence relative limite de 0,5». .

Cela peut sembler raisonnable, mais cette définition pose tant de problèmes philosophiques qu’on ne sait par où commencer. Quelle est la probabilité qu'il pleuve demain? Question sans signification, car comment aurions-nous une séquence d'épreuves infinie? Quelle est la probabilité que la pièce de monnaie dans ma poche fasse surface? Une fréquence relative de têtes dans une séquence infinie de lancers, vous dites? Mais la pièce va s'user et le Soleil ira en supernova avant que la séquence infinie ne soit terminée. Nous devrions donc parler d'une séquence hypothétique infinie. Cela nous amène à la discussion sur les classes de référence, etc. etc. En philosophie, on ne s'éloigne pas si facilement. Et d'ailleurs, pourquoi la limite devrait-elle exister?

En outre, que se passerait-il si ma pièce arrivait 50% du temps au cours du premier milliard d'années, mais ne le serait que 25% du temps (expérience de Appleby)? Cela signifie que par définition. Mais nous observerons toujours cours du prochain milliard d'années. Pensez-vous qu'une telle situation n'est pas vraiment possible? Bien sûr, mais pourquoi? Parce que le ne peut pas changer soudainement? Mais cette phrase n'a pas de sens pour un fréquentiste.F r e q u e n c y ( H e a d s ) 1 / 2 P ( H e a d s )P(Heads)=1/4Frequency(Heads)1/2P(Heads)

Je veux garder cette réponse courte pour que je m'arrête là; voir ci-dessus pour les références. Je pense qu’il est très difficile d’être un perventiste assidu.

(Mise à jour: dans les commentaires ci-dessous, @mpiktas insiste sur le fait que la définition fréquentiste n'a pas de sens mathématique . Mon opinion exprimée ci-dessus est plutôt que la définition fréquentiste est philosophiquement problématique.)


Approche fréquentiste des statistiques

Considérons un modèle probabiliste qui a des paramètres et permet de calculer la probabilité d'observer des données . Vous avez fait une expérience et observé quelques données . Que pouvez-vous dire à propos de ?θ X X θP(Xθ)θXXθ

S-fréquentisme est la position que n'est pas une variable aléatoire; ses vraies valeurs dans le monde réel sont ce qu’elles sont. Nous pouvons essayer de les estimer comme des , mais nous ne pouvons pas parler de manière significative de la probabilité que se trouve dans un intervalle (par exemple, il est positif). La seule chose que nous puissions faire est d’élaborer une procédure de construction d’un intervalle autour de notre estimation, de sorte que cette procédure réussisse à englober true avec une fréquence de succès à long terme particulière (probabilité particulière).& thetav & thetav & thetavθθ^θθ

La plupart des statistiques utilisées aujourd'hui dans les sciences de la nature reposent sur cette approche. Il y a donc certainement beaucoup de fréquentistes de type S aujourd'hui.

(Mise à jour: si vous recherchez un exemple de philosophe de la statistique, opposé aux praticiens de la statistique défendant le point de vue de S-fréquentiste, lisez les écrits de Deborah Mayo; +1 à la réponse de @ NRH.)


MISE À JOUR: Sur la relation entre le p-fréquentisme et le s-fréquentisme

@fcop et d'autres personnes interrogent sur la relation entre le p-fréquentisme et le s-fréquentisme. Est-ce que l'une de ces positions en implique une autre? Il ne fait aucun doute qu'historiquement, le S-fréquentisme a été développé sur la base d'une position p-fréquentiste. mais impliquent -ils logiquement les uns des autres?

Avant d'aborder cette question, je devrais dire ce qui suit. Quand j'ai écrit ci-dessus qu'il n'y avait presque pas de p-fréquentistes, je ne voulais pas dire que presque tout le monde était P-subjectif-bayésien-à-la-finetti ou P-propensitiste-à-la-popper. En fait, je pense que la plupart des statisticiens (ou des informaticiens, ou des apprenants-informaticiens) sont des P-rien du tout ou des P-fermés-à-calculer (pour reprendre l'expression célèbre de Mermin ). La plupart des gens ont tendance à ignorer les problèmes de fondations. Et c'est bien. Nous n'avons pas une bonne définition du libre arbitre, de l'intelligence, du temps ou de l'amour. Mais cela ne devrait pas nous empêcher de travailler sur les neurosciences, l'IA, la physique ou de tomber amoureux.

Personnellement, je ne suis pas un fréquentiste, mais je n’ai pas non plus une vision cohérente des fondements de la probabilité.

En revanche, presque tout le monde qui a fait une analyse statistique pratique est un S-fréquentiste ou un S-Bayésien (ou peut-être un mélange). Personnellement, j'ai publié des articles contenant des valeurs et je n'ai jamais (jusqu'à présent) publié d'articles contenant des a priori et des postérieurs par rapport aux paramètres du modèle, ce qui fait de moi un S-fréquentiste, du moins dans la pratique.p

Il est donc clairement possible d’être un S-fréquentiste sans être un P-fréquentiste, malgré ce que @fcop dit dans sa réponse.

D'accord. Bien. Mais quand même: un p-bayésien peut-il être un fréquentiste? Et un P-fréquentiste peut-il être un S-bayésien?

Pour un p-bayésien convaincu, il est probablement atypique d'être un fréquentiste, mais en principe tout à fait possible. Par exemple, un p-bayésien peut décider de ne pas disposer d'informations préalables sur et adopter une analyse S-fréquentiste. Pourquoi pas. Toute affirmation fréquentiste peut être interprétée avec une interprétation p-bayésienne de la probabilité.θ

Pour un P-fréquentiste convaincu d'être S-bayésien, c'est probablement problématique. Mais alors il est très problématique d' être un p-fréquentiste convaincu ...

l'amibe dit de réintégrer Monica
la source
2
Les commentaires ne sont pas pour une discussion prolongée; cette conversation a été déplacée pour discuter .
Glen_b
13

Les travaux de Kolmogorov sur les fondements de la théorie de la probabilité ont la section intitulée "Relation avec les données expérimentales" à la p.3. Voici ce qu'il a écrit ici:

entrez la description de l'image ici

entrez la description de l'image ici

Il montre comment on peut déduire ses axiomes en observant des expériences. C'est une manière assez fréquentiste d'interpréter les probabilités.

Il a une autre citation intéressante pour les événements impossibles (ensembles vides):

entrez la description de l'image ici

Donc, je pense que si vous êtes à l'aise avec ces arguments, alors vous devez admettre que vous êtes un fréquentiste. Ce label n'est pas exclusif. Vous pouvez être bi-paradigmique (j'ai composé le mot), c’est-à-dire à la fois fréquentiste et bayésien. Par exemple, je deviens bayésien en appliquant des méthodes stochastiques à des phénomènes qui ne sont pas intrinsèquement stochastiques.

MISE À JOUR Comme je l'ai écrit précédemment dans CV, la théorie de Kolmogorov n'est pas elle-même fréquentiste. C'est aussi compatible avec la vision bayésienne qu'avec la vision fréquentiste. Il a mis cette jolie note de bas de page dans la section pour indiquer très clairement qu'il s'abstenait de philosophie:

entrez la description de l'image ici

Aksakal
la source
1
La plupart des systèmes axiomatiques sont dérivés de "l'abstraction" ou de la "généralisation" des concepts du monde réel. Il en va de même pour le concept (axiome) d'une "métrique", ils ont examiné le concept du monde réel (distance eucildienne) et "ont trouvé" trois propriétés qu'ils ont utilisées comme "axiomes" dans un espace métrique. Mais votre réponse est bonne (+1), cela montre que Kolmogorov n’a pas "inventé" ses axiomes "hors du ciel", il a mis au point un système axiomatique qui était lié à la compréhension de ce que la propreté était à cette époque. .
1
Pourriez-vous regarder les commentaires de @mpiktas sur cette question et dire que Kolmogorov lui-même a donné cette définition? voir les commentaires sur stats.stackexchange.com/questions/230415/…
2
@fcop, je me souviens de sa réponse. Cela semblait raisonnable. Vous pouvez certainement dériver des axiomes de Bayes, et Kolmogorov le montre dans le livre.
Aksakal
1
+1 Exactement ce à quoi je pensais (la note de bas de page, en particulier) lorsque j'écrivais des commentaires sur des thèmes connexes. Dernier commentaire de @Aksakal.
Graeme Walsh
1
@Aksakal: se référant à votre commentaire ci-dessus: ce n'était pas "sa" réponse mais la mienne :-)
8

Je pense qu'il est pertinent de mentionner Deborah Mayo, qui a écrit le blog Error Statistics Philosophy .

Je ne prétends pas avoir une compréhension profonde de sa position philosophique, mais le cadre de la statistique d'erreur , décrit dans un article avec Aris Spanos, inclut ce qui est considéré comme une méthode statistique fréquentiste classique. Pour citer le papier:

Dans le cadre des méthodes statistiques d'erreur, on peut inclure toutes les méthodes standard utilisant des probabilités d'erreur basées sur la fréquence relative des erreurs dans l'échantillonnage répété - souvent appelée théorie de l'échantillonnage ou statistique fréquentiste .

Et plus loin dans le même article, vous pouvez lire ceci:

Car la probabilité statistique ne consiste pas à mesurer le degré de confirmation ou de conviction (réel ou rationnel) des hypothèses, mais à quantifier la fréquence à laquelle les méthodes sont capables de discriminer les différentes hypothèses et à quel point elles facilitent la détection des erreurs.

NRH
la source
2
+1, bravo pour le blog de Mayo. Elle est en effet le philosophe des statistiques le plus parlant qui soutient les statistiques fréquentistes. La plupart des autres délires sur Internet ces jours-ci sont en faveur des statistiques bayésiennes.
Amibe dit: Réintégrer Monica
6

En se référant à ce fil et aux commentaires, je pense que les fréquentistes sont ceux qui définissent la "probabilité" d'un événement comme la fréquence relative à long terme de la survenue de cet événement. Donc, si est le nombre d'expériences et le nombre d'occurrences de l'événement la probabilité de l'événement , notée , est définie comme .nnAAAP(A)

P(A):=limn+nAn

Il n’est pas difficile de voir que cette définition respecte les axiomes de Kolmogorov (parce que prendre des limites est linéaire, voir aussi Existe-t-il une base * mathématique * pour le débat bayésien vs fréquentiste? ).

Pour donner une telle définition, ils doivent «croire» que cette limite existe. Les fréquentistes sont donc ceux qui croient en l’existence de cette limite.

EDIT du 31/8/2016: sur la distinction entre le fréquentisme S et P

Comme @amoeba distingue dans sa réponse entre s-fréquentistes et p-fréquentistes, où les p-fréquentistes sont le type de fréquentistes que je définis ci-dessus, et comme il soutient également qu'il est difficile d'être un p-fréquentiste, j'ai ajouté une section EDIT faire valoir que le contraire est vrai;

Je soutiens que tous les S-fréquentistes sont des P.-fréquentistes .

Dans la section sur le S-fréquentisme, @amoeba dit "cette procédure réussit à englober le vrai avec une fréquence de succès à long terme particulière (probabilité particulière)".θ

Dans sa réponse, il déclare également que les fréquentistes sont une espèce rare.

Mais cette '' fréquence de succès à long terme '', utilisée pour définir le S-fréquentisme, est ce qu'il définit comme le P-fréquentisme en tant qu’interprétation de .P(CI^θ)

Par conséquent, selon sa définition, chaque fidèle est aussi un fréquentiste. Par conséquent, j’en conclus que les fréquentations physiques ne sont pas aussi rares que le prétend l’amibe.

Il y a encore plus; @ amoeba fait également valoir que les fréquencistes S considèrent le paramètre inconnu comme fixe ou non aléatoire; on ne peut donc pas parler de "probabilité que ait une valeur particulière", dit-il.θθ

'' La seule chose que nous puissions faire est de concevoir une procédure de construction d'un intervalle autour de notre estimation de telle sorte que cette procédure réussisse à englober le vrai avec une fréquence de succès à long terme particulière (probabilité particulière). ''θ

Puis-je demander quelle pourrait être l'origine du nom "fréquentiste": (a) l' idée "non aléatoire" "ou (b) l'idée de" fréquence à long terme "?θ

Puis-je également demander à @mpiktas qui écrit dans son commentaire à la réponse de Amoeba:

"Il est très difficile d'être un fréquentateur P, car il est pratiquement impossible de donner une définition mathématiquement juste de cette probabilité"

Si vous avez besoin d'une définition du p-fréquentisme pour définir le s-fréquentisme, comment peut-on alors être plus fréquentiste du S que du fréquentisme?

Communauté
la source
3
@ Tim: Pourquoi l'OLS serait-elle '' fréquentiste ''?
2
Si tel est le cas, alors toute la discussion sur les fréquentistes ne semble pas avoir beaucoup de sens car leur champ d’intérêt est très limité et que de vastes domaines de la statistique sont hors de leur champ ... (y compris de nombreux domaines d’intérêt Bayésiens.) Ce que je dis, c'est que cela ne semble pas être la définition, car elle est trop étroite.
Tim
2
Que pensent les bayésiens (auto-proclamés ou simplement pragmatiques qui portent leur "chapeau bayésien")? ? limn+nAn
Silverfish
1
@Silverfish Bayésiens sont libres d'utiliser les fréquences à long terme comme probabilités s'ils le souhaitent. Ce ne sont que les fréquentistes qui n'ont pas le choix. La principale différence est qu'un bayésien pourrait dire que , mais nous sommes intéressés par la déduction de définir une distribution sur les valeurs plausibles de partir des observations 1E12. limn+nA/npHlimn+nA/npH
Dikran Marsupial
3
base de la théorie des probabilités précisément pour cette raison, c’est-à-dire pour donner certaines interprétations de probabilités bien fondées mathématiques. Maintenant, vous voulez revenir en arrière et "réinventer" la probabilité avec votre définition "fréquentiste". Je trouve cela trompeur, et par conséquent, je souscris vos réponses. Vous pouvez ignorer ceci, c'est la façon dont le site fonctionne, il y a toujours possibilité de désaccord.
Mpiktas
4

Question vraiment intéressante!

Je me mettrais dans le camp fréquentiste quand il s'agirait de comprendre et d'interpréter les énoncés de probabilité, bien que je ne sois pas aussi sévère sur la nécessité d'une séquence d'expériences réelles pour fonder cette probabilité. Je soupçonne que la plupart des gens qui n’adhèrent pas à la thèse selon laquelle "la probabilité est une mesure subjective de la conviction" penseraient également à la probabilité de cette façon.

Voici ce que je veux dire: prenons notre habituelle "juste" pièce, avec la cession . Quand j'entends ça, je forme une image de quelqu'un qui lance cette pièce plusieurs fois et la fraction de têtes approche de . Maintenant, si on appuie dessus, je dirais également que la fraction de têtes dans tout échantillon aléatoire à partir d'une séquence finie de tels lancements de pièces approchera également de mesure que la taille de l'échantillon augmente (hypothèse d'indépendance).P(H)=0.50.50.5

Comme d'autres l'ont dit, l'hypothèse la plus importante est que cette limite existe et est correcte (c'est-à-dire qu'elle est ), mais je pense qu'il est tout aussi important de supposer que la même limite existe également pour les sous-échantillons choisis au hasard. Dans le cas contraire, notre interprétation n'a un sens wrt toute la séquence infinie (par exemple, nous pourrions avoir une forte auto - corrélation qui obtient en moyenne sur).0.5

Je pense que ce qui précède n’est guère controversé pour les fréquentistes. Un Bayésien serait plus concentré sur l'expérience en cours et moins sur le comportement à long terme: il affirmerait que son degré de conviction selon lequel le prochain tirage au sort sera une tête est ... point final.P(H)=0.5

Pour un cas simple tel que le tirage au sort, nous pouvons voir que les approches fréquentiste et bayésienne sont fonctionnellement équivalentes, bien que philosophiquement très différentes. Comme l'a souligné Dikran Marsupial, le Bayésien pourrait en fait utiliser le fait que, de manière empirique, nous voyons des pièces de monnaie monter aussi souvent que nous les voyons arriver à la queue (à long terme / à grande fréquence d'échantillonnage comme auparavant).

Qu'en est-il des choses qui ne peuvent pas avoir des fréquences à long terme? Par exemple, quelle est la probabilité que la Corée du Nord entame une guerre avec le Japon dans les 10 prochaines années? Pour les fréquentistes, nous sommes vraiment dans l'embarras, car nous ne pouvons pas vraiment décrire les distributions d'échantillonnage nécessaires pour tester une telle hypothèse. Un bayésien serait en mesure de résoudre ce problème en plaçant la distribution de probabilité sur les possibilités, le plus probablement sur la base des contributions d'experts.

Cependant, une question clé se pose: d'où proviennent ces degrés de croyance (ou la valeur supposée pour la fréquence à long terme)? Selon la psychologie, je dirais que ces croyances (en particulier dans les régions éloignées des données expérimentales) proviennent de ce que l’on appelle l' heuristique de disponibilité et l' heuristique de représentativité . Il y en a beaucoup d' autres qui entrent probablement en jeu. Je soutiens cela parce qu'en l'absence de données permettant de calibrer nos croyances (par rapport à la fréquence à long terme observée!), Nous devons nous appuyer sur des heuristiques, quelle que soit leur complexité.

La pensée heuristique mentale ci-dessus s’applique également aux Frequentists et aux Bayésiens. Ce qui est intéressant pour moi, c’est que quelle que soit notre philosophie, à la base, nous croyons davantage en quelque chose que nous pensons vraisemblablement plus vrai, et nous croyons que cela est plus vraisemblable parce que nous croyons qu’il ya plus de façons pour que ce soit vrai, ou nous imaginons que les voies menant à cela soient vraies se produiraient plus souvent (fréquemment :-) que celles qui le rendraient faux.

Comme il s’agit d’une année électorale, prenons un exemple politique: quelle conviction aurions-nous dans la déclaration "Ted Cruz proposera une interdiction des fusils d’assaut dans les quatre prochaines années". Maintenant, nous avons quelques données à ce sujet dans ses propres déclarations, et nous placerions probablement notre croyance antérieure dans la vérité de cette déclaration très proche de zéro. Mais pourquoi? Pourquoi ses déclarations antérieures nous font-ils penser ainsi? Parce que nous pensons que les personnes hautement idéologiques ont tendance à "s'en tenir à leurs armes" plus que leurs homologues pragmatiques. D'où est-ce que ça vient? Probablement d'après les études effectuées par des psychologues et nos propres expériences avec des personnes ayant des principes élevés.

En d'autres termes, nous disposons de certaines données et de la conviction que dans la plupart des cas, une personne comme Cruz pourrait changer d'idée, elle ne le fera pas (encore une fois, une évaluation à long terme ou à grande échelle).

C'est pourquoi je "caucus" avec les fréquentistes. Ce n’est pas mon aversion pour la philosophie bayésienne (tout à fait raisonnable) ni pour les méthodes (elles sont géniales!), Mais si je plonge assez dans la profondeur de la raison pour laquelle j'ai des convictions qui manquent d'un soutien solide de large échantillon, je me rends compte que je me fie à une sorte d'un modèle mental où les résultats peuvent être calculés (si implicitement) ou où je peux invoquer des probabilités à long terme dans un sous-processus particulier (par exemple, les républicains votent contre les mesures de contrôle des armes à feu X% du temps) pour pondérer ma conviction d'une manière ou d'une autre .

Bien sûr, ce n'est pas vraiment du vrai fréquentisme, et je doute que beaucoup de personnes souscrivent à l'interprétation de la probabilité de von Mieses-esque. Cependant, je pense que cela montre la compatibilité sous-jacente entre les probabilités bayésienne et Frequentist: les deux font appel à notre heuristique interne concernant la disponibilité ou à ce que j'appelle le principe de "Pachinko" concernant les fréquences le long d'une chaîne de causalité.

Alors peut-être que je devrais me qualifier de "disponible", pour indiquer que j'attribue des probabilités en fonction de la fréquence à laquelle je peux imaginer qu'un événement se produise comme le résultat d'une chaîne d'événements (avec une certaine rigueur / modélisation bien sûr). Si j'ai beaucoup de données, c'est parfait. Si je ne le fais pas, je vais essayer de décomposer l'hypothèse en une chaîne d'événements et d'utiliser mes données (anecdotiques ou "de bon sens", selon les besoins) pour évaluer la fréquence à laquelle j'imagine qu'un tel événement se produise.

Désolé pour le post longish, excellente question BTW!


la source
1
Vous faites d'énormes simplifications excessives à propos de l'approche subjectiviste de la probabilité. Je conviens que la psychologie joue un rôle dans la façon dont vous travaillez avec les données, mais vous pouvez également faire une analyse subjectivement biaisée dans une approche fréquentiste. Certains bayésiens soutiennent qu'au moins dans le cas bayésien, vous explicitez vos croyances subjectives au lieu de les ignorer.
Tim
1
@ Tim, je ne disais pas que les Frequentists sont plus objectifs (voir ma première partie sur les principales hypothèses des Frequentists). De plus, ce que je soulignais, c'est que Frequentists et Bayesians fondent leurs probabilités sur leurs croyances sur la fréquence des événements. , ou combien de choses doivent se passer (et leur probabilité individuelle de le faire) pour que quelque chose soit vrai.
1
@Tim puisqu'il ne s'agit pas d'un article sur le Bayésianisme vs le Fréquentisme en tant que tel, je doute que j'ai donné l'un ou l'autre de leurs devoirs ... cela prendrait beaucoup de pages! Fondamentalement, nous nous basons tous sur des heuristiques mentales pour penser la probabilité, et ces heuristiques nous font penser à certains types d’événements pouvant se produire «de plus en plus» ou à «plus accessibles que d’autres dans un réseau de causalité».
1
@ Tim OK ... J'ai ajouté quelques langugae pour clarifier ma transition de ma (brève) discussion sur le bayésianisme à mon spiel principal.
4

Comme @amoeba l’a remarqué, nous avons une définition fréquentiste de la probabilité et des statistiques fréquentistes . Toutes les sources que j'ai vues jusqu'à présent disent que l'inférence fréquentiste est basée sur la définition fréquentiste de la probabilité, c'est-à-dire la comprendre en tant que limite proportionnelle étant donné le nombre aléatoire de tirages aléatoires (comme déjà noté par @fcop et @Aksakal citant Kolmogorov)

P(A)=limnnAn

Donc, fondamentalement, il existe une notion de population que nous pouvons échantillonner de manière répétée. La même idée est utilisée dans l'inférence fréquentiste. Je suis passé en revue quelques articles classiques, par exemple par Jerzy Neyman , pour suivre les fondements théoriques de la statistique fréquentiste. En 1937, Neyman écrivit

( ia ) Le statisticien s'intéresse à une population, , qui, pour une raison ou une autre, ne peut être étudiée de manière exhaustive. Il est uniquement possible de tirer un échantillon de cette population qui peut être étudié en détail et utilisé pour se faire une opinion sur les valeurs de certaines constantes décrivant les propriétés de la population . Par exemple, il peut être souhaitable de calculer approximativement la moyenne d’un certain caractère que possèdent les individus constituant la population , etc. ( ibπ π ππππ
) Le statisticien peut aussi s’occuper de certaines expériences qui, si elles sont répétées dans des conditions apparemment identiques, donnent des résultats variables. Ces expériences sont appelées expériences aléatoires [...]
Dans les deux cas décrits, le problème auquel le statisticien est confronté est le problème de l'estimation. Ce problème consiste à déterminer ce qui doit être effectué des opérations arithmétiques sur les données d' observation afin d'obtenir un résultat, d'être appelé une estimation, qui ne doute pas très différent de la valeur réelle du caractère numérique, que ce soit de la population , comme dans ( ia ), ou des expériences aléatoires, comme dans ( ib ). [...] En ( iaπ
) on parle de statisticien tirant un échantillon de la population étudiée.

Dans un autre article (Neyman, 1977), il note que les preuves fournies dans les données doivent être vérifiées en observant le caractère répété du phénomène étudié:

D'ordinaire, la «vérification» ou la «validation» d'un modèle supposé consiste à déduire certaines de ses conséquences fréquentistes dans des situations non étudiées auparavant de manière empirique, puis à effectuer des expériences appropriées pour vérifier si leurs résultats sont cohérents par rapport aux prédictions. De manière très générale, la première tentative de vérification est négative: les fréquences observées des différents résultats de l'expérience sont en désaccord avec le modèle. Cependant, dans certains cas de chance, il existe un accord raisonnable et on se sent satisfait d'avoir «compris» le phénomène, au moins de manière générale. Plus tard, invariablement, de nouvelles découvertes empiriques apparaissent, indiquant l'insuffisance du modèle initial et demandant son abandon ou sa modification. Et c'est l'histoire de la science!

et dans un autre article encore, Neyman et Pearson (1933) écrivent sur des échantillons aléatoires prélevés sur une population fixe

Dans la pratique statistique courante, lorsque les faits observés sont décrits comme des "échantillons" et que les hypothèses concernent les "populations" pour lesquelles les échantillons ont été prélevés, les caractères des échantillons ou, comme nous les appellerons, des critères, qui ont été prélevés. utilisés pour tester des hypothèses, semblent souvent être fixés par une bonne intuition.

Les statistiques Frequentist dans ce contexte formalisent le raisonnement scientifique lorsque les preuves sont rassemblées, puis de nouveaux échantillons sont prélevés pour vérifier les résultats initiaux et à mesure que nous accumulons des preuves supplémentaires, notre état des connaissances se cristallise. De nouveau, comme décrit par Neyman (1977), le processus comprend les étapes suivantes

( i ) Etablissement empirique de fréquences relatives à long terme apparemment stables (ou "fréquences" courtes) d'événements jugés intéressants, à mesure qu'ils se développent dans la nature.
( ii ) Deviner puis vérifier le «mécanisme du hasard», dont le fonctionnement répété produit les fréquences observées. C'est un problème de «théorie de probabilité fréquentiste». Parfois, cette étape est appelée «modèle de construction». Naturellement, le mécanisme du hasard supposé est hypothétique.
( iii ) En utilisant le mécanisme hypothétique du hasard du phénomène étudié pour déduire des règles d'ajustement de nos actions (ou «décisions») aux observations afin de garantir la «mesure» la plus élevée du «succès». [... des «règles d’ajustement de nos actions» est un problème de mathématiques, en particulier de statistiques mathématiques.

Les fréquentistes planifient leurs recherches en gardant à l'esprit le caractère aléatoire des données et l'idée de tirer plusieurs fois à partir d'une population fixe, ils conçoivent leurs méthodes en fonction de celles-ci et l'utilisent pour vérifier leurs résultats (Neyman et Pearson, 1933).

Sans espérer savoir si chaque hypothèse distincte est vraie ou fausse, nous pouvons rechercher des règles pour régir notre comportement à leur égard, en veillant à ce que, à long terme, nous n'ayons pas trop tort.

Ceci est lié au principe d'échantillonnage répété (Cox et Hinkley, 1974):

(ii) Principe fort de l'échantillonnage répété
Selon le principe fort de l'échantillonnage répété, les procédures statistiques doivent être évaluées par leur comportement dans des répétitions hypothétiques dans les mêmes conditions. Cela a deux facettes. Les mesures d'incertitude doivent être interprétées comme des fréquences hypothétiques dans les répétitions à long terme; les critères d'optimalité doivent être formulés en termes de comportement sensible dans des répétitions hypothétiques.
L'argument en ce sens est que cela assure une signification physique aux quantités que nous calculons et une relation étroite entre l'analyse que nous effectuons et le modèle sous-jacent considéré comme représentant le "véritable" état de choses.

(iii) Principe
faible de l'échantillonnage répété La version faible du principe de l'échantillonnage répété exige que nous ne suivions pas de procédures qui, pour certaines valeurs de paramètre possibles, donneraient, dans des répétitions hypothétiques, des conclusions trompeuses la plupart du temps.

En revanche, lorsque nous utilisons le maximum de vraisemblance, nous nous intéressons à l’échantillon que nous avons et, dans le cas bayésien, nous faisons l’inférence sur la base de l’ échantillon et de nos a priori et, à mesure que de nouvelles données apparaissent, nous pouvons effectuer une mise à jour bayésienne. Dans les deux cas, l'idée d'un échantillonnage répété n'est pas cruciale. Fréquentistes ne comptent que sur les données qu'ils ont (comme remarqué par @WBT ), mais en gardant à l' esprit qu'il est quelque chose au hasard et il doit être pensé comme une partie intégrante du processus d'échantillonnage de la population répétée (rappel, par exemple, comment la confiance les intervalles sont définis).

Dans les cas fréquentistes, l'idée d'un échantillonnage répété nous permet de quantifier l' incertitude (en statistique) et d'interpréter des événements réels en termes de probabilité .


En remarque, notez que ni Neyman (Lehmann, 1988), ni Pearson (Mayo, 1992) n’étaient pas des fréquentistes aussi purs que nous pouvions l’imaginer. Par exemple, Neyman (1977) propose d’utiliser l’évaluation empirique bayésienne et le maximum de vraisemblance. D'autre part (Mayo, 1992),

Pearson (1955) répond à Fisher (et ailleurs dans son travail) que, pour des contextes scientifiques, Pearson rejette à la fois la logique de faible probabilité d'erreur à long terme [...]

Il semble donc qu’il est difficile de trouver de purs fréquentistes, même parmi les pères fondateurs.


Neyman, J et Pearson, ES (1933). Sur le problème des tests les plus efficaces d’hypothèses statistiques. Transactions philosophiques de la Royal Society A: Mathématiques, sciences physiques et de l'ingénieur. 231 (694 à 706): 289 à 337.

Neyman, J. (1937). Esquisse d’une théorie de l’estimation statistique basée sur la théorie classique de la probabilité. Phil Trans. R. Soc. Lond. A. 236: 333-380.

Neyman, J. (1977). Probabilité fréquentiste et statistiques fréquentistes. Synthese, 36 (1), 97-131.

Mayo, DG (1992). Pearson a-t-il rejeté la philosophie de la statistique Neyman-Pearson? Synthese, 90 (2), 233-262.

Cox, DR et Hinkley, DV (1974). Statistiques théoriques. Chapman et Hall.

Lehmann, E. (1988). Jerzy Neyman, 1894 - 1981. Rapport technique n ° 155. Département de statistique, Université de Califomia.

Tim
la source
1
+1 (il y a déjà quelques jours). Merci d'avoir écrit ceci, il y a quelques bonnes citations ici et la liste de références est très utile. En retour, j’ai maintenant mis à jour ma réponse à plusieurs endroits, mais surtout à la fin, afin de clarifier la relation entre le fréquentisme P et S tel que je le vois. Je conviens certainement qu'historiquement, S-freq a été construit sur les idées P-freq, comme vous le dites ici, mais je ne pense pas qu'elles s’impliquent nécessairement.
Amibe dit Réintégrer Monica
4

Permettez-moi de donner une réponse qui relie cette question à une question d’importance actuelle et très pratique - la médecine de précision - tout en y répondant littéralement comme on l’a demandé: Qui sont les fréquentistes?

Les fréquentistes sont des gens qui disent des choses telles que [1] (c'est moi qui souligne):

Qu'est-ce qu'un risque de 10% d'événement au cours de la prochaine décennie signifie pour l'individu pour qui il a été généré? Contrairement à ce que l’on pense, ce niveau de risque n’est pas le risque personnel de cette personne car la probabilité n’a pas de sens dans un contexte individuel .

Ainsi, les fréquentistes interprètent la "probabilité" de telle manière qu'elle n'a aucune signification dans un contexte singulier comme celui d'un patient individuel . Mon commentaire PubMed Commons sur [1] examine les contorsions que ses auteurs fréquentistes doivent subir pour retrouver un semblant d'une notion de probabilité applicable aux soins d'un patient individuel. Observer comment et pourquoi ils le font peut s'avérer très instructif pour savoir qui est fréquentiste . En outre, l’ échange ultérieur , qui est en grande partie peu éclairant, dans la section Lettres du JAMA [2, 3] est instructif quant à l’importance de reconnaître explicitement les limites des notions fréquentistes de probabilité et de les attaquer directement.En tant que tel. (Je regrette que de nombreux utilisateurs de CV puissent trouver que [1] se cache derrière un paywall.)

L'excellent et très lisible livre [4] de L. Jonathan Cohen rendait hommage aux efforts de quiconque s'intéresse à la question du PO. Il est à noter que le livre de Cohen a été cité curieusement par [1] à propos de l'affirmation selon laquelle "la probabilité n'est pas significative dans un contexte individuel", bien que Cohen réfute clairement ce point de vue comme suit [4, p49]:

Un théoricien des fréquences ne peut pas non plus prétendre que toutes les probabilités importantes sont en fait générales et non singulières. Il semble souvent très important de pouvoir calculer la probabilité de succès de l'appendicectomie de votre propre enfant ...


1] Sniderman AD, D'Agostino Sr RB et Pencina MJ. «Le rôle des médecins à l'ère de l'analyse prédictive». JAMA 314, no. 1 (7 juillet 2015): 25-26. doi: 10.1001 / jama.2015.6177. PubMed

2] Van Calster B, Steyerberg EW et Harrell FH. "Prédiction RIsk pour les individus." JAMA 314, no. 17 (3 novembre 2015): 1875-1875. doi: 10.1001 / jama.2015.12215. Texte intégral

3] Sniderman AD, D'Agostino Sr RB et Pencina MJ. «Prédiction RIsk pour les individus, répondez.» JAMA 314, no. 17 (3 novembre 2015): 1875–76. doi: 10.1001 / jama.2015.12221. Texte intégral

4] Cohen, L. Jonathan. Une introduction à la philosophie de l'induction et de la probabilité. Oxford: New York: Clarendon Press; Oxford University Press, 1989. Lien vers les pages numérisées 46-53 et 81-83

David C. Norris
la source
1
2] est disponible en ligne: lirias.kuleuven.be/bitstream/123456789/513795/1/…
Tim
J'aime la citation "le risque peut être considéré comme le niveau subjectif auquel on" croit "ou est" prêt à parier "sur l'occurrence d'une maladie ou d'un événement 2, tout comme on parie sur de futurs événements ponctuels dans les jeux de sport ". Merci pour votre contribution et vos références.
Tim
2
Cela semble être une bonne réponse, mais je suis un peu confus. Je crois que les fréquentistes se préoccupent de procédures (expériences) qui pourraient, en théorie, être exécutées un nombre infini de fois. Cela ne signifie pas qu'ils ne peuvent pas prédire le prochain tirage au sort, mais simplement que leurs préoccupations / assurances se concentrent sur le processus. Certes, ils diraient que "les États-Unis remporteront la Coupe du monde cette année" n'est pas une chose sur laquelle ils pourraient parler, mais ne pourraient-ils pas dire quelque chose à propos de l'appendicectomie de votre enfant - c'est unique dans un sens, mais les appendicectomies sur les enfants ne sont pas.
Wayne
@ Tim, merci pour le lien, qui inclut à la fois [2] et [3]. J'ai mis à jour le texte de ma réponse en conséquence.
David C. Norris
2
@Wayne, je suggérerais que la réponse de Amoeba ci-dessus - avec sa distinction entre les procédures statistiques habituellement associées à la "vue de fréquence de la probabilité" et la vue de fréquence elle-même - réponde à votre commentaire. Les gens peuvent utiliser des procédures statistiques fréquentistes, tout en interprétant et en utilisant les probabilités résultantes de manière fiduciaire ou subjectiviste. Il suffit de regarder l'erreur perpétuelle d'interprétation des valeurs P comme «la probabilité que l'hypothèse nulle soit vraie» pour voir qu'il en est bien ainsi.
David C. Norris
3

"Frequentists vs. Bayesians" dans XKCD (sous CC-BY-NC 2.5 ), cliquez pour discuter:

'Détecteur!  Qu'est-ce que le statisticien bayésien dirait si je lui demandais si…  SERIEUSEMENT, VOTRE CERVEAU EST-IL TOMBÉ?  [roll] '... oui.'

L’idée générale de la philosophie fréquentiste illustrée ici est de croire qu’il est possible de tirer des conclusions sur la vraisemblance relative d’événements uniquement ("purement") fondées sur les données observées, sans "polluer" ce processus d’estimation avec des notions préconçues sur la manière dont les choses devraient ou non. ne devrait pas être. En présentant une estimation de probabilité, le fréquentiste ne prend pas en compte les croyances antérieures concernant la probabilité d'un événement lorsqu'il existe des observations permettant d'étayer le calcul de sa probabilité empirique. Le fréquentiste devrait tenir compte de ces informations de base lorsqu'il décide du seuil d'intervention ou de conclusion.

Comme Dikran Marsupial l’a écrit dans un commentaire concis ci - dessous : "L’argument important de la caricature (peut-être involontairement) est que la science est en effet plus complexe et que nous ne pouvons pas simplement appliquer le" rituel nul "sans penser aux connaissances antérieures."

Comme autre exemple, lorsque vous essayez de déterminer / déclarer quels sujets sont "tendance" sur Facebook, les fréquentistes se réjouiraient probablement de l’approche plus purement algorithmique du comptage vers laquelle Facebook se dirige , au lieu de l’ancien modèle selon lequel les employés rédigeaient cette liste en se basant en partie sur leurs réponses. leurs propres points de vue sur les sujets qui, à leur avis, "devraient" être les plus importants

WBT
la source
10
-1. J'adore XKCD mais, sans aucun commentaire, je crains que cela ne soit trompeur dans ce fil. Et il faut un peu de commentaires pour expliquer correctement quelles sont les questions pertinentes pour ce comic. Si vous fournissez une discussion appropriée, je supprimerai le vote par opposition.
amibe dit de réintégrer Monica
4
Il n’est pas vrai que l’approche fréquentiste n’ait pas les notions préconçues, elles sont codées dans le seuil de signification statistique. Selon ISTR, une bonne citation de Fisher à ce sujet dépend de la nature de l'expérience. C’est entièrement le problème du fréquentiste dans la caricature, ils n’ont simplement pas défini de valeur appropriée pour car ils n’ont pas pris en compte la "connaissance préalable" du problème (que la nova au soleil est extrêmement improbable) et ajusté le test en conséquence. L'utilisation de 95% tout le temps fait partie du "rituel nul" très critiqué. α
Dikran Marsupial
4
Le "rituel nul" est une mauvaise application des statistiques fréquentistes, mais ce n'est pas un problème de frequintisme en soi.
Dikran Marsupial
2
@Dikran Vos commentaires semblent (à tort) assimiler "Frequentist" à "utilisateur de NHST". C'est le genre de confusion qui m'inquiète.
whuber
3
@luchonacho FWIW il y a une discussion sur le dessin animé XKCD ici stats.stackexchange.com/questions/43339/… Le point précieux que le dessin animé fait (peut-être involontairement) faire est que la science est en effet plus complexe et nous ne pouvons pas appliquer le rituel "sans penser aux connaissances préalables.
Dikran Marsupial
3

(Une remarque qui ne concerne que de manière tangente la question et le site.)

La probabilité concerne le statut objectif des choses individuelles . Les choses ne peuvent pas avoir d'intention et elles reçoivent leur statut de l'univers. Avec une chose, un événement (lui donnant son statut) aura toujours eu lieu: l'événement est déjà là, même s'il n'a pas encore eu lieu - l'avenir passé d'une chose, également appelé "destin" ou éventualité.

De nouveau, avec probabilité, le fait de l'événement - qu'il soit ou non passé, importe peu - est déjà là [par opposition à la signification qui n'y est jamais ]; et en tant que tel, il est déjà inutile et superflu. Le fait devrait être écarté et son invalidation est ce que nous appelons "l'événement est probable". Tout fait sur une chose porte en lui-même son côté primordial peu convaincant, ou sa probabilité (même le fait réellement commis - nous le reconnaissons par une piqûre d'incrédulité). Nous sommes inévitablement "fatigués de choses" pré-psychiquement dans une certaine mesure. Il ne reste donc qu’à quantifier cette négation partielle de la facticité, s’il faut un nombre. Une façon de quantifier est de compter. Un autre est de peser . Un fréquentiste réalise ou imagine une série d'épreuves se déroulant devant lui qu'il retourne face à face pour voir si l'événement se produit réellement; il compte. Un bayésien considère une série de motifs psychologiques l'entraînant qu'il filtre; il les pèse comme des choses. Les deux hommes sont occupés par un jeu d'esprit charge / excuse. Fondamentalement, il n'y a pas beaucoup de différence entre eux.

La possibilité concerne les potentialités de moi dans le monde. La possibilité est toujours à moi (une chance, la pluie est mon problème pour choisir de prendre un parapluie ou de se mouiller) et ne concerne pas un objet (celui que je considère comme possible ou ayant la possibilité) mais le monde entier pour moi. La possibilité est toujours à 50/50 et toujours convaincante, car elle implique - que ce soit des appels pour avant ou après - ma décision de mon comportement. Les choses elles-mêmes n'ont aucune intention et donc aucune possibilité. Nous ne devrions pas confondre nos possibilités de ces choses avec nos propres probabilités de "déterminisme stochastique". La probabilité ne peut jamais être "subjective" au sens humain.


Un lecteur attentif peut ressentir dans la réponse une bosse masquée devant la réponse brillante de ce fil, où @amoeba dit qu'il pense "there are almost no frequentists of the [probability definition] kind (P-frequentists)". Cela pourrait être inversé: les définisseurs de probabilité bayésiens n'existent pas en tant que classe différente. Parce que, comme je l'ai admis, les bayésiens considèrent les chanks de la réalité de la même manière que les fréquentistes: une série de faits; seuls ces faits ne sont pas des expériences, plus tôt des souvenirs de "vérités" et d '"arguments". Mais de telles connaissances sont factuelles et ne peuvent être comptées ou pesées. La probabilité qu’elle érige n’est pas synthétisée comme subjective, c’est-à- dire anticipative ("bayésienne") à moins que l’ attente humaine(possibilité) entre dans la scène pour se mêler. Et @amoeba le laisse entrer anxieusement quand il s'imagine que "la pièce va s'user et le Soleil va devenir une supernova".

tnphns
la source
0

Oh, j'ai été fréquentiste pendant de nombreuses années,
et j'ai passé tout mon temps à lire les données à l'oreille,
mais maintenant je reviens avec Bayes en grande boutique,
et je ne jouerai plus jamais du fréquentiste.

Car c’est non, jamais, non, jamais, non plus,
vais-je jouer le fréquentiste, non jamais, pas plus!

Je suis allé dans un laboratoire où j'avais l'habitude de consulter.
Ils m'ont donné des données, ils ont dit «ça, ça pour nous»,
j'ai dit «pas du tout, José» avec un sourire, des
valeurs de P et, évidemment, ça ne se réconcilie pas!

Refrain

J'ai dit que c’était à vous que nous devions faire la lumière,
et que les yeux du chercheur s’ouvraient grand, ravi.
Il a dit: "Mes vues précédentes sont aussi bonnes que les autres.
Et il est certain que le facteur Bayes est ce qui fonctionnera le mieux!"

Refrain

Je vais retourner chez mes professeurs, avouer ce que j'ai fait,
et leur demander de pardonner à leur fils prodigue.
Mais quand ils m'ont pardonné, comme souvent auparavant,
je ne jouerai plus jamais du fréquentiste!

Refrain

Et c'est non, jamais jamais, non plus jamais,
vais-je jouer le fréquentiste, non jamais, pas plus!

Source: AE Raftery, dans The Bayesian Songbook, édité par BP Carlin, à l' adresse http://www.biostat.umn.edu/ . Chanté sur la chanson folklorique traditionnelle de «The Wild Rover». Cité dans Statistiques mathématiques de l'Université ouverte M347, Unité 9.

soupdragon
la source
2
Cela devrait être plutôt posté ici: stats.stackexchange.com/questions/1337/statistics-jokes
Tim
D'accord avec @ Tim et -1 parce que je ne vois pas en quoi cela ajoute à la discussion actuelle.
amibe dit de réintégrer Monica