J'entends souvent dire que les statistiques bayésiennes peuvent être très subjectives. L'argument principal étant que l'inférence dépend du choix d'un a priori (même si l'on peut utiliser le principe d'indifférence ou d'entropie maximale pour choisir un a priori). En comparaison, selon la revendication, les statistiques fréquentistes sont en général plus objectives. Quelle est la part de vérité dans cette déclaration?
De plus, cela me fait me demander:
- Quels sont les éléments concrets des statistiques fréquentistes (le cas échéant) qui peuvent être particulièrement subjectifs et qui ne sont pas présents ou qui sont moins importants dans les statistiques bayésiennes?
- La subjectivité est-elle plus répandue en bayésien que dans les statistiques fréquentistes?
bayesian
interpretation
frequentist
philosophical
Amelio Vazquez-Reina
la source
la source
Réponses:
Moi aussi. Mais remarquez qu'il y a une grande ambiguïté à appeler quelque chose de subjectif.
Subjectivité (les deux sens)
Subjective peut signifier (au moins) l'un des
Le bayésianisme est subjectif dans le second sens car il offre toujours un moyen de mettre à jour les croyances représentées par les distributions de probabilité en conditionnant l'information. (Notez que si ces croyances sont des croyances que certains sujets ont réellement ou simplement des croyances qu'un sujet pourrait avoir, cela n'a pas d'importance pour décider si elles sont «subjectives».)
En fait, si un prieur représente votre croyance personnelle à propos de quelque chose, vous ne l'avez certainement pas choisi plus que vous avez choisi la plupart de vos croyances. Et si elle représente les croyances de quelqu'un, alors elle peut être une représentation plus ou moins précise de ces croyances, donc ironiquement il y aura un fait plutôt «objectif» sur la façon dont elle les représente.
On pourrait, bien que cela n'ait pas tendance à se généraliser très facilement aux domaines continus. De plus, il est sans doute impossible d'être plat ou «indifférent» dans toutes les paramétrisations à la fois (bien que je ne sois jamais sûr de pourquoi vous voudriez l'être).
Alors, comment pourrions-nous évaluer cette affirmation?
Je suggère que dans le deuxième second sens du subjectif: c'est surtout correct. Et au premier sens du subjectif: c'est probablement faux.
Le fréquentisme comme subjectif (deuxième sens)
Certains détails historiques sont utiles pour cartographier les problèmes
Pour Neyman et Pearson, il n'y a qu'un comportement inductif et non une inférence inductive et toutes les évaluations statistiques fonctionnent avec des propriétés d'échantillonnage à long terme des estimateurs. (D'où l'analyse alpha et la puissance, mais pas les valeurs p). C'est assez peu subjectif dans les deux sens.
En effet, il est possible, et je pense tout à fait raisonnable, d'affirmer dans ce sens que le fréquentisme n'est en fait pas du tout un cadre d'inférence, mais plutôt un ensemble de critères d'évaluation pour toutes les procédures d'inférence possibles qui mettent l'accent sur leur comportement dans l'application répétée. Des exemples simples seraient la cohérence, l'impartialité, etc. Cela rend évidemment non subjectif au sens 2. Cependant, cela risque également d'être subjectif au sens 1 lorsque nous devons décider quoi faire lorsque ces critères ne s'appliquent pas (par exemple, lorsqu'il n'y en a pas). un estimateur non biaisé) ou lorsqu'ils s'appliquent mais se contredisent.
Fisher a proposé un fréquentisme moins peu subjectif qui est intéressant. Pour Fisher, il existe une inférence inductive, en ce sens qu'un sujet, le scientifique, fait des inférences sur la base d'une analyse de données, effectuée par le statisticien. (D'où les valeurs p mais pas l'analyse alpha et la puissance). Cependant, les décisions sur la façon de se comporter, de poursuivre la recherche, etc. sont prises par le scientifique sur la base de sa compréhension de la théorie des domaines, et non par le statisticien appliquant le paradigme de l'inférence. En raison de cette division du travail des pêcheurs, à la fois la subjectivité (sens 2) et le sujet individuel (sens 1) se situent du côté de la science, pas du côté statistique.
Juridiquement parlant, le Frequentisme de Fisher est subjectif. C'est juste que le sujet subjectif n'est pas le statisticien.
Il existe différentes synthèses de celles-ci, à la fois le mélange à peine cohérent de ces deux que vous trouverez dans les manuels de statistiques appliquées et des versions plus nuancées, par exemple les «Statistiques d'erreur» poussées par Deborah Mayo. Ce dernier est assez peu subjectif au sens 2, mais très subjectif au sens 1, car le chercheur doit utiliser un jugement scientifique - style Fisher - pour déterminer quelles probabilités d'erreur sont importantes et doivent être testées.
Le fréquentisme comme subjectif (premier sens)
Le fréquentisme est-il donc moins subjectif au premier sens? Ça dépend. Toute procédure d'inférence peut être criblée d'idiosyncracies telles qu'elles sont réellement appliquées. Alors peut-être qu'il est plus utile de se demander si le fréquentisme encourage une approche moins subjective (premier sens)? J'en doute - je pense que l'application consciente des méthodes subjectives (deuxième sens) conduit à des résultats moins subjectifs (premier sens), mais elle peut être argumentée dans les deux sens.
Supposons un instant que la subjectivité (premier sens) se faufile dans une analyse via des «choix». Le bayésianisme semble impliquer davantage de «choix». Dans le cas le plus simple, les choix correspondent à: un ensemble d'hypothèses potentiellement idiosyncratiques pour le Frequentist (la fonction de vraisemblance ou équivalent) et deux ensembles pour le bayésien (la vraisemblance et un a priori sur les inconnues).
Cependant, les Bayésiens savent qu'ils sont subjectifs (dans le deuxième sens) à propos de tous ces choix, donc ils sont susceptibles d'être plus conscients des implications qui devraient conduire à moins de subjectivité (dans le premier sens).
En revanche, si l'on recherche un test dans un grand livre de tests, on pourrait avoir le sentiment que le résultat est moins subjectif (premier sens), mais c'est sans doute le résultat de la substitution de la compréhension du problème par un autre sujet. . Il n'est pas clair que l'on soit devenu moins subjectif de cette façon, mais cela pourrait se sentir de cette façon. Je pense que la plupart conviendront que cela ne sert à rien.
la source
La subjectivité dans les approches fréquentistes est endémique dans l'application de l'inférence. Lorsque vous testez une hypothèse, vous définissez un niveau de confiance, par exemple 95% ou 99%. D'où est-ce que ça vient? Cela ne vient de nulle part, mais de vos propres préférences ou d'une pratique courante dans votre domaine.
Les antécédents bayésiens ont très peu d'importance sur les grands ensembles de données, car lorsque vous les mettez à jour avec les données, la distribution postérieure s'éloigne de vos antérieurs à mesure que de plus en plus de données sont traitées.
Cela dit, les bayésiens partent d'une définition subjective des probabilités, des croyances, etc. Cela les différencie des fréquentistes, qui pensent en termes de probabilités objectives. Dans les petits ensembles de données, cela fait une différence
MISE À JOUR: J'espère que vous détestez la philosophie autant que moi, mais ils ont de temps en temps une pensée intéressante, pensez au subjectivisme . Comment savoir que je suis vraiment sur SE? Et si c'était mon rêve? etc. :)
la source