Si vous utilisez une estimation ponctuelle qui maximise

Si quelqu'un a dit

"Cette méthode utilise le MLE l'estimation ponctuelle pour le paramètre qui maximise , donc c'est fréquentiste; et en plus ce n'est pas bayésien."$\mathrm{P}(x|\theta)$

accepteriez-vous?

• Mise à jour sur le fond : j'ai récemment lu un article qui prétend être fréquentiste. Je ne suis pas d'accord avec leur affirmation, au mieux, je pense que c'est ambigu. Le document ne mentionne explicitement ni le MLE (ni le MAP , d'ailleurs). Ils prennent simplement une estimation ponctuelle, et ils procèdent simplement comme si cette estimation ponctuelle était vraie. Ils ne pasfaire une analyse de la distribution d'échantillonnage de cet estimateur, ou quelque chose comme ça; le modèle est assez complexe et une telle analyse n'est donc probablement pas possible. Ils n'utilisent le mot «postérieur» à aucun moment non plus. Ils prennent simplement cette estimation ponctuelle à leur valeur nominale et passent à leur principal sujet d'intérêt - déduire les données manquantes. Je ne pense pas qu'il y ait quoi que ce soit dans leur approche qui suggère quelle est leur philosophie. Ils ont peut-être voulu être fréquentistes (car ils se sentent obligés de porter leur philosophie sur leur manche), mais leur approche réelle est assez simple / pratique / paresseuse / ambiguë. Je suis enclin à dire maintenant que la recherche n'a pas vraiment de philosophie derrière elle; je pense plutôt que leur attitude était plus pragmatique ou pratique:

  "J'ai observé des données, , et je souhaite estimer certaines données manquantes, . Il y a un paramètre qui contrôle la relation entre et . Je ne me soucie pas vraiment de sauf comme un moyen pour une fin . Si j'ai une estimation pour il sera plus facile de prédire partir de . Je choisirai une estimation ponctuelle de parce que c'est pratique, en particulier je choisirai le qui maximise . "z θ z x θ θ z x θ θ P ( x | θ $x$$z$$\theta$$z$$x$$\theta$$\theta$$z$$x$$\theta$$\hat{\theta}$$\mathrm{P}(x|\theta)$

Dans les méthodes bayésiennes, les rôles des données et des paramètres sont en quelque sorte inversés. En particulier, nous conditionnons maintenant les données observées et procédons à des inférences sur la valeur du paramètre. Cela nécessite un préalable.

Jusqu'ici tout va bien, mais où se situe le MLE (Maximum Lik vraisemblable Estimation) dans tout cela? J'ai l'impression que beaucoup de gens pensent qu'il est fréquentiste (ou plus précisément, qu'il n'est pas bayésien). Mais je pense que c'est bayésien car il s'agit de prendre les données observées puis de trouver le paramètre qui maximise . Le MLE utilise implicitement un a priori uniforme et conditionne les données et maximise . Est-il juste de dire que le MLE a l'air à la fois fréquentiste et bayésien? Ou tout outil simple doit-il appartenir exactement à l'une de ces deux catégories?P ( p a r a m e t e r | d a t a $P(data | parameter)$$P(parameter | data)$

Le MLE est cohérent mais je pense que la cohérence peut être présentée comme une idée bayésienne. Étant donné des échantillons arbitrairement grands, l'estimation converge vers la bonne réponse. L'énoncé «l'estimation sera égale à la valeur réelle» est vrai pour toutes les valeurs du paramètre. La chose intéressante est que cette affirmation est également vraie si vous conditionnez les données observées, ce qui en fait bayésien. Ce côté intéressant vaut pour le MLE, mais pas pour un estimateur sans biais.

C'est pourquoi je pense que le MLE est la «plus bayésienne» des méthodes que l'on pourrait qualifier de fréquentiste.

Quoi qu'il en soit, la plupart des propriétés fréquentistes (telles que l'impartialité) s'appliquent dans tous les cas, y compris les tailles d'échantillon finies. Le fait que la cohérence ne soit valable que dans le scénario impossible (échantillon infini dans une expérience) suggère que la cohérence n'est pas une propriété aussi utile.

Étant donné un échantillon réaliste (c.-à-d. Fini), existe-t-il une propriété Frequentist qui vaut pour le MLE? Sinon, le MLE n'est pas vraiment Frequentist.

Ou tout outil simple doit-il appartenir exactement à l'une de ces deux catégories?

Non. Des outils simples (et pas si simples) peuvent être étudiés de nombreux points de vue différents. La fonction de vraisemblance est en soi une pierre angulaire des statistiques bayésiennes et fréquentistes, et peut être étudiée des deux points de vue! Si vous le souhaitez, vous pouvez étudier le MLE comme une solution approximative de Bayes, ou vous pouvez étudier ses propriétés avec la théorie asymptotique, de manière fréquentiste.

Lorsque vous effectuez une estimation de vraisemblance maximale, vous tenez compte de la valeur de l'estimation et des propriétés d'échantillonnage de l'estimateur afin d'établir l'incertitude de votre estimation exprimée sous forme d'intervalle de confiance. Je pense que cela est important en ce qui concerne votre question, car un intervalle de confiance dépendra en général de points d'échantillonnage qui n'ont pas été observés, ce qui est considéré par certains comme une propriété essentiellement non bayésienne.

PS Cela est lié au fait plus général que l'estimation du maximum de vraisemblance (point + intervalle) ne satisfait pas au principe de vraisemblance , contrairement à une analyse bayésienne complète (« style sauvage »).

La fonction de vraisemblance est une fonction qui implique les données et le ou les paramètres inconnus. Elle peut être considérée comme la densité de probabilité des données observées, compte tenu de la ou des valeurs du ou des paramètres. Les paramètres sont fixes. Donc, en soi, la probabilité est une notion fréquentiste. Maximiser la probabilité consiste simplement à trouver la ou les valeurs spécifiques du ou des paramètres qui font que la probabilité prend sa valeur maximale. L'estimation du maximum de vraisemblance est donc une méthode fréquentiste basée uniquement sur les données et la forme du modèle censé les générer. L'estimation bayésienne n'intervient que lorsqu'une distribution préalable est placée sur le (s) paramètre (s) et la formule de Bayes est utilisée pour obtenir une distribution aposteriori pour le (s) paramètre (s) en combinant l'a priori avec la vraisemblance.

En supposant que par "Bayésien" vous vous référez à des Bayes subjectifs (alias Bayes épistémiques, De-Finetti Bayes) et non au sens Bayes empirique actuel - c'est loin d'être trivial. D'une part, vous inférez uniquement sur la base de vos données. Il n'y a aucune croyance subjective à portée de main. Cela semble assez fréquentiste ... Mais la critique, exprimée même à Fisher lui-même (un bayésien strict non (subjectif)), est que dans le choix de la distribution d'échantillonnage de la subjectivité des données a rampé. Un paramètre n'est défini que compte tenu de notre croyances du processus de génération de données.

En conclusion - je crois que le MLE est généralement considéré comme un concept fréquentiste, bien qu'il s'agisse simplement de la façon dont vous définissez «fréquentiste» et «bayésien».

(répondant à sa propre question)

Un estimateur est une fonction qui prend des données et produit un nombre (ou une plage de nombres). Un estimateur, en soi, n'est pas vraiment «bayésien» ou «fréquentiste» - vous pouvez le considérer comme une boîte noire où les chiffres entrent et sortent. Vous pouvez présenter le même estimateur à un habitué et à un bayésien et ils auront différentes choses à dire sur l'estimateur.

(Je ne suis pas satisfait de ma distinction simpliste entre fréquentiste et bayésien - il y a d'autres questions à considérer. Mais pour simplifier, supposons qu'il ne s'agit que de deux camps philosophiques bien définis.)

Vous ne pouvez pas dire si un chercheur est fréquentiste de bayésien, juste par quel estimateur il choisit. L'important est d'écouter quelles analyses ils font sur l'estimateur et quelles raisons ils donnent pour choisir cet estimateur.

$\theta$$\mathrm{P}(\mathbf{x}|\theta)$

Lorsque le même logiciel est présenté à un bayésien, le bayésien pourrait bien être satisfait de la plupart des analyses du fréquentiste. Oui, toutes choses étant égales par ailleurs, le biais n'est pas bon et la cohérence est bonne. Mais le bayésien sera plus intéressé par d'autres choses. Le bayésien voudra voir si l'estimateur prend la forme d'une fonction de distribution postérieure; et si oui, quel prieur a été utilisé? Si l'estimateur est basé sur un postérieur, le bayésien se demandera si le prieur est bon. S'ils sont satisfaits de l'a priori, et si l'estimateur rapporte le mode du postérieur (par opposition à, disons, la moyenne du postérieur), alors ils sont heureux d'appliquer cette interprétation à l'estimation: "Cette estimation est le point estimation qui a le plus de chance d'être correcte. "

J'entends souvent dire que les fréquentistes et les bayésiens "interprètent" les choses différemment, même lorsque les nombres impliqués sont les mêmes. Cela peut être un peu déroutant, et je ne pense pas que ce soit vraiment vrai. Leurs interprétations ne sont pas en conflit les unes avec les autres; ils font simplement des déclarations sur différents aspects du système. Mettons de côté les estimations ponctuelles pour l'instant et considérons plutôt les intervalles. En particulier, il existe des intervalles de confiance fréquentistes et des intervalles crédibles bayésiens . Ils donneront généralement des réponses différentes. Mais dans certains modèles, avec certains prieurs, les deux types d'intervalles donneront la même réponse numérique.

Lorsque les intervalles sont les mêmes, comment pouvons-nous les interpréter différemment? Un fréquentiste dira d'un estimateur d'intervalle:

Avant de voir les données ou l'intervalle correspondant, je peux dire qu'il y a au moins une probabilité de 95% que le vrai paramètre soit contenu dans l'intervalle.

alors qu'un bayésien dira d'un estimateur d'intervalle:

Après avoir vu les données ou l'intervalle correspondant, je peux dire qu'il y a au moins une probabilité de 95% que le vrai paramètre soit contenu dans l'intervalle.

Ces deux déclarations sont identiques, à l'exception des mots «avant» et «après». Le Bayésien comprendra et approuvera l'ancienne déclaration et reconnaîtra également que sa vérité est indépendante de tout précédent, ce qui la rendra «plus forte». Mais parlant moi-même en tant que bayésien, je crains que la première déclaration ne soit pas très utile . Le fréquentiste n'aimera pas cette dernière déclaration, mais je ne la comprends pas assez bien pour donner une description juste de ses objections.

Après avoir vu les données, le fréquentiste sera-t-il toujours optimiste que la vraie valeur est contenue dans l'intervalle? Peut être pas. C'est un peu contre-intuitif mais c'est important pour vraiment comprendre les intervalles de confiance et d'autres concepts basés sur la distribution d'échantillonnage. Vous pourriez supposer que le fréquentiste dirait toujours "Compte tenu des données, je pense toujours qu'il y a une probabilité de 95% que la vraie valeur soit dans cet intervalle". Un fréquentateur ne se poserait pas seulement la question de savoir si cette affirmation est vraie, il se demanderait également s'il est significatif d'attribuer des probabilités de cette manière. Si vous avez d'autres questions à ce sujet, ne me posez pas cette question, c'est trop pour moi!

Le Bayésien est heureux de faire cette déclaration: "En fonction des données que je viens de voir, la probabilité est de 95% que la vraie valeur se situe dans cette plage."

Je dois admettre que je suis un peu confus sur un dernier point. Je comprends et suis d'accord avec la déclaration faite par le fréquentateur avant que les données ne soient vues. Je comprends et suis d'accord avec la déclaration faite par le Bayésien après avoir vu les données. Cependant, je ne sais pas trop ce que le fréquentateur dira après que les données seront vues; leurs croyances sur le monde auront-elles changé? Je ne suis pas en mesure de comprendre la philosophie fréquentiste ici.

$P(x|\theta)$