Avec un a priori plat, les estimateurs ML (fréquentiste - maximum de vraisemblance) et MAP (bayésien - maximum a posteriori) coïncident.
Plus généralement, cependant, je parle d'estimateurs ponctuels dérivés comme optimiseurs d'une fonction de perte. C'est à dire
(Bayésien) x (
où est l'opérateur d'espérance, L est la fonction de perte (minimisé à zéro), x ( y ) est l'estimateur, étant donné que les données y , du paramètre x et les variables aléatoires sont désignées par des lettres majuscules.
Quelqu'un connaît-il des conditions sur , le pdf de x et y , la linéarité et / ou la non-biais imposées, où les estimateurs coïncideront?
Éditer
Comme indiqué dans les commentaires, une exigence d'impartialité telle que l'impartialité est nécessaire pour donner un sens au problème fréquentiste. Les prieurs plats peuvent également être un point commun.
Outre les discussions générales fournies par certaines des réponses, la question est vraiment aussi de fournir des exemples réels . Je pense qu'un important vient de la régression linéaire:
- les est le (BLEU théorème de Gauss-Markov ), à savoir qu'elle minimise la MSE entre fr'equentiste estimateurs linéaire sans biais.
- si est gaussienne et l'avant est plat, x = ( D ' D ) - 1 D ' y sont les moyennes « postérieur » minimise la perte moyenne de Bayes pour toute fonction convexe de perte.
Ici, semble être connu comme matrice de données / conception dans le jargon fréquentiste / bayésien, respectivement.
Réponses:
La question est intéressante mais quelque peu désespérée à moins que la notion d' estimateur fréquentiste ne soit précisée. Il est certainement pas celui défini dans la question x ( depuis la réponse à la minimisation est x ( y ) = x pour tous y est comme en pointe dansla réponse de Programmer2134. Le problème fondamental est qu'il n'y a pas d'estimateur fréquentiste unique pour un problème d'estimation, sans introduire de contraintes ou de classes d'estimateurs supplémentaires. Sans cela, tous les estimateurs de Bayes sont également des estimateurs fréquentistes.
Comme indiqué dans les commentaires, l' impartialité peut être une telle contrainte, auquel cas les estimateurs de Bayes sont exclus. Mais cette notion fréquentiste se heurte à d'autres notions fréquentistes telles que
De plus, l'impartialité ne s'applique qu'à une classe restreinte de problèmes d'estimation. J'entends par là que la classe des estimateurs sans biais d'un certain paramètre ou d'une transformée h ( θ ) est la plupart du temps vide.θ h(θ)
En parlant d'admissibilité, autre notion fréquentiste, il existe des paramètres pour lesquels les seuls estimateurs admissibles sont les estimateurs de Bayes et inversement. Ce type de paramètres se rapporte aux théorèmes de classe complets établis par Abraham Wald dans les années 1950. (Il en va de même pour les meilleurs estimateurs invariants qui sont des Bayes sous la mesure de Haar droite appropriée.)
la source
En général, les estimateurs fréquentiste et bayésien ne coïncident pas, sauf si vous utilisez un aplat dégénéré antérieur. La raison principale en est la suivante: les estimateurs fréquentistes s'efforcent souvent d'être non biaisés. Par exemple, les fréquentistes essaient souvent de trouver l'estimateur sans biais de variance minimale ( http://en.wikipedia.org/wiki/Minimum-variance_unbias_estimator ). Parallèlement, tous les estimateurs bayésiens non dégénérés sont biaisés (au sens fréquentiste du biais). Voir, par exemple, http://www.stat.washington.edu/~hoff/courses/581/LectureNotes/bayes.pdf , Theorem 5.
Pour résumer: La plupart des estimateurs fréquentistes populaires s'efforcent d'être non biaisés, tandis que tous les estimateurs bayésiens sont biaisés. Ainsi, les estimateurs bayésiens et fréquentistes coïncident rarement.
la source
Ce n'est pas une réponse complète, mais alors que ces deux regard de » très similaires, ils sont fondamentalement différents de manière: les bayésienne on minimise l'expression par rapport à une valeur unique (qui est, la valeur de x ( y ) , selon y ).argmin x^(y) y
Mais le Frequentist doit minimiser la fonction de perte par rapport à une valeur unique pour chaque valeur que pourrait prendre, sans connaître x . En effet , le minimum de la fonction f ( x , x ) = E ( L ( x - x ( Y ) ) | x ) dépend de x , même si nous devons réduire au minimum sans le savoir x . (notez que si nous simplement minimiser f ( x , x )x x f(x,x^)=E(L(x−x^(Y))|x) x x f(x,x^) WRTx^ x^=x
la source
Il n'y a peut-être pas de réponse à cette question.
Une alternative pourrait être de demander des méthodes pour déterminer efficacement les deux estimations pour tout problème en cours. Les méthodes bayésiennes sont assez proches de cet idéal. Cependant, même si les méthodes minimax peuvent être utilisées pour déterminer l'estimation ponctuelle fréquentiste, en général, l'application de la méthode minimax reste difficile et n'a pas tendance à être utilisée dans la pratique.
Une autre alternative serait de reformuler la question des conditions dans lesquelles les estimateurs bayésiens et fréquentistes fournissent des résultats «cohérents» et d'essayer d'identifier des méthodes pour calculer efficacement ces estimateurs. Ici, «cohérent» signifie que les estimateurs bayésiens et fréquentistes sont dérivés d'une théorie commune et que le même critère d'optimalité est utilisé pour les deux estimateurs. Ceci est très différent d'essayer de s'opposer aux statistiques bayésiennes et fréquentistes, et peut rendre la question ci-dessus superflue. Une approche possible consiste à viser, à la fois pour le cas fréquentiste et le cas bayésien, des ensembles de décisions qui minimisent la perte pour une taille donnée, c'est-à-dire comme proposé par
Schafer, Chad M et Philip B Stark. "Construire des régions de confiance de taille optimale attendue." Journal de l'American Statistical Association 104.487 (2009): 1080-1089.
Il s'avère que cela est possible - à la fois pour le cas fréquentiste et le cas bayésien - en incluant par préférence des observations et des paramètres avec de grandes informations mutuelles ponctuelles. Les ensembles de décisions ne seront pas identiques, car la question posée est différente:
Cependant, les ensembles se chevauchent largement et deviennent identiques dans certaines situations, si des prieurs plats sont utilisés. L'idée est discutée plus en détail avec une mise en œuvre efficace dans
Bartels, Christian (2015): Confiance générique et cohérente et régions crédibles. figshare. https://doi.org/10.6084/m9.figshare.1528163
Pour les prieurs informatifs, les ensembles de décisions s'écartent davantage (comme cela est communément connu et a été souligné dans la question et les réponses ci-dessus). Cependant dans le cadre cohérent, on obtient des tests fréquentistes, qui garantissent la couverture fréquentiste souhaitée, mais tiennent compte des connaissances préalables.
Bartels, Christian (2017): Utilisation des connaissances antérieures dans les tests fréquentistes. figshare. https://doi.org/10.6084/m9.figshare.4819597
Les méthodes proposées manquent encore d'une mise en œuvre efficace de la marginalisation.
la source