Comment un a priori uniforme conduit-il aux mêmes estimations du maximum de vraisemblance et du mode de postérieur?

J'étudie différentes méthodes d'estimation ponctuelle et je lis que lors de l'utilisation d'estimations MAP vs ML, lorsque nous utilisons un "a priori uniforme", les estimations sont identiques. Quelqu'un peut-il expliquer ce qu'est un a priori «uniforme» et donner des exemples (simples) de cas où les estimateurs MAP et ML seraient identiques?

machine-learning probability bayesian estimation maximum-likelihood user1516425
la source

@AndreSilva MAP = Maximum a posteriori - le mode du postérieur

Glen_b -Reinstate Monica

Jetez un coup d' oeil ici: math.stackexchange.com/questions/1327752/...

Royi

Réponses:

Il s'agit d'une distribution uniforme (continue ou discrète).

Voir également

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Si vous utilisez un préalable uniforme sur un ensemble qui contient le MLE, alors MAP = MLE toujours. La raison en est que sous cette structure antérieure, la distribution postérieure et la probabilité sont proportionnelles.

MAPMLE
la source

C'est une bonne réponse à mon avis. Il pourrait être utile d'ajouter que la raison pour laquelle la distribution postérieure et la probabilité sont proportionnelles est que la distribution postérieure est elle-même proportionnelle au produit de la probabilité et de l'a priori. Lorsque l'a prior prend la même valeur partout, comme dans la distribution uniforme, alors la distribution postérieure est simplement proportionnelle à la vraisemblance.

TooTone

@TooTone Je voudrais également ajouter un point sur l'impopilité.

Stéphane Laurent

Un prior uniforme peut être considéré comme donnant un ensemble d'utilisateurs ou une probabilité égale pour chaque classe que vous essayez de prédire. Par exemple, si nous avons un problème à deux classes et que la distribution des exemples positifs est de 10% (c.-à-d. Une probabilité antérieure de 0,1), nous pouvons fixer la priorité uniforme pour les cas positifs à 0,5 afin de surmonter l'effet de déséquilibre de l'original Distribution.

soufanom

Sur remarque, sous un a priori uniforme, le MAP et le ML ne se heurtent que si l'a priori uniforme est sur toutes les valeurs valides du paramètre. À savoir si le paramètre est continu et que l'a priori n'est uniforme qu'à [0, 1], il ne tiendra pas.

Royi

@Drazick: bonne remarque. Elle est en fait "pire" que cela, à savoir que la (valeur du) MAP dépend du choix de la mesure dominante, comme expliqué dans cet article de Druihlet et Marin .

Xi'an

$P(D|\theta)P(\theta)$ $P(\theta)$

gg1782191
la source

(-1) L'estimation du maximum de vraisemblance (d'un paramètre) est une estimation d'un paramètre, et non «l'estimation de l'occurrence d'un événement donné». Le reste de la réponse est également quelque peu confus / déroutant, par exemple, on ne sait pas à quoi se réfèrent la «moyenne et la variance».

Juho Kokkala

@Tim, pouvez-vous fournir une preuve (ou un plan) qui montre The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Merci

curious_dan

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$

p (θ) \propto 1

$p(\theta) \propto 1$

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$

merci, @Tim --- Je peux voir pourquoi cela est vrai pour la valeur maximale / attendue, mais il n'est pas clair pour moi que la variance sera la même

curious_dan

@curious_dan variance de quoi? Cela s'applique à tout paramètre que vous estimez.

Tim