Que signifie «la probabilité n'est définie que jusqu'à une constante multiplicative de proportionnalité» dans la pratique?

19

Je lis un article où les auteurs mènent d'une discussion sur l'estimation du maximum de vraisemblance au théorème de Bayes, apparemment comme une introduction pour les débutants.

À titre d'exemple de vraisemblance, ils commencent par une distribution binomiale:

p(x|n,θ)=(nx)θx(1θ)nx

puis connectez les deux côtés

(θ|x,n)=xln(θ)+(nx)ln(1θ)

avec la justification que:

"Parce que la vraisemblance n'est définie que jusqu'à une constante multiplicative de proportionnalité (ou une constante additive pour la log-vraisemblance), nous pouvons redimensionner ... en supprimant le coefficient binomial et en écrivant la log-vraisemblance à la place de la vraisemblance"

Le calcul est logique, mais je ne comprends pas ce que l'on entend par "la probabilité n'est définie que jusqu'à une constante multiplicative de proportionnalité" et comment cela permet de supprimer le coefficient binomial et de passer de p(x|n,θ) à (θ|x,n) .

Une terminologie similaire est apparue dans d'autres questions ( ici et ici ), mais on ne sait toujours pas quelle est, en pratique, la probabilité d'être définie ou de porter l'information à un moyen multiplicatif constant. Est-il possible d'expliquer cela en termes simples?

kmm
la source

Réponses:

18

Le fait est que parfois, des modèles différents (pour les mêmes données) peuvent conduire à des fonctions de vraisemblance qui diffèrent par une constante multiplicative, mais le contenu de l'information doit clairement être le même. Un exemple:

Nous modélisons expériences de Bernoulli indépendantes, conduisant à des données , chacune avec une distribution de Bernoulli avec le paramètre (probabilité) . Cela conduit à la fonction de vraisemblance Ou nous pouvons résumer les données par la variable binomiale distribuée , qui a une distribution binomiale, conduisant à la fonction de vraisemblance qui, en fonction du paramètre inconnu , est proportionnelle à l'ancienne fonction de vraisemblance . Les deux fonctions de vraisemblance contiennent clairement les mêmes informations et devraient conduire aux mêmes inférences!nX1,,Xnp

je=1npXje(1-p)1-Xje
Oui=X1+X2++Xn
(ny)py(1-p)n-y
p

Et en effet, par définition, ils sont considérés comme la même fonction de vraisemblance.

Autre point de vue: observez que lorsque les fonctions de vraisemblance sont utilisées dans le théorème de Bayes, comme cela est nécessaire pour l'analyse bayésienne, de telles constantes multiplicatives s'annulent tout simplement! ils sont donc manifestement sans rapport avec l'inférence bayésienne. De même, il s'annulera lors du calcul des rapports de vraisemblance, tels qu'ils sont utilisés dans les tests d'hypothèse optimaux (lemme de Neyman-Pearson.) Et il n'aura aucune influence sur la valeur des estimateurs du maximum de vraisemblance. Nous pouvons donc voir que dans une grande partie de l'inférence fréquentiste, il ne peut pas jouer un rôle.

Nous pouvons discuter d'un point de vue encore différent. La fonction de probabilité de Bernoulli (ci-après nous utilisons le terme "densité") ci-dessus est vraiment une densité par rapport à la mesure de comptage, c'est-à-dire la mesure sur les entiers non négatifs avec la masse un pour chaque entier non négatif. Mais nous aurions pu définir une densité par rapport à une autre mesure dominante. Dans cet exemple, cela semblera (et est) artificiel, mais dans les grands espaces (espaces fonctionnels), c'est vraiment fondamental! Utilisons à des fins d'illustration la distribution géométrique spécifique, écrite , avec , , et bientôt. Alors la densité de la distribution de Bernoulli par rapport àλλ(0)=1/2λ(1)=1/4λ(2)=1/8λf λ ( x ) = p x ( 1 - p ) 1 - x2 x + 1 P ( X = x ) = f λ ( x ) λest donné par ce qui signifie que Avec cette nouvelle mesure dominante, la fonction de vraisemblance devient (avec la notation ci-dessus) notez le facteur supplémentaire . Ainsi, lors du changement de la mesure dominante utilisée dans la définition de la fonction de vraisemblance, une nouvelle constante multiplicative apparaît, qui ne dépend pas du paramètre inconnu

fλ(x)=px(1p)1x2x+1
P(X=X)=Fλ(X)λ(X)
je=1npXje(1-p)1-Xje2Xje+1=py(1-p)n-y2y+n
2y+np, et est clairement hors de propos. C'est une autre façon de voir comment les constantes multiplicatives doivent être sans importance. Cet argument peut être généralisé en utilisant des dérivés de Radon-Nikodym (comme l'argument ci-dessus en est un exemple.)

kjetil b halvorsen
la source
"le contenu de l'information doit clairement être le même" Cela n'est vrai que si vous croyez au principe de vraisemblance!
jsk
Oui, peut-être, mais j'ai montré comment cela découle des principes bayésiens.
kjetil b halvorsen
@kjetilbhalvorsen Merci pour la réponse réfléchie! Une chose qui me laisse encore perplexe est la raison pour laquelle la probabilité de distribution de bernoulli n'inclut pas de coefficient binomial. Votre réponse montre clairement pourquoi cela n'a pas d'importance, mais je ne comprends pas pourquoi elle est laissée de côté en premier lieu.
jvans
@jvans: C'est parce que le coefficient binomial ne dépend pas du paramètre inconnu, donc ne peut pas influencer la forme de la fonction de vraisemblance
kjetil b halvorsen
12

Cela signifie essentiellement que seule la valeur relative du PDF est importante. Par exemple, le PDF normal (gaussien) standard est: , votre livre dit qu'ils pourraient utiliser place, car ils ne se soucient pas de l'échelle, c'est-à-dire .g(x)=e-x2/2c=1F(X)=12πe-X2/2g(X)=e-X2/2c=12π

Cela se produit car ils maximisent la fonction de vraisemblance, et et auront le même maximum. Par conséquent, le maximum de sera le même que de . Donc, ils ne se soucient pas de l'échelle.g ( x ) e - x deux / deux f ( x )cg(X)g(X)e-X2/2F(X)

Aksakal
la source
6

Je ne peux pas expliquer le sens de la citation, mais pour l' estimation du maximum de vraisemblance , peu importe que nous choisissions de trouver le maximum de la fonction de vraisemblance (considérée comme une fonction de θ ou le maximum d' un L ( x ; θ )a est une constante. C'est parce que nous ne sommes pas intéressés par la valeur maximale de mais plutôt par la valeur où ce maximum se produit, et à la fois etL(X;θ)θuneL(X;θ)uneθ ML L ( x ; θ ) a L ( x ; θ )L(X;θ)θMLL(X;θ)uneL(X;θ)atteindre leur valeur maximale dans le même . Ainsi, les constantes multiplicatives peuvent être ignorées. De même, nous pourrions choisir de considérer toute fonction monotone (comme le logarithme) de la fonction de vraisemblance g ( ) L ( x ; θ ) , déterminez le maximum de g ( L ( x ; θ ) ) et en déduisez la valeur de θ ML . Pour le logarithme, la constante multipliative a devient la constante additive ln ( a ) et cela aussi peut être ignoré dans le processus de recherche de l'emplacement du maximum: ln ( a ) + ln ( L ( x ; θθMLg()L(X;θ)g(L(X;θ))θMLuneln(une) est maximisée au même point que ln ( L ( x ; θ ) .ln(une)+ln(L(X;θ)ln(L(X;θ)

En ce qui concerne l' estimation de la probabilité maximale a posteriori (MAP), est considéré comme une réalisation d'une variable aléatoire Θ avec une fonction de densité a priori f Θ ( θ ) , les données x sont considérées comme une réalisation d'une variable aléatoire X , et la probabilité est considérée comme la valeur de la densité conditionnelle f XΘ ( xΘ = θ ) de X conditionnée à Θ = θθΘFΘ(θ)XXFXΘ(XΘ=θ)XΘ=θ; ladite fonction de densité conditionnelle étant évaluée à . La densité a posteriori de Θ est f Θ X ( θ x ) = f XΘ ( xΘ = θ ) f Θ ( θ )XΘ dans laquelle on reconnaît le numérateur comme ladensité conjointefX,Θ(x,θ)des données et du paramètre à estimer. Le pointθMAPfΘX(θx)atteint sa valeur maximale est l'estimation MAP deθ, et, en utilisant les mêmes arguments que dans le paragraphe, nous voyons que nous pouvons ignorer[fX(x)]-1sur le côté droit de

(1)fΘX(θx)=fXΘ(xΘ=θ)fΘ(θ)fX(x)
fX,Θ(x,θ)θMAPfΘX(θx)θ[fX(x)]1 comme constante multiplicative, tout comme nous pouvons ignorer les constantes multiplicatives à lafoisdans f XΘ ( xΘ = θ ) et dans f Θ ( θ ) . De même, lorsque des log-vraisemblances sont utilisées, nous pouvons ignorer les constantes additives.(1) fXΘ(xΘ=θ)fΘ(θ)
Dilip Sarwate
la source
LuneLune
5

F(X)kF(X)

Sergio
la source
3
F(X)F(X)+2
S'il vous plaît, comme l'écrit Alecos Papadopoulos dans sa réponse, "la probabilité est d'abord une fonction de densité de probabilité conjointe". En raison de l'hypothèse iid pour les échantillons aléatoires, cette fonction conjointe est un produit de fonctions de densité simples, de sorte que des facteurs multiplicatifs se produisent, les addends non.
Sergio
1
La fonction conjointe est un tel produit si et seulement si les données sont indépendantes. Mais MLE s'étend aux variables dépendantes, donc l'argument produit ne semble pas convaincant.
whuber
1

argmax

Il peut y avoir des circonstances inhabituelles où vous devrez maximiser la probabilité soumise à un plafond - et alors vous devez vous «souvenir» d'inclure toutes les constantes dans le calcul de sa valeur.

En outre, vous pouvez effectuer des tests de sélection de modèle pour les modèles non imbriqués, en utilisant la valeur de la vraisemblance dans le processus - et puisque les modèles ne sont pas imbriqués, les deux probabilités auront des constantes différentes.

En dehors de cela, la phrase

"Parce que la vraisemblance n'est définie que jusqu'à une constante multiplicative de proportionnalité (ou une constante additive pour la log-vraisemblance)"

est faux , parce que la probabilité est d' abord une fonction de densité de probabilité conjointe , et pas seulement "n'importe quelle" fonction objective à maximiser.

Alecos Papadopoulos
la source
3
θθ
3
L(θX)=F(Xθ).
11
1
@heropup J'ai déjà écrit qu'il ne s'intègre pas nécessairement à l'unité sur l'espace des paramètres, et donc, immédiatement, il ne peut pas être considéré comme une "fonction de densité" lorsqu'il est considéré comme une "fonction des paramètres".
Alecos Papadopoulos
1
Oui je sais. Ce que je veux dire, c'est que l'expression "la fonction de vraisemblance est une fonction de densité, considérée comme une fonction des paramètres" prête elle-même à confusion. Il serait plus précis de dire quelque chose comme: "La fonction de vraisemblance est fonction des paramètres d'un échantillon fixe et est équivalente (ou proportionnelle) à la densité conjointe sur l'espace de l'échantillon."
heropup
1
L(Xθ)F(θ)LF(θ)
Dilip Sarwate