Quelle est la raison pour laquelle une fonction de vraisemblance n'est pas un pdf (fonction de densité de probabilité)?
likelihood
pdf
John Doe
la source
la source
Réponses:
Nous allons commencer avec deux définitions:
Une fonction de densité de probabilité (pdf) est une fonction non négative qui intègre à .1
La vraisemblance est définie comme la densité globale des données observées en fonction du paramètre. Mais, comme le souligne la référence à Lehmann faite par @whuber dans un commentaire ci-dessous, la fonction de vraisemblance dépend uniquement du paramètre, les données étant maintenues comme constantes. Donc, le fait qu'il s'agisse d'une densité en fonction des données est sans importance.
Par conséquent, la fonction de vraisemblance n'est pas un pdf car son intégrale par rapport au paramètre n'est pas nécessairement égale à 1 (et peut même ne pas être intégrable du tout, en fait, comme l'a souligné un autre commentaire de @whuber).
Pour voir cela, nous allons utiliser un exemple simple. Supposons que vous ayez une seule observation, , à partir d’une distribution de . Alors la fonction de vraisemblance estx Bernoulli(θ)
C’est un fait que . Plus précisément, si , alors , doncx = 1 L ( θ ) = θ ∫ 1 0 L ( θ ) d θ = ∫ 1 0 θ d θ = 1 / 2∫10L(θ)dθ=1/2 x=1 L(θ)=θ
et un calcul similaire s'applique lorsque . Par conséquent, ne peut pas être une fonction de densité.L ( θ )x=0 L(θ)
Peut-être encore plus important que cet exemple technique montrant pourquoi la probabilité n'est pas une densité de probabilité est de souligner que la probabilité n'est pas la probabilité que la valeur du paramètre soit correcte ou quelque chose comme ça - c'est la probabilité (la densité) des données compte tenu de la valeur du paramètre , ce qui est une chose complètement différente. Par conséquent, il ne faut pas s’attendre à ce que la fonction de vraisemblance se comporte comme une densité de probabilité.
la source
D'accord, mais la fonction de vraisemblance est la densité de probabilité conjointe pour les données observées étant donné le paramètre . En tant que tel, il peut être normalisé pour former une fonction de densité de probabilité. Donc, c'est essentiellement comme un pdf.θ
la source
Je ne suis pas un statisticien, mais d'après ce que je comprends, même si la fonction de vraisemblance n'est pas un PDF en ce qui concerne le ou les paramètres, elle est directement liée à ce PDF par la règle de Bayes. La fonction de vraisemblance, P (X | thêta) et la distribution postérieure, f (thêta | X), sont étroitement liées; pas "une chose complètement différente" du tout.
la source
La vraisemblance est définie par , où si f (x; θ) est une fonction de masse de probabilité , alors la probabilité est toujours inférieure à un, mais si f (x; θ) est une fonction de densité de probabilité, la probabilité peut être supérieure à un, car les densités peuvent être supérieures à un.L(θ;x1,...,xn)=f(x1,...,xn;θ)
Normalement, les échantillons sont traités dans iid, puis:
L(θ;x1,...,xn)=f(x1,...,xn;θ)=∏jf(xj;θ)
Voyons sa forme originale:
Selon l'inférence bayésienne, est valide, c'est-à-dire . Notez que l'estimation du maximum de vraisemblance considère le rapport entre la preuve et le passé comme une constante (voir les réponses à cette question ), ce qui omet les croyances antérieures. La probabilité a une corrélation positive avec la postérieure qui est basée sur les paramètres estimés. peut-être un pdf mais ne l’est pas, car n’est qu’une partie de qui est intraitable.f(x1,...,xn;θ)=f(θ;x1,...,xn)∗f(x1,...,xn)f(θ) L^=posterior∗evidenceprior L^ L L L^
Par exemple, je ne connais pas la variance moyenne et standard d'une distribution gaussienne et je souhaite les obtenir en les entraînant à l'aide de nombreux échantillons de cette distribution. J'initialise d'abord la variance moyenne et la variance standard de manière aléatoire (ce qui définit une distribution gaussienne), puis je prélève un échantillon et je m'intègre dans la distribution estimée afin d'obtenir une probabilité à partir de la distribution estimée. Ensuite, je continue à mettre l'échantillon et à obtenir de nombreuses probabilités, puis je multiplie ces probabilités pour obtenir un score. Ce genre de score est la probabilité. À peine peut-il s'agir d'une probabilité d'un certain pdf.
la source