Qu'advient-il du rapport de vraisemblance à mesure que de plus en plus de données sont collectées?

11

Laissez , g et h être des densités et supposons que vous avez x i ~ h , i N . Qu'advient-il du rapport de vraisemblance n i = 1 f ( x i )fghxihiN commen? (Est-ce que ça converge? Vers quoi?)

i=1nf(xi)g(xi)
n

Par exemple, nous pouvons supposer que . Le cas général est également intéressant.h=g

Olivier
la source
Duplication possible de la divergence
Xi'an
4
@ Xi'an. Je pense que l'ajout de cette question à SE permet de faire le lien entre les questions de la réponse. Bien qu'il puisse y avoir des similitudes de réponses, les questions ne sont pas les mêmes.
John
1
Merci pour le lien. La question n'est pas un doublon, même si les réponses à ma question peuvent impliquer la divergence Kullback-Leibler.
Olivier

Réponses:

15

r=logi=1nf(xi)g(xi)=i=1nlogf(xi)g(xi)
r¯n=1ni=1nlogf(xi)g(xi)
r¯na.s.Eh[logf(X)g(X)]=Xlogf(x)g(x)h(x)dx

fghμ1μ2

Xlogf(x)g(x)h(x)dx
X{(xμ1)2(xμ22)}φ(x)dx=μ12μ22.

i=1nf(xi)h(xi)
xih(x)
i=1nf(xi)g(xi)
gfhxih(x)).
Xi'an
la source
g=h
1
f=gf=hghg=hfhfhfgghfgh
h
1
r=nrn
0

Zn=inp(x)q(x)

Wn=1nlog(Zn)=1ninlog(p(x)q(x))
limnWn=Eq(x)[log(p(x)q(x))]=Xlog(p(x)q(x))q(x)dx

Puisque et que ,log(a)<a1 a>0 a1p(x)q(x)>0p(x)q(x)

WnXlog(p(x)q(x))q(x)dx<X(p(x)q(x)1)q(x)dx=Xp(x)dxXq(x)dx=11=0
Cela nous donne
limnWn<0limn1nlog(Zn)<0limnn1nlog(Zn)=limnlog(Zn)=limnZn=0 

bgao
la source