Pourquoi la probabilité logarithmique doit-elle aller à moins l'infini lorsque le paramètre s'approche de la limite de l'espace des paramètres?

8

Dans une récente conférence, on m'a dit que, pour que l'estimation du maximum de vraisemblance soit valide, la probabilité logarithmique doit aller à moins l'infini lorsque le paramètre va à la limite de l'espace des paramètres. Mais je ne comprends pas pourquoi c'est essentiel. Supposons que la probabilité logarithmique va à une sorte d'asymptote. Ensuite, le paramètre qui maximise la probabilité est toujours l'estimation du maximum de vraisemblance, non?

maximum-likelihood mrz
la source
2
(+1). Gosh: donc si j'effectue l'ajustement ML d'une distribution normale à mes données et limite les valeurs possibles de la SD à la plage de à et la moyenne à la plage je suppose que mes estimations ne seront plus valables .... :-). Étant donné que ces points d'extrémité sont au-delà de la plage de précision en virgule flottante IEEE, cela doit signifier que personne ne peut faire confiance aux logiciels statistiques qui s'exécutent sur des appareils informatiques standard. Il doit être temps pour nous tous de retirer ce vieux boulier (il est sur l'étagère avec la règle à calcul) et de recommencer à faire les calculs à la main. 10−1000101000±101000,
whuber
2
L'argument habituel pour la normalité asymptotique de l'estimateur ML utilise une hypothèse selon laquelle la vraie valeur du paramètre se trouve à l'intérieur de l'espace des paramètres. Vraisemblablement, l'hypothèse dont vous parlez est utilisée pour prouver cette intériorité. La condition que vous mentionnez n'est certainement pas essentielle, dans le sens où elle est nécessaire.
Bill
Quel est l'espace des paramètres, quel est le paramètre en question et quelle distribution? Ce que l'on vous dit manque de beaucoup d'informations critiques, pour que l'on puisse évaluer sa validité.
Alecos Papadopoulos

Réponses:

3

pour que l'estimation du maximum de vraisemblance soit valide, la vraisemblance logarithmique doit aller à moins l'infini lorsque le paramètre atteint la limite

Cela revient à dire que la probabilité d'un paramètre doit devenir 0 à la limite de l'espace des paramètres pour que le résultat soit valide.

Eh bien tout d'abord, vous pouvez restreindre l'espace des paramètres à des valeurs qui ont toutes une probabilité positive tout en obtenant une estimation valide.

Deuxièmement, même si vous utilisez, par exemple , vous ne vous approchez pas de la frontière, car tout package d'optimisation prêt à l'emploi effectue une sorte d'initialisation aléatoire, puis se rapproche du minimum en utilisant une méthode telle que gradient descente, gradient conjugué ou autre. Dans les deux cas, vous ne vous approchez presque jamais de la limite de l'espace des paramètres, donc je ne comprends pas très bien pourquoi les limites sont importantes en premier lieu.(−∞,∞)

Et même si vous le faites exprès, à un moment donné, vous atteindrez la précision à virgule flottante de votre système d'exploitation. Je peux vous garantir qu'à ce stade, vous n'avez pas vraiment beaucoup approché la frontière . :)−∞

Personnellement, je trouve le problème de sous-dépassement qui se pose lors du calcul des sommes et des produits de très petites probabilités et le truc de somme de log exp beaucoup plus intéressant et plus remarquable qui compte vraiment beaucoup dans la pratique, contrairement à atteindre les limites de l'espace des paramètres.

sens à sens
la source