Questions sur le principe de vraisemblance

17

J'essaie actuellement de comprendre le principe de vraisemblance et je ne comprends vraiment pas du tout. Donc, j'écrirai toutes mes questions sous forme de liste, même si ce sont des questions assez basiques.

  • Que signifie exactement l'expression «toutes les informations» dans le contexte de ce principe? (comme dans toutes les informations d'un échantillon sont contenues dans la fonction de vraisemblance.)
  • Le principe est-il en quelque sorte lié au fait très prouvable que ? La «vraisemblance» dans le principe est-elle la même chose que p ( y | x ) , ou non?p(x|y)p(y|x)p(x)p(y|x)
  • Comment un théorème mathématique peut-il être «controversé»? Ma (faible) compréhension des mathématiques est qu'un théorème est soit prouvé, soit non prouvé. À quelle catégorie appartient le principe de vraisemblance?
  • En quoi le principe de vraisemblance est-il important pour l'inférence bayésienne, qui est basée sur la formule ?p(x|y)p(y|x)p(x)
Karel Bílek
la source
Karel, veuillez jeter un oeil: ime.usp.br/~pmarques/papers/redux.pdf
Zen
Voir aussi le site de Greg Gandenberger: gandenberger.org
Michael Lew - réintégrer Monica le

Réponses:

10

Le principe de vraisemblance a été énoncé de nombreuses façons différentes, avec une signification et une intelligibilité variables. Le livre de l'AWF Edwards, Likelihood, est à la fois une excellente introduction à de nombreux aspects de la vraisemblance et toujours sous presse. Voici comment Edwards définit le principe de vraisemblance:

"Dans le cadre d'un modèle statistique, toutes les informations fournies par les données concernant les mérites relatifs de deux hypothèses sont contenues dans le rapport de vraisemblance de ces hypothèses." (Edwards 1972, 1992 p. 30)

Alors maintenant aux réponses.

  1. "Toutes les informations contenues dans l'échantillon", comme vous le citez, ne sont qu'une expression inadéquate de la partie pertinente du principe de vraisemblance. Edwards le dit beaucoup mieux: le modèle est important et les informations pertinentes sont les informations relatives aux mérites relatifs des hypothèses. Il est utile de noter que le rapport de vraisemblance n'a de sens que lorsque les hypothèses en question proviennent du même modèle statistique et s'excluent mutuellement. En effet, ils doivent être des points sur la même fonction de vraisemblance pour que le rapport soit utile.

  2. Le principe de vraisemblance est lié au théorème de Bayes, comme vous pouvez le voir, mais il est prouvable sans référence au théorème de Bayes. Oui, p (x | y) est (proportionnel à) une probabilité tant que x est une donnée et y est une hypothèse (qui pourrait simplement être une valeur de paramètre hypothétique).

  3. Le principe de vraisemblance est controversé car sa preuve a été contestée. À mon avis, les réfutations sont défectueuses, mais néanmoins controversées. (À un niveau différent, on peut dire que le principe de vraisemblance est controversé car il implique que les méthodes fréquentistes pour l'inférence sont en quelque sorte défectueuses. Certaines personnes n'aiment pas cela.) Le principe de vraisemblance a été prouvé, mais sa portée la pertinence peut être plus limitée que ses détracteurs ne l'imaginent.

  4. Le principe de vraisemblance est important pour les méthodes bayésiennes car les données entrent dans l'équation de Bayes par le biais des probabilités. La plupart des méthodes bayésiennes sont conformes au principe de vraisemblance, mais pas toutes. Certaines personnes, comme Edwards et Royall, soutiennent que des inférences peuvent être faites sur la base de fonctions de vraisemblance sans utiliser le théorème de Bayes, "pure inférence de vraisemblance". C'est également controversé. En fait, il est probablement plus controversé que le principe de vraisemblance parce que les Bayésiens ont tendance à être d'accord avec les fréquents que les méthodes de vrais vraisemblance sont inappropriées. (L'ennemi de mon ennemi ...)

Michael Lew - réintègre Monica
la source
"Il est utile de noter que le rapport de vraisemblance n'a de sens que lorsque les hypothèses en question proviennent du même modèle statistique" - qu'est-ce que cela signifie exactement? On dirait que vous ne pouvez pas comparer les modèles de différentes familles de distributions, ce qui n'est pas le cas.
Scortchi - Réintégrer Monica
Comme les probabilités ne sont que proportionnelles à * p * (x | y), il y a toujours une constante de proportionnalité inconnue. Différents modèles statistiques permettent différentes constantes de proportionnalité et les probabilités peuvent donc être incommensurables.
Michael Lew - réintègre Monica le
Parfois, différents modèles peuvent être arrangés pour produire une seule fonction de vraisemblance (souvent multidimensionnelle) afin que les probabilités puissent être comparées de manière raisonnable, mais ce n'est pas toujours possible.
Michael Lew - réintègre Monica le
1
xfgθϕ
f(x;θ^)g(x;ϕ^)
1
χ2