Comment définir rigoureusement la probabilité?

La probabilité pourrait être définie de plusieurs façons, par exemple:

la fonction de qui mappe à ie . $L$ $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
la fonction aléatoire $L(\cdot \mid X)$
on pourrait aussi considérer que la vraisemblance n'est que la vraisemblance "observée" $L(\cdot \mid x^{\text{obs}})$
en pratique, la vraisemblance n'apporte des informations sur qu'à une constante multiplicative, nous pourrions donc considérer la vraisemblance comme une classe d'équivalence de fonctions plutôt que comme une fonction $\theta$

Une autre question se pose lorsque l'on envisage un changement de paramétrage: si est la nouvelle paramétrisation que nous désignons couramment par la probabilité sur et ce n'est pas l'évaluation de la fonction précédente à mais à . Il s'agit d'une notation abusive mais utile qui pourrait causer des difficultés aux débutants si elle n'est pas soulignée. $\phi=\theta^2$ $L(\phi \mid x)$ $\phi$ $L(\cdot \mid x)$ $\theta^2$ $\sqrt{\phi}$

Quelle est votre définition rigoureuse préférée de la probabilité?

De plus, comment appelez-vous ? Je dis habituellement quelque chose comme "la probabilité sur lorsque est observé". $L(\theta \mid x)$ $\theta$ $x$

EDIT: Au vu de certains commentaires ci-dessous, je me rends compte que j'aurais dû préciser le contexte. Je considère un modèle statistique donné par une famille paramétrique de densités par rapport à une mesure dominante, avec chaque défini sur l'espace d'observation . Par conséquent, nous définissons et la question est "qu'est-ce que ?" (la question ne porte pas sur une définition générale de la probabilité) $\{f(\cdot \mid \theta), \theta \in \Theta\}$ $f(\cdot \mid \theta)$ ${\cal X}$ $L(\theta \mid x)=f(x \mid \theta)$ $L$

mathematical-statistics likelihood likelihood-ratio parametric Stéphane Laurent
la source

(1) Parce que

pour tout

, je crois que même la constante de

est définie. (2) Si vous pensez à des paramètres comme

ils ne seront jamais observés. Pourquoi ne pas simplement dire "probabilité de

donnée

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$ et

sont simplement des coordonnées pour une variété de distributions, alors le changement de paramétrage n'a pas de signification mathématique intrinsèque; c'est simplement un changement de description. (3) Les anglophones natifs diraient plus naturellement «probabilité de

» plutôt que «on». (4) La clause "lorsque

est observé" présente des difficultés philosophiques, car la plupart des

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$

θ

$\theta$

»?

x

$x$

whuber

@whuber: Pour (1), je ne pense pas que la constante soit bien définie. Voir le livre de ET Jaynes où il écrit: "qu'une probabilité n'est pas une probabilité parce que sa normalisation est arbitraire."

Neil G

Vous semblez confondre deux types de normalisation, Neil: Jaynes faisait référence à la normalisation par intégration sur

, pas

θ

$\theta$

x

$x$

whuber

@whuber: Je ne pense pas qu'un facteur d'échelle importera pour la borne de Cramer-Rao parce que changer

ajoute une quantité constante à la vraisemblance logarithmique, qui disparaît ensuite lorsque la dérivée partielle est prise.

k

$k$

Neil G

Je suis d'accord avec Neil, je ne vois aucune application où la constante joue un rôle

Stéphane Laurent

Réponses:

Votre troisième élément est celui que j'ai vu le plus souvent utilisé comme définition rigoureuse.

Les autres sont également intéressants (+1). En particulier, le premier est attrayant, avec la difficulté que la taille de l'échantillon ne soit pas (encore) définie, il est plus difficile de définir l'ensemble "de".

Pour moi, l'intuition fondamentale de la vraisemblance est qu'elle est fonction du modèle + de ses paramètres, et non d'une fonction des variables aléatoires (également un point important pour l'enseignement). Je m'en tiendrai donc à la troisième définition.

La source de l'abus de notation est que l'ensemble "de" de la probabilité est implicite, ce qui n'est généralement pas le cas pour des fonctions bien définies. Ici, l'approche la plus rigoureuse consiste à se rendre compte qu'après la transformation, la probabilité se rapporte à un autre modèle. C'est l'équivalent du premier, mais encore un autre modèle. La notation de vraisemblance doit donc montrer à quel modèle elle se réfère (par indice ou autre). Je ne le fais jamais, bien sûr, mais pour l'enseignement, je pourrais.

Enfin, pour être cohérent avec mes réponses précédentes, je dis la "probabilité de " dans votre dernière formule. $\theta$

gui11aume
la source

Merci. Et quel est votre avis sur l'égalité jusqu'à une constante multiplicative?

Stéphane Laurent

Personnellement, je préfère l'appeler en cas de besoin plutôt que de le coder en dur dans la définition. Et pensez que pour la sélection / comparaison de modèles, cette égalité «jusqu'à une constante multiplicative» ne tient pas.

gui11aume

D'accord. Concernant le nom, vous pourriez imaginer discuter des probabilités

pour deux observations possibles. Dans un tel cas, diriez-vous "la probabilité de

lorsque

observée", ou "la probabilité de

pour l'observation

", ou autre chose?

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

Stéphane Laurent

Si vous re-paramétrez votre modèle avec

vous calculez en fait la probabilité comme une composition de fonctions

Où

. Dans ce cas,

passe de

donc l'ensemble de définition (mentionné comme "de" l'ensemble) de la vraisemblance n'est plus le même. Vous pouvez appeler la première fonction

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$ et le second

car ce ne sont pas les mêmes fonctions.

L_{2} (. |)

$L_2(.|)$

gui11aume

Comment la troisième définition est-elle rigoureuse? Et quel est le problème avec la taille de l'échantillon non définie? Puisque nous disons

, ce qui fait naturellement exister une algèbre sigma correspondante pour l'espace d'échantillonnage

, pourquoi ne pouvons-nous pas avoir la définition parallèle des vraisemblances?

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

Neil G

Je pense que je l'appellerais quelque chose de différent. La vraisemblance est la densité de probabilité pour le x observé étant donné la valeur du paramètre exprimée en fonction de pour le donné . Je ne partage pas le point de vue sur la constante de proportionnalité. Je pense que cela n'entre en jeu que parce que maximiser toute fonction monotone de la vraisemblance donne la même solution pour . Vous pouvez donc maximiser pour ou d'autres fonctions monotones telles que $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$ ce qui est communément fait.

Michael R. Chernick
la source

Non seulement la maximisation: la proportionnalité jusqu'à joue également dans la notion de rapport de vraisemblance et dans la formule de Bayes pour les statistiques bayésiennes

Stéphane Laurent

J'ai pensé que quelqu'un pourrait voter contre ma réponse. Mais je pense qu'il est tout à fait raisonnable de définir la probabilité de cette façon comme une probabilité définitive sans appeler quoi que ce soit de promotionnel une probabilité. @ StéphaneLaurent à votre commentaire sur les a priori, si la fonction est intégrable elle peut être normalisée à une densité. Le postérieur est proportionnel à la probabilité multipliée par le précédent. Puisque le postérieur doit être normalisé en divisant par une intégrale, nous pourrions aussi bien spécifier le préalable à la distribution. Ce n'est que dans un sens étendu que cela s'applique à des prieurs incorrects.

Michael R. Chernick

Je ne sais pas trop pourquoi quelqu'un voterait contre cette réponse. Il semble que vous essayez de répondre davantage à la deuxième question et aux questions du PO que la première. Ce n'était peut-être pas tout à fait clair pour les autres lecteurs. À votre santé. :)

cardinal

@Michael Je ne vois pas la nécessité de voter contre cette réponse aussi. Concernant les prieurs non informatifs (c'est une autre discussion et) j'ai l'intention d'ouvrir une nouvelle discussion sur ce sujet. Je ne le ferai pas de sitôt, car je ne suis pas facile avec l'anglais, et c'est plus difficile pour moi d'écrire "philosophie" que mathématiques.

Stéphane Laurent

@Stephane: Si vous le souhaitez, pensez à poster votre autre question directement en français. Nous avons plusieurs locuteurs natifs français sur ce site qui pourraient probablement aider à traduire les passages dont vous n'êtes pas sûr. Cela comprend un modérateur et également un éditeur de l'une des meilleures revues de statistiques en anglais. J'attends la question avec impatience.

cardinal

Voici une tentative de définition mathématique rigoureuse:

Soit un vecteur aléatoire qui admet une densité par rapport à une mesure sur , où pour , est une famille de densités sur par rapport à . Ensuite, pour tout nous définissons la fonction de vraisemblance $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ . être ; pourclarté, pour chaque nous avons . On peut penser que est un potentiel particulier et la valeur "vraie" de $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ $\theta_0$ $\theta$

Quelques observations sur cette définition:

La définition est suffisamment robuste pour gérer des familles de distributions discrètes, continues et autres pour $X$ .
Nous définissons la probabilité au niveau des fonctions de densité plutôt qu'au niveau des distributions / mesures de probabilité. La raison en est que les densités ne sont pas uniques, et il s'avère que ce n'est pas une situation où l'on peut passer à des classes d'équivalence de densités tout en étant sûr: différents choix de densités conduisent à des MLE différents dans le cas continu. Cependant, dans la plupart des cas, il existe un choix naturel de familles de densités qui sont théoriquement souhaitables.
J'aime cette définition car elle y incorpore les variables aléatoires avec lesquelles nous travaillons et, par conception, car nous devons leur attribuer une distribution, nous avons également rigoureusement intégré la notion de valeur "vraie mais inconnue" de , ici notée . Pour moi, en tant qu'étudiant, le défi d'être rigoureux sur la vraisemblance était toujours de savoir comment concilier les concepts réels d'un «vrai» et «observé» avec les mathématiques; cela n'a souvent pas été aidé par des instructeurs affirmant que ces concepts n'étaient pas formels, mais se retournant et les utilisant formellement pour prouver les choses! Nous les traitons donc formellement dans cette définition. $\theta$ $\theta_0$ $\theta$ $x_{obs}$
EDIT: Bien sûr, nous sommes libres de considérer les éléments aléatoires habituels , et et sous cette définition sans réel problème de rigueur tant que vous faites attention (ou même si vous ne l'êtes pas si ce niveau de rigueur n'est pas important pour vous). $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

gars
la source

@ Xi'an Soit

soit uniforme sur

. Considérons deux densités

contre

. Les deux

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

sont des densités valides pour

, mais sous

le MLE existe et est égal à

alors que sous

nous avons

sorte que si vous définissez

vous finissez avec une probabilité de

, et en fait la MLE n'existe pas parce que

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

n'est atteint pour aucun

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$

θ

$\theta$

gars

@guy: merci, je ne connaissais pas ce contre-exemple intéressant.

Xi'an

@guy Vous avez dit que

n'est atteint pour aucun

. Cependant, ce supremum est atteint à un moment donné comme je le montre ci-dessous:

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

où

. Je suppose que

pour tout

. Il est simple de voir que 1.

, si

; 2.

L_{1} (θ; x) = \prod_{j = 1}^{n} f_{1} (x_{j} | θ) = θ^{- n} \prod_{j = 1}^{n} I (0 < x_{j} < θ) = θ^{- n} I (0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

0 < θ \leq M

$0<\theta \leq M$

, si

. Suite ...

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

Alexandre Patriota

L_{1} (θ; x) \in [0, M^{- n}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

sup_{θ \in (0, \infty)} L_{1} (θ, x) = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

M = \arg sup_{θ \in (0, \infty)} L_{1} (θ; x) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

@AlexandrePatriota The supremum exists, obviously, but it is not attained by the function. I'm not sure what the notation

\arg sup

$\arg \sup$ is supposed to mean - there is no argument of

L_{1} (θ; x)

$L_1(\theta; x)$ which yields the

sup

$\sup$ because

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$ . The MLE is defined as any

\hat{θ}

$\hat \theta$ which attains the

sup

$\sup$ (typically) and no

\hat{θ}

$\hat \theta$ attains the

sup

$\sup$ here. Obviously there are ways around it - the asymptotics we appeal to require that there exists a likelihood with such-and-such properties, and there does. It's just

L_{2}

$L_2$ rather than

L_{1}

$L_1$ .

guy