Quelles sont quelques applications illustratives de la probabilité empirique?

J'ai entendu parler de la probabilité empirique d'Owen, mais jusqu'à récemment, je n'y ai pas prêté attention avant de l'avoir trouvé dans un document d'intérêt ( Mengersen et al. 2012 ).

Dans mes efforts pour le comprendre, j'ai glané que la probabilité des données observées est représentée comme , où et .

$$L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)$$ $\sum_i p_i = 1$$p_i > 0$

Cependant, je n'ai pas pu faire le saut mental reliant cette représentation à la façon dont elle peut être utilisée pour faire des inférences sur les observations. Peut-être suis-je trop enraciné dans la pensée d'une vraisemblance par rapport aux paramètres d'un modèle?

Quoi qu'il en soit, j'ai recherché dans Google Scholar des articles utilisant des probabilités empiriques qui m'aideraient à internaliser le concept ... en vain. De toute évidence, il y a le livre d'Art Owen sur la probabilité empirique , mais Google Books laisse de côté tous les bons morceaux et je suis toujours en train d'obtenir un prêt entre bibliothèques.

En attendant, quelqu'un peut-il me montrer des articles et des documents qui illustrent clairement la prémisse de la probabilité empirique et comment elle est utilisée? Une description illustrative de EL elle-même serait également la bienvenue!

Je ne vois pas de meilleur endroit que le livre d'Owen pour en savoir plus sur la probabilité empirique.

Une façon pratique de penser à est la probabilité d'une distribution multinomiale sur les points de données observés . La vraisemblance est donc fonction du vecteur de probabilité , l'espace des paramètres est en réalité le simplexe à dimensions des vecteurs de probabilité, et le MLE met le poids sur chacune des observations (en supposant qu'elles sont tous différents). La dimension de l'espace des paramètres augmente avec le nombre d'observations.x 1 , … , x n ( p 1 , … , p n ) n 1 /$L = L(p_1, \ldots, p_n)$$x_1, \ldots, x_n$$(p_1, \ldots, p_n)$$n$$1/n$

Un point central est que la vraisemblance empirique donne une méthode de calcul des intervalles de confiance par profilage sans spécifier de modèle paramétrique. Si le paramètre d'intérêt est la moyenne, , alors pour tout vecteur de probabilité nous avons que la moyenne est et nous pouvons calculer la vraisemblance du profil comme Ensuite, nous pouvons calculer les intervalles de confiance de la forme avec . Ici est la moyenne empirique et$\mu$$p = (p_1, \ldots, p_n)$

$$\mu(p) = \sum_{i=1}^n x_i p_i,$$ $$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$$ $$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$$ $r \in (0,1)$$\bar{x}$$L_{\text{prof}}(\bar{x}) = n^{-n}$. Les intervalles devraient peut-être simplement être appelés intervalles de vraisemblance (profil) car aucune déclaration sur la couverture n'est faite à l'avance. En diminuant les intervalles (oui, ce sont des intervalles) forment une famille imbriquée et croissante d'intervalles de confiance. La théorie asymptotique ou le bootstrap peuvent être utilisés pour calibrer pour atteindre une couverture de 95%, par exemple.$I_r$$r$$I_r$$r$

Le livre d'Owen couvre cela en détail et fournit des extensions à des problèmes statistiques plus compliqués et à d'autres paramètres d'intérêt.

En économétrie, de nombreux articles appliqués partent de l'hypothèse que où est un vecteur de données, est un système connu d' équations et est un paramètre inconnu, . La fonction provient d'un modèle économique. Le but est d'estimer .

$$E[g(X,\theta)] = 0$$ $X$$g$$q$$\theta \in \Theta \subseteq \mathbb{R}^p$$q \geq p$$g$$\theta$

L'approche traditionnelle, en économétrie, pour l'estimation et l'inférence sur est d'utiliser la méthode généralisée des moments: où est une matrice de pondération définie positive et La vraisemblance empirique fournit un estimateur alternatif au GMM. L'idée est d'appliquer la condition de moment comme contrainte lors de la maximisation de la vraisemblance non paramétrique. Tout d'abord, corrigez un . ensuite sous réserve de $\theta$

$$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$$ $W$ $$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$$ $\theta$ $$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$$ $$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$$ Il s'agit de la boucle interne '. Agrandissez ensuite sur : Cette approche s'est avérée avoir de meilleures propriétés d'ordre supérieur que le GMM (voir Newey et Smith 2004, Econometrica ), ce qui est une des raisons pour lesquelles elle est préférable au GMM. Pour des références supplémentaires, voir les notes et la conférence d'Imbens et Wooldridge ici (conférence 15).$\theta$ $$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$$

Il y a bien sûr de nombreuses autres raisons pour lesquelles EL a retenu l'attention en économétrie, mais j'espère que c'est un point de départ utile. Les modèles d'égalité des moments sont très courants en économie empirique.

En analyse de survie, la courbe de Kaplan-Meier est l'estimateur non paramétrique le plus célèbre de la fonction de survie , où désigne la variable aléatoire de temps à événement. Fondamentalement, est une généralisation de la fonction de distribution empirique qui permet la censure. Il peut être dérivé heuristiquement, comme indiqué dans la plupart des manuels pratiques. Mais il peut également être formellement dérivé en tant qu'estimateur de vraisemblance maximale (empirique). Voici plus de détails .$S(t) = Pr(T > t)$$T$$\hat{S}$