Attente du maximum de variables iid Gumbel

J'apprécie le travail exposé dans votre réponse: merci pour cette contribution. Le but de cet article est de fournir une démonstration plus simple. La valeur de la simplicité est la révélation: nous pouvons facilement obtenir la distribution entière du maximum, pas seulement son attente.

Ignorez en l'absorbant dans le et en supposant que le ont tous une distribution de Gumbel . (Autrement dit, remplacez chaque par et remplacez par .) Cela ne change pas la variable aléatoire $\mu$ $\delta_i$ $\epsilon_i$ $(0,1)$ $\epsilon_i$ $\epsilon_i-\mu$ $\delta_i$ $\delta_i+\mu$

X = max_{i} (δ_{i} + ϵ_{i}) = max_{i} ((δ_{i} + μ) + (ϵ_{i} - μ)) .

$X = \max_{i}(\delta_i + \epsilon_i) = \max_i((\delta_i+\mu) + (\epsilon_i-\mu)).$

L'indépendance de implique pour tout réel que est le produit des chances individuelles . Prendre des journaux et appliquer les propriétés de base des rendements exponentiels $\epsilon_i$ $x$ $\Pr(X\le x)$ $\Pr(\delta_i+\epsilon_i\le x)$

\begin{aligned} \log Pr (X \leq x) & = \log \prod_{i} Pr (δ_{i} + ϵ_{i} \leq x) = \sum_{i} \log Pr (ϵ_{i} \leq x - δ_{i}) \\ = - \sum_{i} e^{δ_{i}} e^{- x} = - \exp (- x + \log \sum_{i} e^{δ_{i}}) . \end{aligned}

$\eqalign{ \log \Pr(X\le x) &= \log\prod_{i}\Pr(\delta_i + \epsilon_i \le x) = \sum_i \log\Pr(\epsilon_i \le x - \delta_i)\\ &= -\sum_ie^{\delta_i}\, e^{-x} = -\exp\left(-x + \log\sum_i e^{\delta_i}\right). }$

Il s'agit du logarithme du CDF d'une distribution de Gumbel avec le paramètre d'emplacement C'est, $\lambda=\log\sum_i e^{\delta_i}.$

$X$ a une distribution Gumbel . $\left(\log\sum_i e^{\delta_i}, 1\right)$

C'est beaucoup plus d'informations que demandé. La moyenne d'une telle distribution est entraînant $\gamma+\lambda,$

E [X] = γ + \log \sum_{i} e^{δ_{i}},

$\mathbb{E}[X] = \gamma + \log\sum_i e^{\delta_i},$

QED.

whuber
la source

Il se trouve que l' Econometrica article de Kenneth Petit et Harvey Rosen a montré cela en 1981, mais dans un contexte très spécialisé de sorte que le résultat nécessite beaucoup de creuser, sans parler d' une formation en économie. J'ai décidé de le prouver d'une manière que je trouve plus accessible.

Preuve : Soit le nombre d'alternatives. En fonction des valeurs du vecteur , la fonction prend différentes valeurs. Tout d'abord, concentrez-vous sur les valeurs de telles que . Autrement dit, nous allons intégrer sur l'ensemble : $J$ $\boldsymbol{\epsilon} = \{\epsilon_1, ..., \epsilon_J\}$ $\max_i(\delta_i + \epsilon_i)$ $\boldsymbol{\epsilon}$ $\max_i (\delta_i + \epsilon_i) = \delta_1 + \epsilon_1$ $\delta_1 + \epsilon_1$ $M_1 \equiv \{\boldsymbol\epsilon : \delta_1 + \epsilon_1 > \delta_j + \epsilon_j, j \neq 1\}$

\begin{aligned} E_{ϵ \in M_{1}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) [\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{2}} . . . \int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{J}} f (ϵ_{2}) . . . f (ϵ_{J}) d ϵ_{2} . . . d ϵ_{J}] d ϵ_{1} = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) (\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{2}} f (ϵ_{2}) d ϵ_{2}) . . . (\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{J}} f (ϵ_{J}) d ϵ_{J}) d ϵ_{1} = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) F (δ_{1} + ϵ_{1} - δ_{2}) . . . F (δ_{1} + ϵ_{1} - δ_{J}) d ϵ_{1} \end{aligned}

$\begin{equation} \begin{split} E_{\boldsymbol \epsilon \in M_1} [\max_i(\delta_i + \epsilon_i)] = \hspace{3.25in}\\ \int^{\infty}_{-\infty} (\delta_1 + \epsilon_1)f(\epsilon_1) \left[\int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_2} ... \int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_J}f(\epsilon_2) ...f(\epsilon_J) d\epsilon_2 ...d\epsilon_J \right] d\epsilon_1 = \\ \int^{\infty}_{-\infty} (\delta_1 + \epsilon_1)f(\epsilon_1) \left(\int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_2} f(\epsilon_2)d\epsilon_2 \right) ... \left( \int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_J}f(\epsilon_J) d\epsilon_J \right) d\epsilon_1 = \\ \int^{\infty}_{-\infty} \left(\delta_1 + \epsilon_1\right) f(\epsilon_1) F(\delta_1 + \epsilon_1 - \delta_2) ...F(\delta_1 + \epsilon_1 - \delta_J) d\epsilon_1 \end{split} \end{equation}$

Le terme ci-dessus est le premier de tels termes dans . Plus précisément, $J$ $E[\max_i \left(\delta_i + \epsilon_i \right)]$

E [max_{i} (δ_{i} + ϵ_{i})] = \sum_{i} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] .

$\begin{equation} E\left[\max_i \left(\delta_i + \epsilon_i \right)\right] = \sum_i E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right]. \end{equation}$

Maintenant, nous appliquons la forme fonctionnelle de la distribution de Gumbel. Cela donne

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} e^{- e^{μ - ϵ_{i}}} \prod_{j \neq i} e^{- e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \prod_{j} e^{- e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \exp {\sum_{j} - e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \exp {- e^{μ - ϵ_{i}} \sum_{j} e^{δ_{j} - δ_{i}}} d ϵ_{i} \end{aligned}

$\begin{equation} \begin{split} &E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \hspace{2in} \\ &\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i\right)e^{\mu - \epsilon_i} e^{- e^{\mu - \epsilon_i}} \prod_{j \neq i} e^{-e^{\mu - \epsilon_i + \delta_j - \delta_i}}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i\right)e^{\mu - \epsilon_i } \prod_{j } e^{-e^{\mu - \epsilon_i + \delta_j - \delta_i}}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i \right) e^{\mu - \epsilon_i} \exp \Bigl\{ \sum_{j} -e^{\mu - \epsilon_i + \delta_j - \delta_i} \Bigr\}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i \right) e^{\mu - \epsilon_i} \exp \Bigl\{ -e^{\mu - \epsilon_i } \sum_{j} e^{ \delta_j - \delta_i} \Bigr\}d\epsilon_i \end{split} \end{equation}$

où la deuxième étape vient de la collecte d'un des termes exponentiels dans le produit, avec le fait que si . $\delta_j - \delta_i = 0$ $i = j$

Maintenant, nous définissons , et faisons la substitution , de sorte que et . Notez que lorsque approche de l'infini, approche de 0 et que approche de l'infini négatif, approche de l'infini. $D_i \equiv \sum_j e^{\delta_j - \delta_i}$ $x = D_i\hspace{0.5mm} e^{\mu - \epsilon_i}$ $dx = -D_i e^{\mu - \epsilon_i}d\epsilon_i \Rightarrow -\frac{dx} {D_i} = e^{\mu - \epsilon_i}d\epsilon_i$ $\epsilon_i = \mu - \log\left(\frac{x}{D_i}\right)$ $\epsilon_i$ $x$ $\epsilon_i$ $x$

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{\infty}^{0} (δ_{i} + μ - \log [\frac{x}{D_{i}}]) (- \frac{1}{D_{i}}) \exp {- x} d x \\ = & \frac{1}{D_{i}} \int_{0}^{\infty} (δ_{i} + μ - \log [\frac{x}{D_{i}}]) e^{- x} d x \\ = & \frac{δ_{i} + μ}{D_{i}} \int_{0}^{\infty} e^{- x} d x - \frac{1}{D_{i}} \int_{0}^{\infty} \log [x] e^{- x} d x + \frac{\log [D_{i}]}{D_{i}} \int_{0}^{\infty} e^{- x} d x \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \\ &\hspace{3mm}\int^{0}_{\infty} \left(\delta_i + \mu - \log\left[\frac{x}{D_i} \right]\right)\left(-\frac{1}{D_i}\right)\exp\left\{ -x\right\}dx \\ =&\hspace{3mm}\frac{1}{D_i}\int^{\infty}_{0} \left(\delta_i + \mu - \log\left[\frac{x}{D_i} \right]\right)e^{ -x}dx \\ =&\hspace{3mm} \frac{\delta_i + \mu}{D_i}\int^{\infty}_{0} e^{-x}dx -\frac{1}{D_i}\int^{\infty}_{0} \log[x]e^{-x}dx + \frac{\log[D_i]} {D_i} \int^{\infty}_{0}e^{-x}dx\\ \end{split} \end{equation}$

La fonction gamma est définie comme . Pour les valeurs de qui sont des entiers positifs, cela équivaut à, donc . De plus, on sait que la constante d'Euler-Mascheroni, satisfait $\Gamma(t) = \int^{\infty}_{0} x^{t - 1}e^{-x}dx$ $t$ $\Gamma(t) = (t - 1)!$ $\Gamma(1) = 0! = 1$ $\gamma \approx 0.57722$

γ = - \int_{0}^{\infty} \log [x] e^{- x} d x .

$\gamma = -\int^{\infty}_{0} \log[x] e^{-x}dx.$

L'application de ces faits donne

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \frac{δ_{i} + μ + γ + \log [D_{i}]}{D_{i}} \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \frac{\delta_i + \mu + \gamma + \log[D_i]}{D_i} \end{split} \end{equation}$

Ensuite, nous additionnons pour obtenir $i$

\begin{aligned} E [max_{i} (δ_{i} + ϵ_{i})] = \sum_{i} \frac{δ_{i} + μ + γ + \log [D_{i}]}{D_{i}} \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \sum_i \frac{\delta_i + \mu + \gamma + \log[D_i]}{D_i} \end{split} \end{equation}$

Rappelons que . Notez que les probabilités de choix logit familières sont des inverses des , ou en d'autres termes . Notez également que . Ensuite nous avons $D_i = \sum_j e^{\delta_j - \delta_i} = \frac{\sum_j e^{\delta_j}} {e^{\delta_i}}$ $P_i = \frac{e^{\delta_i}}{\sum_j \delta_j}$ $D_i$ $P_i = 1/D_i$ $\sum_i P_i = 1$

\begin{aligned} E [max_{i} (δ_{i} + ϵ_{i})] = & \sum_{i} P_{i} (δ_{i} + μ + γ + \log [D_{i}]) \\ = & (μ + γ) \sum_{i} P_{i} + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [D_{i}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [\frac{\sum_{j} e^{δ_{j}}}{e^{δ_{i}}}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [\sum_{j} e^{δ_{j}}] - \sum_{i} P_{i} \log [e^{δ_{i}}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \log [\sum_{j} e^{δ_{j}}] \sum_{i} P_{i} - \sum_{i} P_{i} δ_{i} \\ = & μ + γ + \log [\sum_{j} \exp {δ_{j}}] . \end{aligned}

$\begin{equation} \begin{split} \hspace{3mm} E\left[\max_i\left( \delta_i + \epsilon_i \right) \right] =& \sum_i P_i\left(\delta_i + \mu + \gamma + \log[D_i]\right)\\ =&\hspace{2mm} (\mu + \gamma) \sum_i P_i + \sum_i P_i\delta_i + \sum_iP_i \log[D_i] \\ =& \hspace{2mm} \mu + \gamma + \sum_i P_i \delta_i + \sum_i P_i \log\left[\frac{\sum_j e^{\delta_j}} {e^{\delta_i}} \right]\\ =& \mu + \gamma + \sum_i P_i \delta_i + \sum_i P_i \log\left[\sum_j e^{\delta_j}\right] - \sum_i P_i \log[e^{\delta_i}]\\ =& \mu + \gamma + \sum_i P_i \delta_i + \log\left[ \sum_j e^{\delta_j}\right] \sum_i P_i - \sum_i P_i \delta_i \\ =& \mu + \gamma + \log\left[ \sum_j \exp\left\{ \delta_j \right\}\right] .\end{split} \end{equation}$ QED

Jason
la source

J'ai lié ce que je crois être l'article auquel vous faites référence, sans vraiment le parcourir pour en être sûr; veuillez corriger en cas d'erreur.

Dougal

@Jason Savez-vous comment prouver ce que c'est quand le max est conditionnel à ce que l'un soit le max? Voir la question ici non résolue: stats.stackexchange.com/questions/260847/…

wolfsatthedoor

Attente du maximum de variables iid Gumbel

Réponses: