Matrice d'information de Fisher attendue pour la distribution t de Student?

J'ai du mal à trouver une ressource en ligne qui dérive de la matrice d'informations attendue de Fisher pour la distribution t de Student univariée. Quelqu'un connaît-il une telle ressource?

En l'absence de toute ressource existante qui dérive de la matrice d'informations de Fisher attendue pour la distribution t, j'essaie de la dériver moi-même mais je suis coincé. Voici mon travail jusqu'à présent:

$y_i \sim t(\mu, \sigma^2, v)$ où est le paramètre des degrés de liberté (df) (supposé fixe). Ensuite: $v$

\begin{aligned} f (y_{i}) & = \frac{Γ (\frac{v + 1}{2})}{Γ (\frac{v}{2}) \sqrt{π v σ^{2}}} (1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2})^{\frac{- (v + 1)}{2}} \end{aligned}

$\begin{align*} f(y_i) &= \frac{\Gamma(\frac{v+1}{2})}{\Gamma(\frac{v}{2})\sqrt{\pi v \sigma^2}}\big(1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big)^{\frac{-(v+1)}{2}} \end{align*}$

Ainsi, nous avons la fonction log-vraisemblance suivante :

\begin{aligned} l o g f (y_{i}) = l o g Γ (\frac{v + 1}{2}) - l o g Γ (\frac{v}{2}) - \frac{1}{2} l o g (π v σ^{2}) + \frac{- (v + 1)}{2} l o g [1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}] \end{aligned}

$\begin{align*} log f(y_i)=log\Gamma(\frac{v+1}{2})-log\Gamma(\frac{v}{2})-\frac{1}{2}log(\pi v \sigma^2)+ \frac{-(v+1)}{2}log\big[1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big] \end{align*}$

Voici les premières équations dérivées :

\begin{aligned} \frac{\partial}{\partial μ} l o g f (y_{i}) = \frac{v + 1}{2} \frac{\frac{2}{v σ^{2}} (y_{i} - μ)}{1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}} \\ \frac{\partial}{\partial σ^{2}} l o g f (y_{i}) = \frac{- 1}{2 σ^{2}} - \frac{(v + 1)}{2} \frac{\frac{- 1}{v σ^{4}} (y_{i} - μ)^{2}}{1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}} \end{aligned}

$\begin{align*} &\frac{\partial}{\partial \mu}logf(y_i)=\frac{v+1}{2}\frac{\frac{2}{v\sigma^2}(y_i-\mu)}{1+\frac{1}{v\sigma^2}(y_i-\mu)^2} \\ & \frac{\partial}{\partial \sigma^2}logf(y_i)= \frac{-1}{2\sigma^2}-\frac{(v+1)}{2} \frac{\frac{-1}{v\sigma^4}(y_i-\mu)^2}{1+\frac{1}{v\sigma^2}(y_i-\mu)^2} \end{align*}$

Et voici les 2e équations dérivées:

\begin{aligned} \frac{\partial}{\partial μ^{2}} l o g f (y_{i}) = \frac{v + 1}{2} \frac{\frac{- 2}{v σ^{2}} + \frac{2}{d v^{2} σ^{4}} (y_{i} - μ)^{2}}{(1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2})^{2}} \\ \frac{\partial}{\partial μ \partial σ^{2}} l o g f (y_{i}) = \frac{v + 1}{2} {[\frac{2}{v σ^{2}} - \frac{4}{v^{2} σ^{6}} (y_{i} - μ)^{2}] [1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}]^{2} - [\frac{- 2}{v σ^{2}} + \frac{2}{v^{2} σ^{4}} (y_{i} - μ)^{2}] * 2 [1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}] [\frac{- 1}{v σ^{4}} (y_{i} - μ)^{2}]} / {[1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}]^{4}} . . . . . really messy! \\ \frac{\partial}{\partial (σ^{2})^{2}} l o g f (y_{i}) = \frac{1}{2 σ^{4}} - \frac{(v + 1)}{2} \frac{\frac{1}{v σ^{6}} (y_{i} - μ)^{2}}{[1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}]^{2}} \end{aligned}

$\begin{align*} &\frac{\partial}{\partial \mu^2}logf(y_i)=\frac{v+1}{2}\frac{\frac{-2}{v\sigma^2}+\frac{2}{dv^2\sigma^4}(y_i-\mu)^2}{\big(1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big)^2} \\ & \frac{\partial}{\partial \mu \partial \sigma^2}logf(y_i) =\frac{v+1}{2} \Big\{[\frac{2}{v\sigma^2}-\frac{4}{v^2\sigma^6}(y_i-\mu)^2][1+\frac{1}{v\sigma^2}(y_i-\mu)^2]^2-[\frac{-2}{v\sigma^2}+\frac{2}{v^2\sigma^4}(y_i-\mu)^2]*2[1+\frac{1}{v\sigma^2}(y_i-\mu)^2][\frac{-1}{v\sigma^4}(y_i-\mu)^2]\Big\}/\Big\{ [1+\frac{1}{v\sigma^2}(y_i-\mu)^2]^4\Big\}.....\text{really messy!} \\ &\frac{\partial}{\partial (\sigma^2)^2}logf(y_i)=\frac{1}{2\sigma^4}-\frac{(v+1)}{2}\frac{\frac{1}{v\sigma^6}(y_i-\mu)^2}{[1+\frac{1}{v\sigma^2}(y_i-\mu)^2]^2} \end{align*}$

Enfin, la matrice d'informations du pêcheur attendue est calculée comme suit:

\begin{aligned} I = - E ([\begin{matrix} \frac{\partial^{2}}{\partial μ^{2}} l o g f (y_{i}) & \frac{\partial}{\partial μ \partial σ^{2}} l o g f (y_{i}) \\ \frac{\partial}{\partial μ \partial σ^{2}} l o g f (y_{i}) & \frac{\partial^{2}}{\partial (σ^{2})^{2}} l o g f (y_{i}) \end{matrix}]) \end{aligned}

$\begin{align*} \boldsymbol{I}= -\mathbb{E}\Big(\begin{bmatrix} \frac{\partial^2}{\partial \mu^2}logf(y_i) & \frac{\partial}{\partial \mu \partial \sigma^2}logf(y_i) \\ \frac{\partial}{\partial \mu \partial \sigma^2}logf(y_i) & \frac{\partial^2}{\partial (\sigma^2)^2}logf(y_i) \end{bmatrix}\Big) \end{align*}$

Cependant, je ne sais pas comment calculer ces attentes. Quelqu'un connaît-il une ressource qui a fait cela? Honnêtement, la seule quantité qui m'intéresse est: , serait quelqu'un au moins peut-il m'aider à calculer cela? $-\mathbb{E}\big[\frac{\partial^2}{\partial (\sigma^2)^2}logf(y_i)\big]$

probability t-distribution fisher-information bayes003
la source

Réponses:

Il a été porté à mon attention que Lange et al 1989 ont dérivé les informations de Fisher attendues pour la distribution t multivariée à l'annexe B. Par conséquent, j'ai obtenu la réponse que je voulais, vous pouvez considérer cette question comme une réponse!

En particulier, en utilisant le résultat de Lange et al, j'ai dérivé la matrice d'informations de Fisher suivante pour la distribution t univariée (avec le paramètre de degré de liberté fixe ): $v$

\begin{aligned} I = [\begin{matrix} \frac{v + 1}{(v + 3) σ^{2}} & 0 \\ 0 & \frac{v}{2 (v + 3) σ^{4}} \end{matrix}] \end{aligned}

$\begin{align*} \boldsymbol{I}=\begin{bmatrix} \frac{v+1}{(v+3)\sigma^2} & 0 \\ 0 & \frac{v}{2(v+3)\sigma^4} \end{bmatrix} \end{align*}$

bayes003
la source

Y a-t-il une référence où la matrice d'information de Fisher a été dérivée pour le paramètre de degrés de liberté variables, c'est-à-dire la matrice d'information de Fisher à 3 dimensions où l'échelle, l'emplacement et les degrés de liberté sont tous fournis?

2017 à 9h18

J'ai la même question. Avons-nous une matrice Fisher 3x3 qui inclut le paramètre nu?

Riemann1337

Le résultat ci-dessus a été confirmé correctement avec la FisherInformationfonction dansmathStatica

wolfies

Ce n'est pas difficile (mais un peu fastidieux) en utilisant la formule Tout d'abord, observons que par le changement des variables dans toute intégrale impliquée, on peut prendre dans les calculs.

I (μ, σ^{2}) = E [(\begin{matrix} {(\frac{\partial}{\partial μ} \log f (Y))}^{2} & (\frac{\partial}{\partial μ} \log f (Y)) (\frac{\partial}{\partial σ} \log f (Y)) \\ (\frac{\partial}{\partial μ} \log f (Y)) (\frac{\partial}{\partial σ} \log f (Y)) & {(\frac{\partial}{\partial σ^{2}} \log f (Y))}^{2} \end{matrix})] .

$\mathcal{I}(\mu, \sigma^2) = \mathbb{E}\left[\begin{pmatrix}{\left(\frac{\partial}{\partial\mu} \log f(Y)\right)}^2 & \left(\frac{\partial}{\partial\mu} \log f(Y)\right)\left(\frac{\partial}{\partial\sigma} \log f(Y)\right) \\ \left(\frac{\partial}{\partial\mu} \log f(Y)\right)\left(\frac{\partial}{\partial\sigma} \log f(Y)\right) & {\left(\frac{\partial}{\partial\sigma^2} \log f(Y)\right)}^2 \end{pmatrix} \right].$

y \mapsto y - μ

$y \mapsto y-\mu$

μ = 0

$\mu=0$

Les calculs reposent sur l'intégrale suivante: Cette égalité est obtenue par le changement des variables et à l'aide de la densité de la distribution Beta prime .

I (λ, a, b) := \int_{0}^{\infty} y^{2 a - 1} {(1 + \frac{1}{λ} y^{2})}^{- \frac{2 a + b}{2}} d y = \frac{λ^{a}}{2} B (a, \frac{b}{2}) .

$I(\lambda, a, b) := \int_0^\infty y^{2a-1}\left(1+\frac{1}{\lambda}y^2\right)^{-\frac{2a+b}{2}} \textrm{d}y = \frac{\lambda^a}{2} B\left(a, \frac{b}{2}\right).$

y \mapsto y^{2}

$y \mapsto y^2$

Observez que l'intégrande est une fonction paire lorsque est un entier pair, d'où $2a-1$

J (λ, a, b) := \int_{- \infty}^{+ \infty} y^{2 a - 1} {(1 + \frac{1}{λ} y^{2})}^{- \frac{p + 1 + b}{2}} d y = 2 I (λ, a, b) = λ^{a} B (a, \frac{b}{2}) .

$J(\lambda, a, b) := \int_{-\infty}^{+\infty} y^{2a-1}\left(1+\frac{1}{\lambda}y^2\right)^{-\frac{p+1+b}{2}} \textrm{d}y = 2 I(\lambda, a, b) = \lambda^a B\left(a, \frac{b}{2}\right).$

Je ne détaillerai que le premier calcul. Définir la constante de normalisation de la densité.

K (ν, σ) = \frac{1}{B (\frac{1}{2}, \frac{ν}{2})} \frac{1}{\sqrt{ν σ^{2}}},

$K(\nu, \sigma)=\frac{1}{B\left(\frac12,\frac{\nu}{2}\right)}\frac{1}{\sqrt{\nu \sigma^2}},$

On a Depuis , nous trouvons Le deuxième calcul est simple:

\begin{aligned} E [{(\frac{\partial}{\partial μ} \log f (Y))}^{2}] = K (ν, σ) {(\frac{ν + 1}{ν σ^{2}})}^{2} J (ν σ^{2}, \frac{3}{2}, ν + 2) . \end{aligned}

$\begin{align} \mathbb{E}\left[{\left(\frac{\partial}{\partial\mu} \log f(Y)\right)}^2 \right] = K(\nu, \sigma){\left(\frac{\nu+1}{\nu\sigma^2}\right)}^2 J\left(\nu\sigma^2, \frac{3}{2}, \nu+2\right). \end{align}$

\frac{B (\frac{1}{2}, \frac{ν}{2})}{B (\frac{3}{2}, \frac{ν + 2}{2})} = \frac{B (\frac{1}{2}, \frac{ν}{2})}{B (\frac{3}{2}, \frac{ν}{2})} \frac{B (\frac{3}{2}, \frac{ν}{2})}{B (\frac{3}{2}, \frac{ν + 2}{2})} = \frac{(ν + 1)}{1} \frac{(ν + 3)}{ν}

$\frac{B\left(\frac12,\frac{\nu}{2}\right)}{B\left(\frac{3}{2},\frac{\nu+2}{2}\right)} = \frac{B\left(\frac12,\frac{\nu}{2}\right)}{B\left(\frac{3}{2},\frac{\nu}{2}\right)}\frac{B\left(\frac{3}{2},\frac{\nu}{2}\right)}{B\left(\frac{3}{2},\frac{\nu+2}{2}\right)} = \frac{(\nu+1)}{1}\frac{(\nu+3)}{\nu}$

E [{(\frac{\partial}{\partial μ} \log f (Y))}^{2}] = \frac{ν}{ν + 3} (ν + 1) {(ν σ^{2})}^{- 1 / 2 - 2 + 3 / 2} = \frac{ν + 1}{(ν + 3) σ^{2}} .

$\mathbb{E}\left[{\left(\frac{\partial}{\partial\mu} \log f(Y)\right)}^2 \right] = \frac{\nu}{\nu+3}(\nu+1){(\nu\sigma^2)}^{-1/2-2+3/2} = \frac{\nu+1}{(\nu+3)\sigma^2}.$

E [(\frac{\partial}{\partial μ} \log f (Y)) (\frac{\partial}{\partial σ} \log f (Y))] = 0

$\mathbb{E}\left[ \left(\frac{\partial}{\partial\mu} \log f(Y)\right)\left(\frac{\partial}{\partial\sigma} \log f(Y)\right)\right] = 0$ car il n'implique que des intégrales de fonctions impaires.

Enfin le calcul de est le plus fastidieux et Je le saute. Son calcul implique des intégrales avec entier pair, dont la valeur est donnée ci-dessus.

E [{(\frac{\partial}{\partial σ^{2}} \log f (Y))}^{2}]

$\mathbb{E}\left[{\left(\frac{\partial}{\partial\sigma^2} \log f(Y)\right)}^2 \right]$

J (ν σ^{2}, a, b)

$J(\nu\sigma^2, a, b)$

2 a - 1

$2a-1$

J'ai fait les calculs et j'ai trouvé et cela se simplifie en

\frac{{(ν + 1)}^{2}}{4 {(ν σ^{4})}^{2}} K (ν, σ^{2}) J (ν σ^{2}, \frac{5}{2}, ν) - \frac{ν + 1}{2 ν σ^{6}} K (ν, σ^{2}) J (ν σ^{2}, \frac{3}{2}, ν) + \frac{1}{4 σ^{4}}

$\frac{{(\nu+1)}^2}{4{(\nu\sigma^4)}^2} K(\nu, \sigma^2) J\left(\nu\sigma^2, \frac{5}{2},\nu\right) - \frac{\nu+1}{2\nu\sigma^6} K(\nu, \sigma^2) J\left(\nu\sigma^2, \frac{3}{2},\nu\right) + \frac{1}{4\sigma^4}$

\frac{ν}{2 (ν + 3) σ^{4}} .

$\frac{\nu}{2(\nu+3)\sigma^4}.$

Stéphane Laurent
la source