Qu'est-ce que l'identifiabilité du modèle?

Je sais qu'avec un modèle non identifiable, on peut dire que les données sont générées par de multiples assignations différentes aux paramètres du modèle. Je sais qu'il est parfois possible de contraindre des paramètres afin qu'ils soient tous identifiables, comme dans l'exemple de Cassella & Berger, 2e éd, section 11.2.

Étant donné un modèle particulier, comment puis-je évaluer s'il est identifiable?

identifiability Jack Tanner
la source

Réponses:

Pour l' identifiabilité, nous parlons d'un paramètre $\theta$ (qui pourrait être un vecteur), qui s'étend sur un espace de paramètre $\Theta$ , et d'une famille de distributions (pour simplifier, pensez aux PDF) indexées par $\theta$ que nous écrivons généralement quelque chose comme $\{ f_{\theta}|\, \theta \in \Theta\}$ . Par exemple, $\theta$ pourrait êtreetpourrait être $\theta = \beta$ $f$

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$ ce qui voudrait dire que . Pour que le modèle soit identifiable, la transformation qui mappe à doit être un-à-un . Compte tenu d' un modèle sur vos genoux, la façon la plus simple de le vérifier est de commencer par l'équation , (cette égalité doit tenir pour (presque) tous dans le support ) et d'essayer d'utiliser l'algèbre (ou un autre argument) pour montrer que cette équation implique en fait .

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

Si vous réussissez avec ce plan, votre modèle est identifiable; continuez avec votre entreprise. Sinon, votre modèle n'est pas identifiable ou vous devez rechercher un autre argument. L'intuition est la même, peu importe: dans un modèle identifiable, il est impossible que deux paramètres distincts (qui pourraient être des vecteurs) produisent la même fonction de vraisemblance.

Cela a du sens, car si, pour des données fixes, deux paramètres uniques donnaient la même probabilité, il serait alors impossible de distinguer les deux paramètres candidats en se basant uniquement sur les données. Il serait impossible d' identifier le vrai paramètre, dans ce cas.

Pour l'exemple ci-dessus, l'équation est pour (presque) tous . Si nous prenons les journaux des deux côtés, nous obtenons pour , ce qui implique la fonction linéaire est (presque) identique à zéro. La seule ligne qui fait une telle chose est celle qui a la pente 0 et l’ordonnée à l'origine zéro. J'espère que vous pourrez voir le reste. $f_{\theta_{1}} = f_{\theta_{2}}$

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

À propos, si vous pouvez dire en regardant votre modèle qu'il n'est pas identifiable (parfois vous le pouvez), il est courant d'introduire des contraintes supplémentaires sur celui-ci pour le rendre identifiable (comme vous l'avez mentionné). Cela revient à reconnaître que la fonction n'est pas un pour un pour dans , mais elle est un pour un si nous limitons à mentir à l'intérieur . Dans des modèles plus complexes, les équations sont plus difficiles, mais l'idée est la même. $f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

la source

(+1) Belle explication complète et réaliste. Les analogies que vous tracez rendent les concepts clairs.

cardinal

Vous avez certainement répondu à la question que j'ai posée, mais je suis trop novice pour bien comprendre votre réponse. Si vous connaissez une explication qui conviendrait mieux à un novice, faites-le moi savoir.

Jack Tanner

@ cardinal, merci. Pour Jack, d'accord, je vois. Que diriez-vous de ceci: s’il ya quelque chose de plus obscur, et si vous me le signalez, je peux essayer de le préciser davantage. Ou, si vous préférez, vous pouvez écrire une autre question demandant une explication "profane" ou des exemples de ces idées. Je pense qu’il est juste de dire que l’identifiabilité est un sujet qui revient généralement après la période d’introduction typique, alors si vous souhaitez expliquer en détail pourquoi vous rencontrez cela maintenant, cela pourrait aider les répondants potentiels.

+1, bonne réponse. Il est peut-être intéressant de citer un exemple classique et facile de voir un modèle non identifiable: la version non contrainte de l'ANOVA:

Pour y remédier, cellule de référence le codage est généralement utilisé, dans lequel la moyenne d'un niveau est définie comme référence (qui est estimée par l'interception), et la grande moyenne n'est pas explicitement estimée.

y_{i j} = μ + α_{1} + α_{2} + \dots + α_{k} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

gung - Rétablir Monica

Une solution consiste à inspecter la matrice de covariance de vos estimations de paramètres. Si deux estimations de paramètres sont parfaitement (approximativement) corrélées l'une avec l'autre ou si une estimation de paramètre est une combinaison (approximativement) linéaire de plusieurs autres, votre modèle n'est pas identifié; les paramètres qui sont des fonctions des autres ne sont pas nécessaires. Dans chacun de ces cas, sera également (approximativement) singulier. Donc, si est approximativement singulier, cela peut vous donner une raison d'être préoccupé par des problèmes d'identifiabilité. (Bien que je ne pense pas que cela permettrait de détecter des relations non linéaires entre estimations de paramètres qui donneraient lieu à une non-identifiabilité). $\Sigma$ $\Sigma$ $\Sigma$

Le problème pratique est qu'il est souvent difficile de calculer pour les modèles compliqués , même légèrement. $\Sigma$

Si vous faites un problème de probabilité maximale, alors vous savez que la matrice de covariance asymptotique de vos estimations est égale à l'inverse de l'information de pêcheur évaluée à la MLE. Par conséquent, la vérification de la matrice d'informations sur les pêcheurs pour la singularité (approximative) constitue également un moyen raisonnable d'évaluer l'identifiabilité. Cela fonctionne également lorsque les informations théoriques sur les pêcheurs sont difficiles à calculer car il est souvent possible d'approcher numériquement très précisément un estimateur cohérent de la matrice d'informations sur les pêcheurs, en estimant par exemple le produit externe attendu de la fonction de score par le produit externe moyen observé. .

Si vous ne faites pas de problème de niveau maximal, vous pourrez peut-être maîtriser en simulant les données du modèle, en estimant les paramètres un grand nombre de fois et en calculant un exemple de matrice de covariance. $\Sigma$

Macro
la source

(+1) Bien fait. Je n'avais même pas pensé à aborder cette question sous cet angle.

L’idée de calculer une matrice de covariance à partir de données simulées est particulièrement intéressante, c’est que l’on devrait quand même simuler les données pour effectuer un contrôle Cook-Gelman-Rubin .

Jack Tanner