Inférence statistique sous erreur de spécification

14

Le traitement classique de l'inférence statistique repose sur l'hypothèse qu'une statistique correctement spécifiée est utilisée. Autrement dit, la distribution P(Y) qui a généré les données observées y fait partie du modèle statistique M :

P(Y)M={Pθ(Y):θΘ}
Cependant, nous ne pouvons pas dans la plupart des situations supposons que c'est vraiment vrai. Je me demande ce qui se passe avec les procédures d'inférence statistique si nous supprimons l'hypothèse correctement spécifiée.

P

Pθ1=argminPθMKL(P,Pθ)
P

Qu'advient-il des estimateurs des ensembles de confiance? Permet de récapituler les estimateurs des ensembles de confiance. Soit un estimateur d'ensemble, où est l'espace d'échantillonnage et la puissance définie sur l'espace des paramètres . Ce que nous aimerions savoir, c'est la probabilité que les ensembles produits par incluent la vraie distribution , c'est-à-direΩ Y 2 Θ Θδ:ΩY2ΘΩY2ΘΘδP

P(P{Pθ:θδ(Y)}):=A.

Cependant, nous ne connaissons bien sûr pas la vraie distribution . L'hypothèse correctement spécifiée nous dit que . Cependant, nous ne savons toujours pas de quelle distribution est le modèle. Mais, est une limite inférieure pour la probabilité . L'équation est la définition classique du niveau de confiance pour un estimateur d'ensemble de confiance.PPM

infθΘPθ(θδ(Y)):=B
AB

Si nous laissons tomber l'hypothèse correctement spécifiée, n'est plus nécessairement une borne inférieure pour , le terme qui nous intéresse réellement. En effet, si nous supposons que le modèle est mal spécifié, ce qui est sans doute le cas pour la plupart des situations réalistes, est 0, car la vraie distribution n'est pas contenue dans le modèle statistique .BAAPM

Dans une autre perspective, on pourrait penser à quoi rapporte lorsque le modèle est mal spécifié. C'est une question plus spécifique. t-il encore un sens si le modèle est mal spécifié? Sinon, pourquoi nous préoccupons-nous même des statistiques paramétriques?BB

Je suppose que White 1982 contient des résultats sur ces questions. Malheureusement, mon manque de connaissances mathématiques m'empêche de comprendre beaucoup de choses qui y sont écrites.

Julian Karls
la source
1
J'ai trouvé cette question + réponse stats.stackexchange.com/questions/149773/… . C'est très similaire. La lecture de ces livres conduirait probablement à une réponse à cette question. Cependant, je pense toujours qu'un résumé de quelqu'un qui l'a déjà fait serait très utile.
Julian Karls
2
C'est dommage que cette question n'ait pas suscité plus d'intérêt - le lien de Julian a du bon matériel, mais je serais intéressé d'entendre plus de réflexions à ce sujet.
Florian Hartig
1
En général, ce qui est fait, c'est que la distribution de la statistique de test est calculée sous l'hypothèse nulle en supposant que le modèle statistique est correct. Si la valeur de p est suffisamment faible, on en conclut que cela est dû au hasard ou que la valeur nulle est fausse. Cependant, si le modèle est mal spécifié, c'est également une conclusion qui pourrait logiquement être tirée. Il en va de même pour toutes les autres inférences: le fait que le modèle soit mal spécifié fournit une conclusion alternative. C'est ainsi que j'en pense en me basant sur la lecture du travail de Spanos.
Toby
Essentiellement, tous les modèles sont faux. Il aide à développer quantitativement les erreurs de spécification. Pour une image, une erreur de spécification est un mauvais enregistrement. Par exemple, pour l'erreur de comptage (par exemple, due à la désintégration radioactive) pour un nombre suffisant de comptages, l'erreur est distribuée par Poisson. Dans ce cas, le mauvais repérage d'une série chronologique est l'erreur sur l'axe des y de la racine carrée de l'image et le bruit est dans ces mêmes unités. Exemple ici .
Carl

Réponses:

2

Soit y1,,yn les données observées qui sont supposées être une réalisation d'une séquence de iid variables aléatoires Y1,,Yn avec une fonction de densité de probabilité commune pe définie par rapport à une mesure sigma finie ν . La densité pe est appelée densité DGP (Data Generating Process).

Dans le modèle de probabilité du chercheur M{p(y;θ):θΘ} est une collection de fonctions de densité de probabilité qui sont indexées par un vecteur de paramètre θ . Supposons que chaque densité dans M est définie par rapport à une mesure sigma-finie commune ν (par exemple, chaque densité pourrait être une fonction de masse de probabilité avec le même espace d'échantillon S ).

Il est important de garder la densité pe qui a réellement généré les données conceptuellement distincte du modèle de probabilité des données. Dans les traitements statistiques classiques, une séparation soigneuse de ces concepts est soit ignorée, pas faite, ou on suppose dès le début que le modèle de probabilité est correctement spécifié.

Un modèle M correctement spécifié par rapport à pe est défini comme un modèle où peM ν presque partout. Lorsque M est mal spécifié par rapport à pe cela correspond au cas où le modèle de probabilité n'est pas correctement spécifié.

Si le modèle de probabilité est correctement spécifié, alors il existe un θ dans l'espace des paramètres Θ tel que pe(y)=p(y;θ) ν presque partout. Un tel vecteur de paramètres est appelé "vrai vecteur de paramètres". Si le modèle de probabilité est mal spécifié, alors le vrai vecteur de paramètre n'existe pas.

Au sein de modèle cadre de White l'erreur de spécification du but est de trouver l'estimation des paramètres θ n qui minimise n ( θ ) ( 1 / n ) Σ n i = 1 log p (θ^n^n(θ)(1/n)i=1nlogp(yi;θ) sur un espace de paramètres compactΘ . On suppose qu'un minimiseur global unique stricte,θ , de la valeur attendue de n sur Θ est situé à l'intérieur de Θ^nΘΘ. Dans le cas chanceux où le modèle de probabilité est correctement spécifié, θ peut être interprété comme la "vraie valeur du paramètre".

Dans le cas particulier où le modèle de probabilité est correctement spécifié, alors θ n est familier estimation de vraisemblance maximale. Si nous ne savons pas avoir une connaissance absolue que le modèle de probabilité est correctement spécifié, θ n est appelé une estimation de probabilité quasi-maximale et l'objectif est d'estimer θ * . Si nous avons de la chance et que le modèle de probabilité est correctement spécifié, alors l'estimation de vraisemblance quasi-maximale se réduit comme un cas spécial à l'estimation de vraisemblance maximale familière et θ devient la vraie valeur du paramètre.θ^nθ^nθθ

La cohérence dans le cadre de White (1982) correspond à la convergence vers θ sans exiger que θ soit nécessairement le véritable vecteur de paramètres. Dans le cadre de White, nous ne pourrions jamais estimer la probabilité de l'événement que les ensembles produits par δ incluent la distribution VRAIE P *. Au lieu de cela, nous estimerions toujours la distribution de probabilité P ** qui est la probabilité de l'événement que les ensembles produits par δ incluent la distribution spécifiée par la densité p(y;θ) .

Enfin, quelques commentaires sur les erreurs de spécification du modèle. Il est facile de trouver des exemples où un modèle mal spécifié est extrêmement utile et très prédictif. Par exemple, considérons un modèle de régression non linéaire (ou même linéaire) avec un terme d'erreur résiduelle gaussienne dont la variance est extrêmement faible, mais l'erreur résiduelle réelle dans l'environnement n'est pas gaussienne.

Il est également facile de trouver des exemples où un modèle correctement spécifié n'est pas utile et non prédictif. Par exemple, considérons un modèle de marche aléatoire pour prédire les cours des actions qui prédit le cours de clôture de demain est une somme pondérée du cours de clôture d'aujourd'hui et du bruit gaussien avec une très grande variance.

L'objectif du cadre de spécification erronée du modèle n'est pas d'assurer la validité du modèle mais plutôt d'assurer la fiabilité. Autrement dit, assurez-vous que l'erreur d'échantillonnage associée à vos estimations de paramètres, intervalles de confiance, tests d'hypothèse, etc., est correctement estimée malgré la présence d'une petite ou d'une grande quantité de spécification erronée du modèle. Les estimations de vraisemblance quasi-maximales sont asymptotiquement normales centrées à θ avec un estimateur à matrice de covariance qui dépend à la fois des première et deuxième dérivées de la fonction log-vraisemblance négative. Dans le cas particulier où vous avez de la chance et que le modèle est correct, toutes les formules se réduisent au cadre statistique classique familier où le but est d'estimer les "vraies" valeurs des paramètres.

RMG
la source
3

Tout d'abord, permettez-moi de dire que c'est une question vraiment fascinante; bravo à Julian pour l'avoir publié. Selon moi, le problème fondamental auquel vous êtes confronté dans ce type d’analyse est que toute inférence d’un sous-ensemble de est une inférence sur la classe restreinte de mesures de probabilité dans le modèle M , donc lorsque vous commencez à poser des questions sur les probabilités d'inférer le vrai modèle, sous le modèle, cela dégénère en une question triviale de savoir s'il y a ou non des erreurs de spécification pour commencer. White contourne ce problème en examinant à quel point le modèle se rapproche de la vraie mesure de probabilité, en utilisant une mesure de distance appropriée. Cela le conduit à la mesure de probabilité P θ 1 , qui est le proxy le plus proche de P dansΘMPθ1P . Cette méthode de recherche de P θ 1 peut être étendue pour donner des quantités intéressantes relatives à votre question sur les ensembles de confiance.MPθ1

Avant d’y arriver, il convient de souligner que les valeurs et BAB sont mathématiquement bien définies dans votre analyse (c'est-à-dire qu'elles existent) et qu'elles ont toujours un sens; ce n'est pas nécessairement une signification très utile. La valeur de votre analyse est bien définie; c'est la vraie probabilité que l'ensemble inféré de mesures de probabilité comprenne la vraie mesure de probabilité. Vous avez raison que PM implique A = 0 , ce qui signifie que cette quantité est triviale en cas de mauvaise spécification. Suivant l'exemple de White, il est peut-être plus intéressant de regarder la quantité:APMA=0

AA(Y)P(Pθ1{Pθ|θδ(Y)}).

Ici , nous avons remplacé l'occurrence intérieure de avec son plus proche proxy dans le modèle M , de sorte que la quantité est rendue plus trivial lorsque P *M . Nous demandons maintenant la vraie probabilité que l'ensemble inféré de mesures de probabilité comprenne le proxy le plus proche de la vraie mesure de probabilité dans le modèle. La mauvaise spécification du modèle ne banalise plus cette quantité, puisque nous avons P θ 1M par construction.PMPMPθ1M

White analyse les erreurs de spécification en montrant que le MLE est un estimateur cohérent de . Ceci est précieux car il vous indique que même en cas de mauvaise spécification, vous estimez toujours correctement le proxy le plus proche de la vraie mesure de probabilité dans le modèle. Une question de suivi naturelle concernant les ensembles de confiance est de savoir si une méthode d'inférence particulière δ impose une limite inférieure à la quantité A ou tout résultat de convergence dans la limite comme n Pθ1δAn. Si vous pouvez établir une borne inférieure (positive) ou un résultat de convergence (positif), cela vous donne une certaine valeur en garantissant que même en cas de spécification erronée, vous estimez toujours correctement le proxy le plus proche avec un certain niveau de probabilité. Je vous recommanderais d'explorer ces questions, en suivant le type d'analyse effectuée par White.

Réintégrer Monica
la source