Inférence statistique sous spécification erronée du modèle

J'ai une question méthodologique générale. Il a peut-être été répondu auparavant, mais je ne parviens pas à localiser le fil correspondant. J'apprécierai les indications de doublons possibles.

( Voici une excellente, mais sans réponse. C'est également similaire dans l'esprit, même avec une réponse, mais cette dernière est trop spécifique de mon point de vue. Elle est également proche, découverte après avoir posté la question.)

Le thème est de savoir comment faire une inférence statistique valide lorsque le modèle formulé avant de voir les données ne décrit pas correctement le processus de génération des données . La question est très générale, mais je vais donner un exemple particulier pour illustrer ce point. Cependant, je m'attends à ce que les réponses se concentrent sur la question méthodologique générale plutôt que de tergiverser sur les détails de l'exemple particulier.

Prenons un exemple concret: dans un paramètre de série chronologique, je suppose que le processus de génération de données est avec . Je vise à tester l'hypothèse du sujet selon laquelle . J'ai jeté ceci en termes de modèle pour obtenir une contrepartie statistique réalisable de mon hypothèse de sujet, et ceci est Jusqu'ici tout va bien. Mais lorsque j'observe les données, je découvre que le modèle ne décrit pas correctement les données. Disons qu'il existe une tendance linéaire, de sorte que le véritable processus de génération de données est avec

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ .

Comment puis-je faire une inférence statistique valide sur mon hypothèse de sujet ? $\frac{dy}{dx}=1$

Si j'utilise le modèle d'origine, ses hypothèses sont violées et l'estimateur de n'a pas la bonne distribution qu'il aurait autrement. Par conséquent, je ne peux pas tester l'hypothèse en utilisant le test . $\beta_1$ $t$
Si, après avoir vu les données, je passe du modèle à et change mon hypothèse statistique de à , les hypothèses du modèle sont satisfaites et je obtenir un estimateur bien comporté de et peut tester sans difficulté en utilisant le test . Cependant, le passage de à $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ est informé par l'ensemble de données sur lequel je souhaite tester l'hypothèse. Cela rend la distribution de l'estimateur (et donc aussi l'inférence) conditionnelle au changement du modèle sous-jacent, qui est dû aux données observées. Il est clair que l'introduction d'un tel conditionnement n'est pas satisfaisante.

Y a-t-il une bonne sortie? (Si ce n'est pas fréquentiste, alors peut-être une alternative bayésienne?)

modeling inference misspecification Richard Hardy
la source

Votre inconfort est endémique aux approches classiques d'attribution des doctorats: spécification d'hypothèse prudente, suivie d'un test empirique et se terminant par une inférence causale descriptive. Dans ce monde, la réponse courte est «non», il n'y a pas d'issue. Cependant, le monde s'éloigne de ce paradigme strict. Par exemple, dans un article de l' ARE de l'année dernière intitulé Prediction Policy Problems de Kleinberg, et al., Ils plaident en faveur de l'exploration de données et de la prévision en tant qu'outils utiles dans l'élaboration des politiques économiques, citant des cas où «l'inférence causale n'est pas centrale, ni même nécessaire." Ça vaut le coup d'oeil.

Mike Hunter

À mon avis, la réponse directe devrait être qu'il n'y a pas d'issue. Sinon, vous seriez coupable du pire type d'exploration de données - refonte des hypothèses pour les adapter aux données - une infraction capitale dans un monde strict et paradigmatique.

Mike Hunter

Si je comprends bien, vous collectez des données, puis sélectionnez un modèle et testez des hypothèses. Je me trompe peut-être, mais il me semble que le paradigme de l' inférence sélective étudié par Taylor et Tibshirani (entre autres) pourrait être lié à votre problème. Sinon, les commentaires, les réponses et les réponses liées à cette question pourraient être intéressants.

DeltaIV

@DeltaIV, c'est-à-dire qu'en faisant l'inférence, je ne m'intéresse pas aux moindres faux paramètres comme sous P-cohérence, mais plutôt aux vrais (la vraie dérivée partielle de wrt ).

y

$y$

x

$x$

Richard Hardy

@ RichardHardy, bien sûr, bien que je sois un étudiant diplômé en statistiques, je ne crois plus vraiment à l'inférence. C'est un château de cartes si fragile qu'il est difficile de savoir s'il a du sens, sauf dans des circonstances très strictes et contrôlées. Ce qui est drôle, c'est que tout le monde le sait, mais personne ne s'en soucie (enfin).

hejseb

Réponses:

La sortie est littéralement hors du test de l'échantillon, une vraie. Pas celui où vous divisez l'échantillon en formation et tenez comme en validation croisée, mais la vraie prédiction. Cela fonctionne très bien en sciences naturelles. En fait, c'est la seule façon dont cela fonctionne. Vous construisez une théorie sur certaines données, puis vous êtes censé arriver à une prédiction de quelque chose qui n'a pas encore été observé. De toute évidence, cela ne fonctionne pas dans la plupart des sciences sociales (dites) comme l'économie.

Dans l'industrie, cela fonctionne comme dans les sciences. Par exemple, si l'algorithme de trading ne fonctionne pas, vous allez éventuellement perdre de l'argent, puis vous l'abandonnez. La validation croisée et les ensembles de données de formation sont largement utilisés dans le développement et la décision de déployer l'algorithme, mais une fois en production, il s'agit de gagner de l'argent ou de perdre. Test d'échantillon très simple.

Aksakal
la source

Est-ce que cela aide à estimer ?

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

Richard Hardy

@RichardHardy, oui, vous testez la même hypothèse sur les nouvelles données. Si ça tient, alors tu es bon. Si votre modèle est mal spécifié, il devrait finalement échouer, je veux dire également d'autres diagnostics. Vous devez voir que le modèle ne fonctionne pas avec de nouvelles données.

Aksakal

OK, cela ressemble à la bonne vieille prescription de diviser l'échantillon en un sous-échantillon pour la construction de modèles et un autre pour le test d'hypothèse. J'aurais dû inclure cette considération déjà dans le PO. En tout cas, cela semble être une bonne stratégie. Le problème de la macroéconomie, par exemple, serait que le même modèle ne correspondrait presque jamais bien aux données invisibles (car le processus de génération de données évolue au fil du temps), de sorte que le même problème exact que nous commençons avec persisterait. Mais c'est un exemple où pratiquement n'importe quelle méthode échoue, donc ce n'est pas une critique juste.

Richard Hardy

Pendant ce temps, en microéconomie dans la définition de données transversales, cela pourrait fonctionner. +1 pour l'instant. D'un autre côté, une fois qu'un modèle a été adapté à toutes les données disponibles, cette solution ne fonctionnera pas. Je suppose que c'est ce que je pensais quand j'ai écrit la question, et je cherche des réponses qui répondent à la question du titre: inférence à partir d'un modèle mal spécifié.

Richard Hardy

Je partage votre opinion. Mais comme la division de l'échantillon en "ancien" et "nouveau" équivaut à collecter de nouvelles données, je ne comprends pas où vous voyez une grande différence entre les deux.

Richard Hardy

Vous pouvez définir une "procédure combinée" et étudier ses caractéristiques. Supposons que vous partiez d'un modèle simple et que vous autorisiez l'ajustement d'un, deux ou trois modèles plus complexes (ou non paramétriques) au cas où le modèle simple ne conviendrait pas. Vous devez spécifier une règle formelle selon laquelle vous décidez de ne pas adapter le modèle simple mais l'un des autres (et lequel). Vous devez également avoir des tests pour que votre hypothèse d'intérêt soit appliquée sous tous les modèles impliqués (paramétriques ou non paramétriques).

Avec une telle configuration, vous pouvez simuler les caractéristiques, c'est-à-dire avec quel pourcentage votre hypothèse nulle est finalement rejetée si elle est vraie, et en cas de plusieurs déviations d'intérêt. Vous pouvez également simuler à partir de tous les modèles impliqués et examiner des éléments tels que le niveau conditionnel et la puissance conditionnelle étant donné que les données proviennent du modèle X, Y ou Z, ou étant donné que la procédure de test de spécification incorrecte du modèle a sélectionné le modèle X, Y ou Z.

Vous pouvez constater que la sélection du modèle ne fait pas beaucoup de mal dans le sens où le niveau atteint est toujours très proche du niveau que vous recherchiez, et la puissance est OK sinon excellente. Ou vous constaterez peut-être que la sélection de modèles dépendants des données gâche vraiment les choses; cela dépendra des détails (si votre procédure de sélection de modèle est très fiable, les chances sont de niveau et la puissance ne sera pas affectée très fortement).

Maintenant, ce n'est pas tout à fait la même chose que de spécifier un modèle, puis de regarder les données et de décider "oh, j'ai besoin d'un autre", mais c'est probablement aussi proche que possible de rechercher quelles seraient les caractéristiques d'une telle approche. Ce n'est pas anodin car vous devez faire un certain nombre de choix pour que cela fonctionne.

Remarque générale: Je pense qu'il est trompeur de classer binationalement la méthodologie statistique appliquée en "valide" et "invalide". Rien n'est jamais valide à 100% car les hypothèses du modèle ne sont jamais exactes dans la pratique. D'un autre côté, bien que vous puissiez trouver des raisons valables (!) D'appeler quelque chose de "non valide", si l'on examine en profondeur les caractéristiques de l'approche supposée non valide, on peut découvrir qu'elle fonctionne toujours assez bien.

Lewian
la source

Je me demande si cela est réaliste dans la pratique, à part le plus simple des problèmes. Le coût de calcul des simulations dépasserait rapidement nos capacités dans la plupart des cas, vous ne pensez pas? Votre commentaire sur la validité est bien sûr logique. Cependant, sans cette notion simple mais utile (en aidant à notre raisonnement), nous serions encore plus perdus que nous ne sommes avec elle - c'est mon point de vue.

Richard Hardy

Je ne dis pas que cela devrait être fait chaque fois qu'une telle situation est rencontrée dans la pratique. C'est plutôt un projet de recherche; Cependant, un message à retenir est qu'à mon avis, pour les raisons indiquées, la sélection d'un modèle dépendant des données n'invalide pas exactement l'inférence qui aurait été valide autrement. De telles procédures combinées peuvent fonctionner plutôt bien dans de nombreuses situations, bien que cela ne soit pas actuellement correctement étudié.

Lewian

Je suppose que si c'était faisable, il serait déjà utilisé. Le problème principal pourrait être l'infaisabilité en raison de la grande quantité de choix de modélisation qui dépendent des données (retour à mon premier commentaire). Ou n'y voyez-vous pas de problème?

Richard Hardy

Il y a une simulation étrange dans la littérature qui explore d'abord la sélection de test / modèle de mauvaise spécification, puis l'inférence paramétrique conditionnelle au résultat. Les résultats sont mitigés pour autant que je sache. Un exemple "classique" est ici: tandfonline.com/doi/abs/10.1080/…

Lewian

Mais tu as raison; la modélisation du processus complet avec toutes sortes d'options de modélisation possibles nécessiterait beaucoup de choix. Je pense toujours que ce serait un projet valable, bien que ce ne soit pas quelque chose que l'on puisse exiger lorsque les modèles sont sélectionnés à partir des mêmes données auxquelles ils sont adaptés. Aris Spanos, en passant, s'oppose à l'idée que les tests de spécification incorrecte ou la vérification du modèle sur les données rendent l'inférence invalide. onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

Lewian