Comment savoir quelle méthode d'estimation de paramètres choisir?

Il existe de nombreuses méthodes d'estimation des paramètres. MLE, UMVUE, MoM, décision-théorique, et d'autres semblent tous avoir un cas assez logique pour expliquer pourquoi ils sont utiles pour l'estimation des paramètres. Une méthode est-elle meilleure que les autres, ou s'agit-il simplement de savoir comment définir l'estimateur «le mieux adapté» (semblable à la façon dont la minimisation des erreurs orthogonales produit des estimations différentes à partir d'une approche par les moindres carrés ordinaires)?

Il y a ici une légère confusion entre deux choses: les méthodes de calcul des estimateurs et les critères d'évaluation des estimateurs. Le maximum de vraisemblance (ML) et la méthode des moments (MoM) sont des moyens de dériver des estimateurs; L'uniformité minimale sans biais (UMVU) et la théorie de la décision sont des critères pour évaluer différents estimateurs une fois que vous les avez, mais ils ne vous diront pas comment les dériver.

Parmi les méthodes de calcul des estimateurs, ML produit généralement des estimateurs plus efficaces (c'est-à-dire une variance plus faible) que MoM si vous connaissez le modèle sous lequel vos données ont été dérivées (le `` processus de génération de données '' (DGP) dans le jargon). Mais MoM fait moins d'hypothèses sur le modèle; comme son nom l'indique, il n'utilise qu'un ou plusieurs moments, généralement juste la moyenne ou juste la moyenne et la variance, il est donc parfois plus robuste si vous n'êtes pas sûr du DGP. Il peut y avoir plus d'un estimateur MoM pour le même problème, alors que si vous connaissez le DGP, il n'y a qu'un seul estimateur ML.

Parmi les méthodes d'évaluation des estimateurs, la théorie de la décision dépend d'une fonction de perte à utiliser pour juger votre estimateur, bien que les résultats puissent être assez robustes à une gamme de fonctions de perte «raisonnables». Les estimateurs UMVU n'existent souvent même pas; dans de nombreux cas, il n'y a pas d'estimateur non biaisé qui présente toujours une variance minimale. Et le critère d'impartialité est également d'une utilité discutable, car il n'est pas invariant aux transformations. Par exemple, préféreriez-vous un estimateur non biaisé du rapport de cotes ou du rapport de cotes logarithmique? Les deux seront différents.

Je dirais que le type d'estimateur dépend de quelques éléments:

1. Quelles sont les conséquences d'une erreur d'estimation? (par exemple, est-il moins mauvais si votre estimateur est trop élevé par rapport à un niveau trop bas? ou êtes-vous indifférent au sens de l'erreur? si une erreur est deux fois plus grande, est-ce deux fois plus mauvais? est-ce une erreur en pourcentage ou une erreur absolue qui est important? L'estimation n'est-elle qu'une étape intermédiaire requise pour la prédiction? Le comportement des grands échantillons est-il plus ou moins important que le comportement des petits échantillons?)
2. Quelle est votre information préalable sur la quantité que vous estimez? (par exemple, comment les données sont-elles fonctionnellement liées à votre quantité? savez-vous si la quantité est positive? discrète? avez-vous estimé cette quantité auparavant? combien de données avez-vous? Y a-t-il une structure "d'invariance de groupe" dans vos données?)
3. De quel logiciel disposez-vous? (par exemple, rien de bon de suggérer MCMC si vous n'avez pas le logiciel pour le faire, ou d'utiliser un GLMM si vous ne savez pas comment le faire.)

Les deux premiers points sont spécifiques au contexte, et en pensant à votre application spécifique , vous pourrez généralement définir certaines propriétés que vous aimeriez que votre estimateur possède. Vous choisissez ensuite l'estimateur que vous pouvez réellement calculer, qui a autant de propriétés que vous voulez qu'il ait.

Je pense que le manque de contexte d'un cours d'enseignement avec estimation signifie que souvent le critère "par défaut" est utilisé, de même pour les informations préalables (le "défaut" le plus évident étant que vous connaissez la distribution d'échantillonnage de vos données). Cela dit, certaines des méthodes par défaut sont bonnes, surtout si vous ne connaissez pas suffisamment le contexte. Mais si vous ne connaissez le contexte, et vous avez les outils pour intégrer ce contexte, vous devez, pour sinon vous pouvez obtenir des résultats contre-intuitifs ( à cause de ce que vous avez ignoré).

Je ne suis pas un grand fan de MVUE en règle générale, car vous devez souvent sacrifier trop de variance pour obtenir une impartialité. Par exemple, imaginez que vous lancez des fléchettes sur un jeu de fléchettes, et que vous voulez frapper à la cible. Supposons que l'écart maximal par rapport à l'œil de boeuf soit de 6 cm pour une stratégie de lancer particulière, mais que le centre des points de fléchette se trouve à 1 cm au-dessus de la cible. Ce n'est pas MVUE, parce que le centre devrait être sur la bulle. Mais supposons que pour déplacer la distribution vers le bas de 1 cm (en moyenne), vous devez augmenter votre rayon à au moins 10 cm (donc l'erreur maximale est maintenant de 10 cm, et non de 6 cm). C'est le genre de chose qui peut arriver avec MVUE, à moins que la variance soit déjà petite. Supposons que j'étais un lancer beaucoup plus précis et que je puisse réduire mon erreur à 0,1 cm. Maintenant, le parti pris compte vraiment, car je ne frapperai jamais la cible!

Bref, pour moi, le biais n'a d'importance que lorsqu'il est faible par rapport à la variance. Et vous n'obtiendrez généralement que de petites variations lorsque vous avez un grand échantillon.