Des exemples où la méthode des moments peut battre le maximum de vraisemblance dans de petits échantillons?

Les estimateurs de maximum de vraisemblance (MLE) sont asymptotiquement efficaces; nous constatons le résultat pratique dans la mesure où elles donnent souvent de meilleurs résultats que les estimations fondées sur la méthode des moments (MoM) (lorsqu'elles diffèrent), même pour des échantillons de petite taille

Ici, "mieux que" signifie "en général", c'est-à-dire que la variance est généralement plus faible lorsque les deux sont non biaisés et que l'erreur quadratique moyenne (EQM) est généralement plus petite.

La question se pose cependant:

Existe-t-il des cas où le MoM peut battre le MLE - sur le MSE , par exemple - dans de petits échantillons?

(où il ne s'agit pas d'une situation étrange / dégénérée - c.-à-d. étant donné que les conditions sont réunies pour que ML existe / soit asymptotiquement efficace)

Une question de suivi serait alors: «Quelle taille peut avoir un petit? - c’est-à-dire que s’il existe des exemples, y en a-t-il qui ont encore une taille d’échantillon relativement grande, voire même toutes les tailles d’échantillon finies?

[Je peux trouver un exemple d'estimateur biaisé qui peut battre ML dans des échantillons finis, mais ce n'est pas du MoM.]

---

Remarque ajoutée rétrospectivement: je me concentre ici principalement sur le cas univarié (qui est en fait l’origine de ma curiosité sous-jacente). Je ne veux pas exclure les cas à plusieurs variables, mais je ne veux pas non plus me perdre dans de longues discussions sur l'estimation de James-Stein.

Cela peut être considéré comme ... de la triche, mais l'estimateur MCO est un estimateur de MoM. Considérons une spécification de régression linéaire standard (avec régresseurs stochastiques, les magnitudes étant donc conditionnelles à la matrice des régresseurs) et un échantillon de taille . Notons l'estimateur MCO de la variance du terme d'erreur. C'est impartial doncn s 2 σ $K$$n$$s^2$$\sigma^2$

$$MSE(s^2) = \operatorname {Var}(s^2) = \frac {2\sigma^4}{n-K}$$

Considérons maintenant le MLE de . Il est$\sigma^2$

$$\hat \sigma^2_{ML} = \frac {n-K}{n}s^2$$ Est-ce biaisé? Son MSE est

$$MSE (\hat \sigma^2_{ML}) = \operatorname {Var}(\hat \sigma^2_{ML}) + \Big[E(\hat \sigma^2_{ML})-\sigma^2\Big]^2$$ obtenant la MLE en termes de MCO et en utilisant l’expression de la variance de l’estimateur de MCO, nous obtenons

⇒MSE( σ 2 M L )=2(n-K)+K

$$MSE (\hat \sigma^2_{ML}) = \left(\frac {n-K}{n}\right)^2\frac {2\sigma^4}{n-K} + \left(\frac {K}{n}\right)^2\sigma^4$$ $$\Rightarrow MSE (\hat \sigma^2_{ML}) = \frac {2(n-K)+K^2}{n^2}\sigma^4$$

Nous voulons les conditions (si elles existent) dans lesquelles

$$MSE (\hat \sigma^2_{ML}) > MSE (s^2) \Rightarrow \frac {2(n-K)+K^2}{n^2} > \frac {2}{n-K}$$

2 n 2 - 4 n K + 2 K 2 + n K 2 - K 3 > 2 n 2 - 4 n + 2 K + n K - K 2 > 0 ⇒ K 2 -

$$\Rightarrow 2(n-K)^2+K^2(n-K)> 2n^2$$ $$2n^2 -4nK + 2K^2 +nK^2 - K^3 > 2n^2$$ simplifiant on obtient Est-il possible que ce quadratique dans obtienne des valeurs négatives? Nous avons besoin que son discriminant soit positif. Nous avons qui est un autre quadratique, dans cette fois. Ce discriminant est donc pour prendre en compte le fait que est un entier. Si $$-4n + 2K +nK - K^2 > 0 \Rightarrow K^2 - (n+2)K + 4n < 0$$ $K$ $$\Delta_K = (n+2)^2 -16n = n^2 + 4n + 4 - 16n = n^2 -12n + 4$$ $n$ $$\Delta_n = 12^2 - 4^2 = 8\cdot 16$$ $$n_1,n_2 = \frac {12\pm \sqrt{8\cdot 16}}{2} = 6 \pm 4\sqrt2 \Rightarrow n_1,n_2 = \{1, 12\}$$ $n$$n$À l'intérieur de cet intervalle, nous avons que et le quadratique dans prend toujours des valeurs positives, nous ne pouvons donc pas obtenir l'inégalité requise. Donc: nous avons besoin d’une taille d’échantillon supérieure à 12.$\Delta_K <0$$K$

Compte tenu de cela, les racines de quadratique sont$K$

$$K_1, K_2 = \frac {(n+2)\pm \sqrt{n^2 -12n + 4}}{2} = \frac n2 +1 \pm \sqrt{\left(\frac n2\right)^2 +1 -3n}$$

Globalement: pour la taille d'échantillon et le nombre de régresseurs tels que nous avons pour Par exemple, si on trouve que le nombre de régresseurs doit être égal à pour que l’inégalité soit conservée. Il est intéressant de noter que, pour un petit nombre de régresseurs, le MLE est meilleur au sens de la MSE.$n>12$$K$$\lceil K_1\rceil <K<\lfloor K_2\rfloor$

$$MSE (\hat \sigma^2_{ML}) > MSE (s^2)$$ $n=50$$5<K<47$

ADDENDUM
On peut écrire l' équation pour les racines du quadratique$K$

$$K_1, K_2 = \left(\frac n2 +1\right) \pm \sqrt{\left(\frac n2 +1\right)^2 -4n}$$ qui , par un coup d' œil , je pense implique que la racine sera toujours inférieure être (en tenant compte de la restriction "valeur entière") -so MLE sera efficace MSE lorsque les régresseurs ont jusqu'à pour toute taille d'échantillon (finie).$5$$5$

"Dans cet article, nous examinons une nouvelle paramétrisation de la distribution gaussienne inverse à deux paramètres. Nous trouvons les estimateurs des paramètres de la distribution gaussienne inverse par la méthode des moments et la méthode du maximum de vraisemblance. Ensuite, nous comparons l'efficacité de la estimateurs pour les deux méthodes en fonction de leur biais et de l’erreur quadratique moyenne (EQM). Pour cela, nous fixons les valeurs des paramètres, effectuons des simulations et signalons l’ESG et le biais des estimations obtenues par les deux méthodes. La conclusion est que lorsque la taille de l’échantillon est 10, la méthode des moments a tendance à être plus efficace que la méthode du maximum de vraisemblance pour l'estimation des deux paramètres (lambda et thêta) .... "en savoir plus

De nos jours, on ne peut pas (ou ne devrait pas) faire confiance à tout ce qui est publié, mais la dernière page du journal semble prometteuse. J'espère que cela adresse votre note ajoutée a posteriori.

Selon les simulations effectuées par Hosking et Wallis (1987) dans "Estimation des paramètres et des quantiles pour la distribution de Pareto généralisée", les paramètres de la distribution de Pareto généralisée à deux paramètres donnés par la cdf

$G(y)= \begin{cases} 1-\left(1+ \frac{\xi y}{\beta} \right)^{-\frac{1}{\xi}} & \xi \neq 0 \\ 1-\exp\left(-\frac{y}{\beta}\right) & \xi=0 \end{cases}$

ou la densité

$g(y)= \begin{cases} \frac{1}{\beta} \left( 1+\frac{\xi y}{\beta} \right)^{-1-\frac{1}{\xi}} & \xi \neq 0 \\ \frac{1}{\beta} \exp\left(-\frac{y}{\beta} \right) & \xi=0 \end{cases}$

sont plus fiables si elles sont estimées au moyen de MOM, par opposition à ML. Ceci est valable pour les échantillons jusqu’à la taille 500. Les estimations de MOM sont données par

$\widehat\beta = \frac{\overline y \overline{y^2}}{2(\overline{y^2} - (\overline y)^2)}$

et

$\widehat\xi = \frac{1}{2} - \frac{(\overline y)^2}{2(\overline{y^2} - (\overline y)^2)}$

avec

$\overline{y^2} = \frac{1}{n} \sum_{i=1}^n y_i^2$

Le papier contient quelques fautes de frappe (du moins ma version). Les résultats pour les estimateurs de MOM donnés ci-dessus ont été aimablement fournis par "heropup" dans ce fil .

J'en ai trouvé un:

Pour la distribution de puissance exponentielle asymétrique

$$f(x) = \frac{\alpha}{\sigma\Gamma(\frac{1}{\alpha})} \frac{\kappa}{1+\kappa^2}\exp\left(-\frac{\kappa^\alpha}{\sigma^\alpha}[(x-\theta)^+]^\alpha -\frac{1}{\kappa^\alpha \sigma^\alpha}[(x-\theta)^-]^\alpha\right)\,,\quad \alpha,\sigma,\kappa>0, \text{ and } x,\theta\in \mathbb R$$

les résultats de la simulation de Delicado et Goria (2008) suggèrent que, pour certains paramètres de tailles d'échantillons plus petites, la méthode des moments peut dépasser celle de la MLE; Par exemple, dans le cas connu , à la taille d'échantillon 10, lors de l'estimation de , l'EQM de MoM est inférieure à celle de ML.$\theta$$\sigma$

Delicado et Goria (2008),
Petit échantillon de comparaison des méthodes du maximum de vraisemblance, des moments et des moments L pour la distribution de puissance exponentielle asymétrique,
Journal Computational Statistics & Data Analysis
Volume 52 Numéro 3, Janvier, pp 1661-1673.

(Voir aussi http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )

La méthode des moments (MM) peut vaincre l'approche du maximum de vraisemblance (ML) lorsqu'il est possible de spécifier uniquement certains moments de la population. Si la distribution est mal définie, les estimateurs de ML ne seront pas cohérents.

En supposant des moments finis et des observations idiotes, le MM peut fournir de bons estimateurs avec de belles propriétés asymptotiques.

Exemple: Soit un échantillon iid de , où est une fonction de densité de probabilité inconnue. Définissez le ème moment et considérez que l’intérêt est d’estimer le quatrième moment .$X_1, \ldots, X_n$$X \sim f$$f: \mathbb{R} \to \mathbb{R}_+$$\nu_k = \int_{\mathbb{R}} x^k f(x)dx$$k$$\nu_4$

Soit , puis en supposant que , le théorème de la limite centrale garantit que où " " signifie "la distribution converge vers" . De plus, par le théorème de Slutsky,$\bar{X_k} = \frac{1}{n}\sum_{i=1}^n X_i^k$$\nu_8 < \infty$

$$\sqrt{n}(\bar{X_4} - \nu_4) \stackrel{d}{\to} N(0, \nu_8 - \nu_4^2),$$ $\stackrel{d}{\to}$

$$\frac{\sqrt{n}(\bar{X_4} - \nu_4)}{\sqrt{\bar{X_8} - \bar{X_4}^2}} \stackrel{d}{\to} N(0, 1)$$ depuis (convergence en probabilité).$\bar{X_8} - \bar{X_4}^2 \stackrel{P}{\to} \nu_8 - \nu_4^2$

C'est-à-dire que nous pouvons tirer des conclusions (approximatives) pour en utilisant l'approche du moment (pour les grands échantillons), nous devons simplement émettre des hypothèses sur les moments d'intérêt de la population. Ici, les estimateurs de maximum de vraisemblance ne peuvent être définis sans connaître la forme de .$\nu_4$$f$

Une étude de simulation:

Patriota et al. (2009) ont mené des études de simulation pour vérifier les taux de rejet des tests d'hypothèses dans un modèle d'erreurs dans les variables. Les résultats suggèrent que l'approche MM produit des taux d'erreur sous l'hypothèse nulle plus proches du niveau nominal que ceux de ML pour les petits échantillons.

Note historique:

La méthode des moments a été proposée par K. Pearson en 1894 "Contributions à la théorie mathématique de l'évolution". La méthode du maximum de vraisemblance a été proposée par RA Fisher en 1922 "Sur les fondements mathématiques des statistiques théoriques". Les deux articles ont été publiés dans la série A des Opérations philosophiques de la Royal Society of London.

Référence:

Fisher, RA (1922). Sur les fondements mathématiques des statistiques théoriques, Opérations philosophiques de la Royal Society de Londres, série A, 222, 309-368.

Patriota, AG, Bolfarine, H., de Castro, M. (2009). Un modèle hétéroscedastique d'erreurs dans les variables de variables avec erreur d'équation, Statistical Methodology 6 (4), 408-423 ( pdf )

Pearson, K (1894). Contributions à la théorie mathématique de l'évolution, Opérations philosophiques de la Royal Society of London, série A, 185, 71-110.

Sources supplémentaires en faveur de MOM:

Hong, HP et W. Ye. 2014. Analyse des charges de neige au sol extrêmes pour le Canada à l'aide d'enregistrements d'épaisseur de neige . Risques naturels 73 (2): 355-371.

L'utilisation de MML pourrait donner des prévisions irréalistes si la taille de l'échantillon est petite (Hosking et al. 1985; Martin et Stedinger 2000).

---

Martins, ES et JR Stedinger. 2000. Estimateurs quantiles généralisés de valeur extrême généralisés par maximum de vraisemblance pour les données hydrologiques . Recherche sur les ressources en eau 36 (3): 737-744.

Abstrait:

La distribution des valeurs extrêmes généralisées (GEV) à trois paramètres a trouvé de nombreuses applications pour décrire les inondations annuelles, les précipitations, la vitesse du vent, la hauteur des vagues, les hauteurs de neige et autres maxima. Des études antérieures ont montré que les estimateurs de paramètres de vraisemblance maximale (MLE) pour petits échantillons sont instables et recommandent des estimateurs à moment L. Des recherches plus récentes montrent que les estimateurs de la méthode des moments quantiles présentent pour -0,25 <κ <0,30 une erreur racine-carré plus petite que les moments L et les MLE. L'examen du comportement des MLE dans de petits échantillons montre que des valeurs absurdes du paramètre de forme de GEV κ peuvent être générées. L'utilisation d'une distribution antérieure bayésienne pour limiter les valeurs de κ à une plage statistiquement / physiquement raisonnable dans une analyse de vraisemblance maximum généralisée (GML) élimine ce problème.

Dans les sections Introduction et Revue de la littérature, ils citent des articles supplémentaires qui concluent que MOM est parfois supérieur à MLE (encore une fois, la modélisation des valeurs extrêmes), par exemple:

Hosking et al. [1985a] montrent que les estimateurs de paramètres MLE sur petit échantillon sont très instables et recommandent des estimateurs de moment pondéré en fonction de la probabilité (PWM) équivalents aux estimateurs de L moment [Hosking, 1990]. [...]

Hosking et al. [1985a] ont montré que les estimateurs de moments pondérés en fonction de la probabilité (PM) ou de moments L équivalents (LM) pour la distribution de GEV sont supérieurs aux estimateurs du maximum de vraisemblance (MLE) en termes de biais et de variance pour des tailles d'échantillon variant de 15 à 100. Plus récemment, Madsen et al. [1997a] ont montré que les estimateurs quantiles de la méthode des moments (MOM) ont un RMSE plus petit pour -0,25 <K <0,30 que LM et MLE lors de l'estimation de l'événement sur 100 ans pour des échantillons de taille comprise entre 10 et 50. . Les MLE ne sont préférables que lorsque K> 0,3 et que la taille des échantillons est modeste (n> = 50).

K (kappa) est le paramètre de forme de GEV.

articles qui apparaissent dans les citations:

Hosking J, Wallis J, Wood E (1985) Estimation de la distribution généralisée des valeurs extrêmes par la méthode des moments pondérés par probabilité . Technometrics 27: 251–261.

Madsen, H., PF Rasmussen et D. Rosbjerg (1997) Comparaison des méthodes de série de séries annuelles maximales et de séries de durées partielles pour la modélisation d'événements hydrologiques extrêmes , 1, Modélisation sur site, ressources en eau. Res., 33 (4), 747-758.

Hosking, JRM, L-moments: Analyse et estimation de distributions à l'aide de combinaisons linéaires de statistiques d'ordre , JR Stat. Soc., Ser. B, 52, 105-124, 1990.

---

De plus, j'ai la même expérience que celle décrite dans les articles ci-dessus. En cas de modélisation d'événements extrêmes avec des échantillons de petite taille et de taille modérée (<50-100, ce qui est typique), le MLE peut donner des résultats irréalistes, la simulation montre que MOM est plus robuste et plus robuste. RMSE plus petit.

En train de répondre à ceci: Estimation des paramètres pour un binôme, je suis tombé sur ce papier:

Ingram Olkin, A John Petkau, James V Zidek: Une comparaison des estimateurs de N pour la distribution binomiale. Jasa 1981.

ce qui donne un exemple où la méthode des moments, au moins dans certains cas, bat le maximum de vraisemblance. Le problème est l’estimation de dans la distribution binomiale où les deux paramètres sont inconnus. Il apparaît par exemple que vous essayez d'estimer l'abondance des animaux lorsque vous ne pouvez pas voir tous les animaux et que la probabilité d'observation est également inconnue.Bin ( N , p ) $N$$\text{Bin}(N,p)$$p$