Détection des valeurs aberrantes dans les distributions bêta

Disons que j'ai un grand échantillon de valeurs dans . Je voudrais estimer la distribution sous-jacente . La majorité des échantillons proviennent de cette distribution supposée , tandis que les autres sont des valeurs aberrantes que je voudrais ignorer dans l'estimation de et . $[0,1]$ $\text{Beta}(\alpha, \beta)$ $\text{Beta}(\alpha, \beta)$ $\alpha$ $\beta$

Quelle est la bonne façon de procéder à ce sujet?

La standard: utilisée dans les boîtes à moustaches serait-elle une mauvaise approximation? $\text{Inliers} = \left\{x \in [Q1 - 1.5\, \text{IQR}, Q3 + 1.5 \,\text{IQR}] \right\}$

Quelle serait une façon plus raisonnée de résoudre ce problème? Existe-t-il des priors particuliers sur et qui fonctionneraient bien dans ce type de problème? $\alpha$ $\beta$

entrez la description de l'image ici

outliers pymc beta-distribution Amelio Vazquez-Reina
la source

considérez la réponse affichée ici . Une fois que les valeurs aberrantes ont été signalées, supprimez-les et utilisez l'ajustement de distribution MLE sur les observations restantes. Il sera plus précis pour les raisons expliquées sur le lien.

user603

Réponses:

Une manière plus systématique de résoudre ce problème serait d'utiliser un modèle de mélange explicite, avec une spécification de la distribution des «valeurs aberrantes». Une forme simple serait d'utiliser un mélange d'une distribution bêta (pour les points qui vous intéressent) et d'une distribution uniforme (pour les «valeurs aberrantes»). En modélisant les données comme une distribution de mélange, vous pouvez obtenir des estimations de et qui prennent automatiquement en compte le fait que certains points peuvent être des valeurs aberrantes. $\alpha$ $\beta$

Pour résoudre ce problème à l'aide d'un modèle de mélange, soit la probabilité d'une «valeur aberrante» et supposons que vous avez les valeurs IID . La fonction de vraisemblance pour les données observées est: $\phi$ $X_1, ..., X_n \sim \phi \cdot \text{U}(0, 1) + (1- \phi) \cdot \text{Beta}(\alpha, \beta)$

L_{X} (α, β, ϕ) = \prod_{je = 1}^{n} (ϕ + (1 - ϕ) \frac{Γ (α + β)}{Γ (α) Γ (β)} X_{je}^{α - 1} (1 - X_{je})^{β - 1}) .

$L_\boldsymbol{x}(\alpha, \beta, \phi) = \prod_{i=1}^n \left( \phi + (1 - \phi) \frac{\Gamma (\alpha + \beta)}{\Gamma(\alpha) \Gamma(\beta)} x_i^{\alpha - 1} (1-x_i)^{\beta - 1} \right).$

Vous pouvez procéder à partir d'ici en utilisant soit une MLE classique soit une estimation bayésienne. L'un ou l'autre nécessitera des techniques numériques. Après avoir estimé les trois paramètres du modèle, vous auriez alors une estimation de et qui intègre automatiquement la possibilité de valeurs aberrantes. Vous auriez également une estimation de la proportion de valeurs aberrantes du modèle de mélange. $\alpha$ $\beta$

Ben - Réintègre Monica
la source