Sur les tests aberrants univariés (ou: Dixon Q contre Grubbs)

Dans (la plupart) de la littérature en chimie analytique, le test standard pour détecter les valeurs aberrantes dans les données univariées (par exemple une séquence de mesures de certains paramètres) est le test Q de Dixon. Invariablement, toutes les procédures répertoriées dans les manuels vous permettent de calculer une certaine quantité à partir des données à comparer avec une valeur tabulaire. À la main, ce n'est pas vraiment une préoccupation; cependant, je prévois d'écrire un programme informatique pour Dixon Q, et la mise en cache des valeurs me semble inélégante. Ce qui m'amène à ma première question:

1. Comment les valeurs tabulaires de Dixon Q sont-elles générées?

Maintenant, j'ai déjà examiné cet article , mais j'ai l'impression que c'est un peu de la triche, dans la mesure où l'auteur construit simplement une spline qui passe par les valeurs tabulaires générées par Dixon. J'ai l'impression qu'une fonction spéciale (par exemple une fonction d'erreur ou une version bêta / gamma incomplète) sera nécessaire quelque part, mais au moins j'ai des algorithmes pour cela.

Maintenant, pour ma deuxième question: l'ISO semble recommander lentement le test de Grubbs sur Dixon Q de nos jours, mais à en juger par les manuels scolaires, il n'a pas encore fait son chemin. En revanche, cela a été relativement facile à mettre en œuvre car il ne s'agit que de calculer l'inverse du CDF de Student t. Maintenant pour ma deuxième question:

1. Pourquoi voudrais-je utiliser Grubbs au lieu de Dixon?

Sur le front évident dans mon cas, l'algorithme est "plus net", mais je soupçonne qu'il y a des raisons plus profondes. Quelqu'un peut-il m'éclairer?

En réalité, ces approches n'ont pas été activement développées depuis très longtemps. Pour les valeurs aberrantes univariées, le filtre optimal (le plus efficace) est la médiane +/- MAD, ou mieux encore (si vous avez accès à R) la médiane +/- Qn (donc vous ne supposez pas la distribution sous-jacente être symétrique), $\delta \times$$\delta \times$

L'estimateur Qn est implémenté dans le package robustbase.

Voir:

Rousseeuw, PJ et Croux, C. (1993) Alternatives to the Median Absolute Deviation, Journal of the American Statistical Association * 88 *, 1273-1283.

Réponse au commentaire:

Deux niveaux.

A) Philosophique.

Les tests Dixon et Grub ne sont capables de détecter qu'un type particulier de valeur aberrante (isolée, unique). Au cours des 20 à 30 dernières années, le concept de valeurs aberrantes a concerné «toute observation qui s'écarte du corps principal des données». Sans autre précision de ce qu'est le départ particulier. Cette approche sans caractérisation rend vaine l'idée de construire des tests pour détecter les valeurs aberrantes. L'accent s'est déplacé sur le concept d'estimateurs (dont un exemple classique est la médiane) qui y conservent des valeurs (c'est-à-dire insensibles) même pour un taux élevé de contamination par des valeurs aberrantes - un tel estimateur est alors dit robuste - et la question de la détection les valeurs aberrantes deviennent nulles.

B) faiblesse,

Vous pouvez voir que les tests de Grub et Dixon se décomposent facilement: on peut facilement générer des données contaminées qui passeraient l'un ou l'autre test comme une béatitude (c'est-à-dire sans casser le null). Cela est particulièrement évident dans le test de Grubb, car les valeurs aberrantes décomposeront la moyenne et le sd utilisés dans la construction de la statistique de test. C'est moins évident dans le Dixon, jusqu'à ce que l'on apprenne que les statistiques de commande ne sont pas non plus robustes aux valeurs aberrantes.

Je pense que vous trouverez plus d'explications sur ces faits dans des articles destinés au grand public non statisticien comme celui cité ci-dessus (je pense aussi à l'article Fast-Mcd de Rousseeuw). Si vous consultez un livre / une introduction récente à une analyse robuste, vous remarquerez que ni Grubb ni Dixon ne sont mentionnés.