Comparaison de deux résultats d'exactitude de classificateur pour la signification statistique avec le test t

Je veux comparer l'exactitude de deux classificateurs pour la signification statistique. Les deux classificateurs sont exécutés sur le même ensemble de données. Cela m'amène à croire que je devrais utiliser un test t à échantillon unique d'après ce que j'ai lu .

Par exemple:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Est-ce le bon test à utiliser? Si oui, comment puis-je calculer si la différence de précision entre le classifieur est significative?

Ou devrais-je utiliser un autre test?

J'opterais probablement pour le test de McNemar si vous ne formiez les classificateurs qu'une seule fois. David Barber propose également un test bayésien plutôt soigné qui me semble plutôt élégant, mais peu utilisé (il est également mentionné dans son livre ).

Juste pour ajouter, comme le dit Peter Flom, la réponse est presque certainement "oui" simplement en regardant la différence de performances et la taille de l'échantillon (je prends les chiffres cités sont les performances de l'ensemble de test plutôt que les performances de l'ensemble de formation).

Soit dit en passant, Japkowicz et Shah ont publié un livre récent sur «Évaluer les algorithmes d'apprentissage: une perspective de classification» , je ne l'ai pas lu, mais il ressemble à une référence utile pour ce genre de problèmes.

Je peux vous dire, sans même rien lancer, que la différence sera très statistiquement significative. Il passe l'IOTT (test de traumatisme interoculaire - il vous frappe entre les yeux).

Si vous voulez faire un test, vous pouvez le faire comme un test à deux proportions - cela peut être fait avec un test t à deux échantillons.

Vous voudrez peut-être décomposer la «précision» en ses composants; sensibilité et spécificité, ou faux positifs et faux négatifs. Dans de nombreuses applications, le coût des différentes erreurs est très différent.

Puisque la précision, dans ce cas, est la proportion d'échantillons correctement classés, nous pouvons appliquer le test d'hypothèse concernant un système à deux proportions.

Soit p et p 2 soient les précisions obtenues respectivement à partir de classificateurs 1 et 2, et n est le nombre d'échantillons. Le nombre d'échantillons correctement classés dans les classificateurs 1 et 2 sont respectivement x 1 et x 2 .$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

La statistique de test est donnée par

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ où $\quad\hat p= (x_1+x_2)/2n$

$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (hypothèse nulle indiquant que les deux sont égales)
• $H_a: p_1 < p_2\quad$ (l'hypotyèse alternative affirmant que la plus récente est meilleure que l'existante)

La région de rejet est donnée par

$Z < -z_\alpha \quad$$H_0$$H_a$

où est obtenu à partir d'une distribution normale standard qui se rapporte à un niveau de signification, α . Par exemple $z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Les références:

1. R. Johnson et J. Freund, Miller and Freund's Probability and Statistics for Engineers, 8e éd. Prentice Hall International, 2011. (Source principale)
2. Test de l'hypothèse-résumé de la formule concise . (Adopté de [1])