Test de proportions et classificateur binaire

J'ai un prototype de machine qui produit des pièces.

Dans un premier test, la machine produit pièces et un classificateur binaire me dit que pièces sont défectueuses ( , généralement et ) et que les pièces sont bonnes.$N_1$d 1 < N 1 d 1 / N 1 < 0,01 N 1 ≈ 10 4 N 1 - d $d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Ensuite, un technicien fait quelques changements dans la machine afin de diminuer le nombre de pièces défectueuses.

Dans un deuxième test et suivant, la machine modifiée produit pièces et le même classificateur binaire (intact) me dit que les pièces sont défectueuses, de toute façon est assez similaire à .d 2 d 2 / N 2 d 1 / N $N_2$$d_2$$d_2/N_2$$d_1/N_1$

Le technicien aimerait savoir si ses modifications sont efficaces.

En supposant que les classificateurs sont parfaits (sa sensibilité est de 100% et sa spécificité de 100%), je peux effectuer un test de proportions (avec R, je tape juste prop.test(c(d1,d2),c(N1,N2))).

Mais le classificateur n'est pas parfait, alors comment prendre en compte la sensibilité et la spécificité, toutes deux inconnues, du classificateur afin de bien répondre au technicien?

Je dérive donc cela des premiers principes, et je ne suis donc pas certain que ce soit correct. Voici mes pensées:

EDIT: Ce n'était pas tout à fait juste avant. Je l'ai mis à jour.

1. Supposons que désigne la différence attendue entre le nombre réel de vrais positifs d 1 et le nombre produit par le classificateur binaire que nous appellerons ^ d 1 . Vous pouvez mesurer cela avec en exécutant votre classificateur sur un ensemble avec des étiquettes connues. Soustrayez le nombre de positifs réels du nombre de positifs produits par le classificateur, puis divisez par N pour obtenir α .$\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. Ainsi, une estimation ponctuelle du rapport réel des pièces défectueuses est donnée par: . Autrement dit, le nombre observé de pièces défectueuses, moins le nombre attendu de faux positifs, plus le nombre attendu de faux négatifs.$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. De même, $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Alors maintenant, faisons un test d'hélice. Dans le test d'hélice standard, nous calculons d'abord le rapport groupé utilisé comme valeur nulle: . Donc, ici, nous avons mis dans nos estimations ponctuelles de ^ d $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ et^d$\hat{\frac{d_1}{N_1}}$ pour obtenir:p=d1+d2+α∗(N1+N2$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. Et puis l'erreur standard est juste l'habituelle: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. Et la statistique de test est la même: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Quelques réflexions sur l'interprétation:

• $p < 0$

• Une autre façon de penser à cela est que, si le nombre de pièces défectueuses est dans la marge d'erreur pour le classificateur, alors bien sûr, nous ne pouvons pas dire s'il y a une différence: nous ne pouvons même pas dire si des pièces sont défectueuses!

$\alpha$

• $\alpha$$\alpha$

$h$

• $\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$ (qui contient les deux intervalles antérieurs) devrait être un (1-h) * 100% IC pour la différence de proportions ... Je pense ...

$\alpha$