Déterminer si un processus distribué à queue lourde s'est considérablement amélioré

J'observe les temps de traitement d'un processus avant et après un changement afin de savoir si le processus s'est amélioré par le changement. Le processus s'est amélioré si le temps de traitement est réduit. La distribution du temps de traitement est grossière, donc une comparaison basée sur la moyenne n'est pas raisonnable. Au lieu de cela, je voudrais savoir si la probabilité d'observer un temps de traitement inférieur après le changement est nettement supérieure à 50%.

Soit la variable aléatoire pour le temps de traitement après la modification et Y la précédente. Si P ( X < Y ) est nettement supérieur à 0,5, je dirais que le processus s'est amélioré.$X$$Y$$P(X < Y)$$0.5$

Maintenant , j'ai observations ix i de X et m observations y j de Y . La observé probabilité de P ( X < Y ) est p = $n$$x_i$$X$$m$$y_j$$Y$$P(X < Y)$.$\hat p = \frac{1}{n m} \sum_i \sum_j 1_{x_i < y_j}$

Que puis-je dire à propos de compte tenu des observations x i et y j ?$P(X < Y)$$x_i$$y_j$

Votre estimation p est égal à la Mann-Whitney U statistique divisée par m n (merci, Glen!), Et est donc équivalent à la statistique-Wilcoxon W (également connu sous le nom statistique de Wilcoxon-Mann-Whitney): W = U + n ( n + 1 )$\hat{p}$$U$$mn$$W$$W = U + {n(n+1)\over{2}}$ , où$n$est la taille de l'échantillon de$y$(en supposant qu'il n'y a pas de liens.) Vous pouvez donc utiliser les tables / logiciels du test de Wilcoxon et les retransformer en$U$pour obtenir un intervalle de confiance ou une valeur de$p$.

Soit $m$ la taille d'échantillon de $x$ , $N$ = $m+n$ . Ensuite, asymptotiquement,

$W^* = \frac{W-\frac{m(N+1)}{2}}{\sqrt{\frac{mn(N+1)}{12}}} \sim \text{N}(0,1)$

Source: Hollander et Wolfe , Méthodes statistiques non paramétriques, grosso modo p. 117, mais probablement la plupart des livres de statistiques non paramétriques vous y mèneront.

@jbowman fournit une (belle) solution standard au problème d'estimation de connu sous le nom de modèle de résistance aux contraintes .$\theta=P(X<Y)$

Une autre alternative non paramétrique a été proposée dans Baklizi et Eidous (2006) pour le cas où et Y sont indépendants. Ceci est décrit ci-dessous.$X$$Y$

Par définition, nous avons cela

où est le CDF de X et f Y est la densité de Y . Ensuite, en utilisant les échantillons de X et Y, nous pouvons obtenir des estimateurs de noyau de F X et f Y et par conséquent et un estimateur de $F_X$$X$$f_Y$$Y$$X$$Y$$F_X$$f_Y$$\theta$

Ceci est implémenté dans le code R suivant en utilisant un noyau gaussien.

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r )
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

# Example when X and Y are Cauchy
datx = rcauchy(100,0,1)
daty =  rcauchy(100,0,1)

nonpest(datx,daty)

Afin d'obtenir un intervalle de confiance pour vous pouvez obtenir un échantillon bootstrap de cet estimateur comme suit.$\theta$

# bootstrap
B=1000
p = rep(0,B)

for(j in 1:B){
dat1 =  sample(datx,length(datx),replace=T)
dat2 =  sample(daty,length(daty),replace=T)
p[j] = nonpest(dat1,dat2)
}

# histogram of the bootstrap sample
hist(p)

# A confidence interval (quantile type)
c(quantile(p,0.025),quantile(p,0.975))

D'autres types d'intervalles de bootstrap pourraient également être envisagés.

$X_i-Y_i$$P(X_i-Y_i<0) = p$$I\{X_i-Y_i<0\}$$i=1,2,..,n$$X$$X_i < Y_i$$n$ $p=P(X_i-Y_i<0)$$X/n$