Test de différence significative dans les ratios de variables aléatoires normalement distribuées

Lié à l' analyse des ratios de variables et comment paramétrer le ratio de deux variables normalement distribuées, ou l'inverse d'une? .

Supposons que je dispose d'un certain nombre d'échantillons provenant de quatre distributions aléatoires continues différentes, que nous pouvons tous supposer être à peu près normales. Dans mon cas, cela correspond à certaines mesures de performances de deux systèmes de fichiers différents (par exemple, ext4 et XFS), avec et sans cryptage. La métrique peut être, par exemple, le nombre de fichiers créés par seconde, ou la latence moyenne pour certaines opérations sur les fichiers. Nous pouvons supposer que tous les échantillons tirés de ces distributions seront toujours strictement positifs. Appelons ces distributions où et . fstype∈{xfs,ext4}encryption∈{crypto,nocryp$\textrm{Perf}_{fstype,encryption}$$fstype \in \{xfs,ext4\}$$encryption \in \{crypto,nocrypto\}$

Maintenant, mon hypothèse est que le cryptage ralentit l'un des systèmes de fichiers d'un facteur plus important que l'autre. Existe-t-il un test simple pour l'hypothèse ?$\frac{E[\textrm{Perf}_{xfs,crypto}]}{E[\textrm{Perf}_{xfs,nocrypto}]} < \frac{E[\textrm{Perf}_{ext4,crypto}]}{E[\textrm{Perf}_{ext4,nocrypto}]}$

Une alternative à la bonne réponse de StasK est d'utiliser un test de permutation. La première étape consiste à définir une statistique de test , peut-être:$T$

$T = \frac{\widehat{Perf}_{ext4,crypto}}{\widehat{Perf}_{ext4,nocrypto}} - \frac{\widehat{Perf}_{xfs,crypto}}{\widehat{Perf}_{xfs,nocrypto}}$

où est, peut-être, la moyenne de l'échantillon des observations de Perf e x t 4 , c r y p t o , etc. (Cela correspond à votre définition de l'hypothèse comme le rapport des attentes plutôt que la possibilité alternative de l'attente du rapport - quelle alternative peut être ce que vous voulez vraiment.) La deuxième étape consiste à permuter au hasard les étiquettes e x t 4 , x $\widehat{Perf}_{ext4,crypto}$$\text{Perf}_{ext4,crypto}$ dans les données plusieurs fois, disons i = 1 , … , 10000 , et calculez T i pour chaque permutation. La dernière étape consiste à comparer votre T d' origineavec le T i observé; la p-valeur de permutation estimée serait la fraction du T i ≤ T . $ext4, \space xfs$$i=1, \dots, 10000$$T_i$$T$$T_i$$T_i \leq T$

Le test de permutation vous libère de la dépendance aux asymptotiques, mais bien sûr, en fonction de la taille de votre échantillon (et des données aussi, bien sûr), la méthode delta, que j'utilise également à l'occasion, peut très bien fonctionner.

Vous pouvez calculer l'erreur standard (asymptotique) du rapport en utilisant la méthode delta . Si vous avez deux variables aléatoires et Y telles que $X$$Y$ en distribution (ce qui serait le cas si vous disposez de données indépendantes, mais cela vaut également dans un cas plus général de données en cluster lorsque vous exécutez vos tests sur différentes machines), alors pour le rapportr= ˉ Y / ˉ

$$\sqrt{n}\left(\begin{array}{c} \bar X-\mu_X \\ \bar Y-\mu_Y\end{array}\right) \rightarrow N\left( \left( \begin{array}{c} 0 \\ 0 \end{array}\right), \left( \begin{array}{cc} \sigma_{XX} & \sigma_{XY} \\ \sigma_{XY} & \sigma_{YY} \end{array} \right) \right)$$ $r=\bar Y/\bar X$avec l'analogue de population de , on a $r_o = \mu_Y/\mu_X$ SiXetYsont indépendants, comme il pourrait être raisonnable de supposer dans votre cas, alors cette expression se simplifie quelque peu en supprimantσXY, nous obtenons donc que lescoefficients de variationau carré serésument: CV2[r]=CV2[ ˉ X ]+CV2[ ˉ Y $$\sqrt{n}(r-r_0) \to N(0,\frac{\mu_Y^2}{\mu_X^4}\sigma_{XX} - 2\frac{\mu_Y}{\mu_X^3}\sigma_{XY} + \frac1{\mu_X^2}\sigma_{YY})$$ $X$$Y$$\sigma_{XY}$ $${\rm CV}^2[r] = {\rm CV}^2[\bar X] + {\rm CV}^2[\bar Y]$$ Il présente l'avantage supplémentaire que les tailles d'échantillon peuvent être différentes. De plus, si vos RHS et LHS sont indépendants, vous pouvez former la statistique de test pour H 0 : aucune différence en prenant la différence des ratios et en la divisant par l'erreur-type correspondante obtenue à partir de ces CV.$z$$H_0:$

J'espère que vous pourrez le prendre à partir de là et effectuer le reste des calculs d'enveloppe pour obtenir la formule finale.

$r$$r_0$$O(1/n)$$O(1/\sqrt{n})$

Le rapport des variables normales est distribué Cauchy. Sachant cela, vous pouvez simplement effectuer un test du facteur Bayes.

C'était une idée plutôt spontanée. Je ne suis plus sûr du mécanisme de génération de données. Installez-vous différents systèmes de fichiers sur le même PC, puis comparez-les pour les deux cas, afin de pouvoir assumer une structure de données hiérarchique?

De plus, je ne suis pas sûr que les ratios de recherche aient un sens.

Et puis vous avez écrit le ratio des valeurs attendues, alors que je pensais à la valeur attendue des ratios. Je suppose que j'ai besoin de plus d'informations sur la génération de données avant de continuer.

Dans les cas où vous ne pouvez pas effectuer de permutations, par exemple lorsque la taille de l'échantillon crée des millions de possibilités, une autre solution serait le rééchantillonnage Monte Carlo.

$ext4$$xfs$$nocrypto$$crypto$$\frac{ext4}{xfs}$$nocrypto$$crypto$

$H_{0}:T_{observed}=\frac{\sum x_{nocrypto} }{n_{nocrypto}}-\frac{\sum x_{crypto} }{n_{crypto}}=0$

$x=\frac{ext4}{xfs}$

$n=sample\, size$

$H_{0}$$nocrypto$$crypto$$T_{observed}=0$

$T_{resampling}=\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{nocrypto}}-\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{crypto}}$

$T_{resampling}$$H_{0}$$nocrypto$$crypto$$T_{observed}$$(p < 0.05)$$T_{resampling}$