Corrélation Pearson des ensembles de données avec un écart-type éventuellement nul?

J'ai un problème pour calculer le coefficient de corrélation de Pearson des ensembles de données avec peut-être un écart-type nul (c'est-à-dire que toutes les données ont la même valeur).

Supposons que j'ai les deux ensembles de données suivants:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

Le coefficient de corrélation "r" serait calculé à l'aide de l'équation suivante:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

Cependant, comme toutes les données de l'ensemble de données "y" ont la même valeur, l'écart-type std_dev (y) serait nul et "r" ne serait pas défini.

Existe-t-il une solution à ce problème? Ou dois-je utiliser d'autres méthodes pour mesurer la relation de données dans ce cas?

Les gens de la "théorie de l'échantillonnage" vous diront qu'il n'existe pas une telle estimation. Mais vous pouvez en obtenir un, il vous suffit d'être raisonnable sur vos informations antérieures et de faire un travail mathématique beaucoup plus difficile.

Si vous avez spécifié une méthode d'estimation bayésienne et que le postérieur est le même que le précédent, vous pouvez dire que les données ne disent rien sur le paramètre. Parce que les choses peuvent devenir "singulières" sur nous, nous ne pouvons pas utiliser des espaces de paramètres infinis. Je suppose que parce que vous utilisez la corrélation de Pearson, vous avez une probabilité normale bivariée:

où Qi=(xi-μx)

$$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$$ $$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$$

Maintenant, pour indiquer qu'un ensemble de données peut avoir la même valeur, écrivez , puis nous obtenons:$y_i=y$

$$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$$ $$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$$

$s_x^2,y,\overline{x},N$$\rho$$\mu_x,\mu_y,\sigma_x,\sigma_y$

$$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$$

$L_{\mu}<\mu_x,\mu_y<U_{\mu}$$L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$$\rho$$\pm 1$

$$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$$

$A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

$$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$$ $$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$\mu_y$$z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$$\mu_y$

$$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$$

$\rho$$p(\rho)$$\rho$

$\mu_y$$\rho$$\Phi(.)$$\rho$$-0.99,-0.98,\dots,0.98,0.99$

$gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$$\delta$$v1,v2$

Ainsi, par exemple, si toutes les valeurs sont égales, gower (.,.) = 1. Si en revanche ils ne diffèrent que dans une seule dimension, gower (.,.) = 0.9. S'ils diffèrent dans chaque dimension, gower (.,.) = 0 et ainsi de suite.

Bien sûr, ce n'est pas une mesure de corrélation, mais cela vous permet de calculer à quel point le vecteur avec s> 0 est proche de celui avec s = 0. Bien sûr, vous pouvez également appliquer d'autres mesures si elles servent mieux votre objectif.

La corrélation n'est pas définie dans ce cas. Si vous devez le définir, je le définirais comme 0, mais considérez plutôt une simple différence absolue moyenne.

Cette question vient des programmeurs, donc je suggère de brancher zéro. Il n'y a aucune preuve d'une corrélation, et l'hypothèse nulle serait nulle (pas de corrélation). Il pourrait y avoir d'autres connaissances contextuelles qui fourniraient une corrélation "typique" dans un contexte, mais le code pourrait être réutilisé dans un autre contexte.