Que signifie orthogonal dans le contexte des statistiques?

60

Dans d'autres contextes, orthogonal signifie "à angle droit" ou "perpendiculaire".

Que signifie orthogonal dans un contexte statistique?

Merci pour toute clarification.

descriptive-statistics pmgjones
la source

2

Merci pour la question. J'ai posé une question plus générale: qu'est-ce qui est si courant parmi tous les cas d'orthogonalité. Je voulais aussi savoir comment l'indépendance statistique satisfait cette propriété. physics.stackexchange.com/questions/67506

Val

5

Je suis surpris qu'aucune des réponses ici ne mentionne que c'est généralement au sens mathématique du terme "algèbre linéaire". Par exemple, quand on parle d'un général « ensemble orthogonal de variables » , on entend que pour la matrice avec l'ensemble des variables . "orthonormé" est également utilisé.

X^{T} X = I

$X^{T}X=I$

X

$X$

probabilitéislogique

4

@probability "Orthogonal" a une signification pour un espace vectoriel de forme quadratique : deux vecteurs et sont orthogonaux si et seulement si . "Orthonormal" signifie en outre que . Ainsi, "orthogonal" et "orthonormal" ne sont pas synonymes et ne sont pas limités aux matrices finies. ( Par exemple , et peuvent être des éléments d’un espace de Hilbert, tels que l’espace de fonctions à valeurs complexes sur utilisées en mécanique quantique classique.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

whuber

Ce lien peut aider à comprendre le lien (non) entre orthogonalité et corrélation. alecospapadopoulos.wordpress.com/2014/08/16/…

RBirkelbach

La collection croissante de réponses différentes (mais correctes) indique qu'il s'agit d'un bon fil CW.

whuber

-16

Cela signifie qu'elles [les variables aléatoires X, Y] sont «indépendantes» les unes des autres. Les variables aléatoires indépendantes sont souvent considérées comme étant à «angles droits» l'une de l'autre, où par «angles droits», on entend que le produit intérieur des deux est 0 (une condition équivalente de l'algèbre linéaire).

Par exemple, sur le plan XY, les axes X et Y sont dits orthogonaux, car si la valeur x d’un point donné change, disons en passant de (2,3) à (5,3), sa valeur y reste la même (3), et vice versa. Par conséquent, les deux variables sont «indépendantes».

Voir aussi les entrées de Wikipedia pour Independence and Orthogonality

crazyjoe
la source

24

Parce que la distinction entre corrélation et manque de dépendance est importante, assimiler orthogonalité à indépendance n'est pas une bonne chose à faire.

whuber

Étant donné que ni OP ni answerer n’est actif depuis plus d’un an, il vaut probablement la peine d’éditer cela pour au moins en faire une réponse claire . J'ai essayé ça.

Assad Ebrahim

1

La PCA contre ICA est un contre-exemple commun à cette statistique, l’APC imposant l’orthogonalité et l’ACI maximisant l’indépendance.

Jona

5

Pour les modérateurs: Il est dommage que cette bonne question, très populaire, soit "bloquée" avec une réponse que beaucoup pensent être mieux rétrogradée (score actuel -4). Comme OP et le répondeur ne sont pas actifs depuis plus d'un an, vous pouvez peut-être supprimer le chèque "accepté" et laisser la question "ouverte". Les réponses plus complètes ci-dessous parlent d'elles-mêmes.

Assad Ebrahim

1

@Assad mods ne peut pas supprimer l'acceptation de l'OP. C'est la province de l'OP.

Glen_b

33

Je ne peux pas faire de commentaire parce que je n'ai pas assez de points, alors je suis obligé de dire ce que je pense comme réponse, pardonnez-moi s'il vous plaît. D'après le peu que je sais, je ne suis pas d'accord avec la réponse choisie par @crazyjoe car l'orthogonalité est définie comme

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Alors:

Si avec pdf symétrique, ils sont dépendants mais orthogonaux. $Y=X^2$

Si mais que la valeur pdf est zéro pour les valeurs négatives, elles sont dépendantes mais non orthogonales. $Y=X^2$

Par conséquent, l'orthogonalité n'implique pas l'indépendance.

utilisateur497804
la source

2

Quel est l'astérisque (étoile) dans

?

Y^{*}

$Y^{*}$

mardi

2

@ Mugen, indiquant probablement le complexe conjugué.

A. Donda

Note to self (et éventuellement aux autres) - Je crois que

(pour les fonctions à valeurs réelles, nous pouvons supprimer le conjugué complexe (?)) Est le produit intérieur des variables aléatoires

et

, définies comme suit: l'attente de ce produit de leur pdf:

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

Antoni Parellada

21

Si X et Y sont indépendants, ils sont orthogonaux. Mais l'inverse n'est pas vrai comme le souligne l'exemple astucieux de user497804. Pour les définitions exactes, voir

Orthogonal: les variables aléatoires complexes et sont appelées orthogonales si elles satisfont à $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Page 376, Probabilités et processus aléatoires de Geoffrey Grimmett et David Stirzaker)

Indépendant: Les variables aléatoires et sont indépendantes si et seulement si pour tout $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

ce qui, pour les variables aléatoires continues, équivaut à exiger que $f(x,y) = f_X(x)f_Y(y)$

(Page 99, Probabilités et processus aléatoires de Geoffrey Grimmett et David Stirzaker)

Naresh
la source

21

@Mien a déjà fourni une réponse et, comme l'a souligné @ whuber, les moyens orthogonaux ne sont pas corrélés. Cependant, je souhaite vraiment que les gens fournissent des références. Les liens suivants pourraient vous être utiles car ils expliquent le concept de corrélation d’un point de vue géométrique.

La géométrie des vecteurs (voir p. 7)
Variables linéairement indépendantes, orthogonales et non corrélées
Représentation graphique de la corrélation bidimensionnelle dans l'espace vectoriel (peut ne pas être libre pour vous)

Bernd Weiss
la source

1

Le deuxième lien expliquait tout ce que je voulais savoir. Merci! :)

Lenar Hoyt

Les variables aléatoires à valeurs réelles Xet ne Ysont pas corrélées si et seulement si les variables centrées X-E(X)et Y-E(Y)sont orthogonales. [ref]

knedlsepp

1

@ Bernd Les deux premiers liens ne fonctionnent pas.

accablé le

@overwhelmed Je devine que c'est l'article que le deuxième lien pointait.

Josh O'Brien

8

Un site Web du NIST (voir référence ci-dessous) définit orthogonal comme suit: "Un modèle expérimental est orthogonal si les effets d’un facteur quelconque s’équilibrent (somme à zéro) en fonction des effets des autres facteurs."

En statistique, je comprends orthogonal: "non cofondé" ou "non aliasé". Ceci est important lors de la conception et de l'analyse de votre expérience si vous voulez être sûr de pouvoir identifier clairement différents facteurs / traitements. Si votre expérience n'est pas orthogonale, cela signifie que vous ne pourrez pas séparer complètement les effets de différents traitements. Ainsi, vous devrez effectuer une expérience de suivi pour décontaminer l’effet. Cela s'appellerait une conception augmentée ou comparative.

L’indépendance semble être un choix de mots médiocre, car elle est utilisée dans de nombreux autres aspects de la conception et de l’analyse.

NIST Ref http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

Chris
la source

3

+1 pour l'introduction d'un contexte de conception expérimentale. Le mot "orthogonal" mérite d’être utilisé ici car c’est en fait exactement la même chose que le concept mathématique: les vecteurs (colonnes) représentant les facteurs de l’expérience, considérés comme des éléments d’un espace euclidien, seront bien orthogonaux (à droite). angles, avec un produit zéro point) dans une conception orthogonale.

whuber

2

Il est fort probable qu'ils veulent dire «sans lien» s'ils disent «orthogonal»; si deux facteurs sont orthogonaux (par exemple en analyse factorielle), ils ne sont pas liés, leur corrélation est égale à zéro.

Mine
la source

3

Le coefficient de corrélation est (ou est naturellement interprétable comme) le cosinus d'un angle. Quand il est nul, quel est selon vous l'angle? :-) Non corrélé ne signifie pas non apparenté!

whuber

Je ne dis pas que vous avez tort, mais pourriez-vous me donner un exemple de quelque chose qui est non corrélé et lié; ou vice versa? Je ne suis pas sûr de comprendre la différence.

Mien

Et oui, je sais que cet angle serait de 90 °. Un angle droit est orthogonal.

Mien

5

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

Ah oui, merci. Mais l'inverse n'est pas possible, n'est-ce pas (s'il n'y a pas de troisième variable ou quelque chose de similaire)?

Mien

2

Selon http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , l'indépendance linéaire est une condition nécessaire à l'orthogonalité ou à l'absence de corrélation. Mais il y a des distinctions plus fines, en particulier, l'orthogonalité n'est pas une décorrélation.

utilisateur45059
la source

1

$(X,Y)$ $X\cdot Y=0$

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

Diogo
la source

1

En économétrie, l'hypothèse d'orthogonalité signifie que la valeur attendue de la somme de toutes les erreurs est 0. Toutes les variables d'un régresseur sont orthogonales à leurs termes d'erreur actuels.

$E(x_{i}·ε_{i}) = 0$

En termes plus simples, cela signifie qu'un régresseur est "perpendiculaire" au terme d'erreur.

Léopold W.
la source

-2

Deux ou plusieurs IV sans lien (indépendant) l'un avec l'autre mais ayant tous deux une influence sur le DV. Chaque IV apporte séparément une valeur distincte au résultat, tandis que les deux ou tous les IV contribuent également de manière additive à la prévision du revenu (influence orthogonale = de l'IV non intersectant sur un DV). Les IV ne sont pas corrélationnels entre eux et sont généralement placés à angle droit * voir Diagramme de Venn.

Exemple: Relation entre la motivation et le nombre d'années d'études sur le revenu.

IV = années d'études IV = motivation DV = revenu

https://onlinecourses.science.psu.edu/stat505/node/167

Tapoter
la source

-2

Les variables aléatoires associées signifient que les variables disent que X et Y peuvent avoir n'importe quelle relation; peut être linéaire ou non linéaire. Les propriétés d’indépendance et orthogonales sont les mêmes si les deux variables sont liées linéairement.

J Subramani
la source

2

Cela perpétue l'erreur de crazyjoe: l'orthogonalité n'implique pas l'indépendance à moins que les variables ne soient conjointement distribuées normalement.

whuber

Que signifie orthogonal dans le contexte des statistiques?

Réponses: