Comment prouver cela

9

J'ai essayé d'établir l'inégalité

|Ti|=|XiX¯|Sn1n

X¯ est la moyenne de l'échantillon et S l'écart-type de l'échantillon, c'est-à-dire S=i=1n(XiX¯)2n1 .

Il est facile de voir que je=1nTje2=n-1 et ainsi |Tje|<n-1 mais ce n'est pas très proche de ce que je cherchais, ce n'est pas non plus une limite utile. J'ai expérimenté les inégalités de Cauchy-Schwarz et du triangle mais je suis allé nulle part. Il doit y avoir une étape subtile qui me manque quelque part. J'apprécierais de l'aide, merci.

JohnK
la source

Réponses:

10

C'est l'inégalité de Samuelson et elle a besoin du signe . Si vous prenez la version Wikipedia et la retravaillez pour la définition n1 de S, vous constaterez qu'elle devient

|XiX¯|Sn1n
Soakley
la source
C'est donné comme une inégalité stricte dans le livre mais je l'ai corrigé, merci.
JohnK
5

Après avoir simplifié le problème au moyen de procédures de routine, il peut être résolu en le convertissant en un programme de minimisation double qui a une réponse bien connue avec une preuve élémentaire. Cette dualisation est peut-être «l'étape subtile» mentionnée dans la question. L'inégalité peut également être établie de manière purement mécanique en maximisant |Tje| via les multiplicateurs de Lagrange.

Mais d'abord, je propose une solution plus élégante basée sur la géométrie des moindres carrés. Il ne nécessite aucune simplification préalable et est presque immédiat, fournissant une intuition directe dans le résultat. Comme suggéré dans la question, le problème se réduit à l'inégalité de Cauchy-Schwarz.


Solution géométrique

Considérons comme un vecteur à n dimensions dans l'espace euclidien avec le produit scalaire habituel. Soit y = ( 0 , 0 , , 0 , 1 , 0 , , 0 ) le i ème vecteur de base et 1 = ( 1 , 1 , , 1 ) . ÉcrireX=(X1,X2,,Xn)ny=(0,0,,0,1,0,,0)jee1=(1,1,,1) etX^pour les projections orthogonales dexetydans le complément orthogonal de1. (Dansterminologie statistique, ce sont les résidus enqui concerne les moyens.) Alors, puisqueXi- ˉ X = xyetS=| | x | | /y^Xy1Xje-X¯=X^y ,S=||X^||/n-1

|Tje|=n-1|X^y|||X^||=n-1|X^y^|||X^||

est la composante de y dans la x direction. Par de Cauchy-Schwarz, il est maximisée exactement quandy^X^est parallèle à Y =(-1,-1,...,-1,n-1,-1,-1,...,-1)/n, pour lesquelsTi=±X^y^=(-1,-1,,-1,n-1,-1,-1,,-1)/nQED.

Ti=±n1y^y^||y^||=±n1||y^||=±n1n,

Soit dit en passant, cette solution fournit une caractérisation exhaustive de tous les cas où est maximisé: ils sont tous de la forme|Ti|

X=σy^+μ1=σ(-1,-1,,-1,n-1,-1,-1,,-1)+μ(1,1,,1)

pour tout réel , σ .μ,σ

Cette analyse se généralise facilement au cas où est remplacé par n'importe quel ensemble de régresseurs. Évidemment, le maximum de T i est proportionnel à la longueur du résidu de y , | | y | | .{1}Tjey||y^||


Simplification

Parce que est invariant sous les changements de localisation et d'échelle, nous pouvons supposer sans perte de généralité que la somme de X i à zéro et leurs carrés à n - 1 . Cela identifie | T i | avecTjeXjen-1|Tje|, puisque S (le carré moyen) vaut 1 . La maximiser équivaut à la maximiser | T i | 2 = T 2 i = X 2 i . Aucune généralité n'est perdue en prenant|Xje|S1|Tje|2=Tje2=Xje2 , soit, puisque les X i sont échangeables.je=1Xje


Solution via une double formulation

Un double problème consiste à fixer la valeur de et à se demander quelles valeurs des X j , j 1 restantes sont nécessaires pour minimiser la somme des carrés n j = 1 X 2 j étant donné que n j = 1X12Xj,j1j=1nXj2 . Parce que X 1 est donné, c'est le problème de minimisern j = 2 X 2 j étant donné quenj=1nXj=0X1j=2nXj2.j=2nXj=-X1

La solution se trouve facilement à bien des égards. L'un des plus élémentaires est d'écrire

Xj=-X1n-1+εj, j=2,3,,n

pour laquelle . Élargir la fonction objectif et utiliser cette identité somme-à-zéro pour la simplifier produitj=2nεj=0

j=2nXj2=j=2n(-X1n-1+εj)2=(-X1n-1)2-2X1n-1εj+εj2=Constant+εj2,

montrant immédiatement la solution unique est pour tout j . Pour cette solution,εj=0j

(n-1)S2=X12+(n-1)(-X1n-1)2=(1+1n-1)X12=nn-1X12

et

|Tje|=|X1|S=|X1|n(n-1)2X12=n-1n,

QED .


Solution via les machines

Revenons au programme simplifié avec lequel nous avons commencé:

Maximiser X12

sujet à

je=1nXje=0 et je=1nXje2-(n-1)=0.

La méthode des multiplicateurs de Lagrange (qui est presque purement mécanique et simple) équivaut à une combinaison linéaire non triviale des gradients de ces trois fonctions à zéro:

(0,0,,0)=λ1D(X12)+λ2D(i=1nXi)+λ3D(i=1nXi2(n1)).

Composante par composante, ces équations sontn

0=2λ1X1+λ2+2λ3X10=λ2+2λ3X20=0=λ2+2λ3Xn.

Les derniers - 1 d'entre eux impliquent soit X 2 = X 3 = = X n = - λ 2 / ( 2 λ 3 ) ou λ 2 = λ 3 =n1X2=X3==Xn=λ2/(2λ3) . (Nous pouvons exclure ce dernier cas car alors la première équation implique λ 1 = 0 , banalisant la combinaison linéaire.) La contrainte de somme à zéro produit X 1 = - ( n - 1λ2=λ3=0λ1=0 . La contrainte de somme des carrés fournit les deux solutionsX1=(n1)X2

X1=±n1n; X2=X3==Xn=1n.

Ils cèdent tous les deux

|Tje|=|X1||±n-1n|=n-1n.
whuber
la source
Merci pour votre addenda, la géométrie est très puissante et parmi les trois solutions, c'est la plus intuitive pour moi.
JohnK
0

L'inégalité, comme indiqué, est vraie. Il est assez clair intuitivement que nous obtenons le cas le plus difficile pour l'inégalité (c'est-à-dire en maximisant le côté gauche pour donné ) en choisissant une valeur, disonsS2 aussi grande que possible tout en ayant toutes les autres égales. Voyons un exemple avec une telle configuration:X1

maintenant | x i - ˉ x |

n=4,X1=X2=X3=0,X4=4,X¯=1,S2=4,
fonction dei, tandis que la limite supérieure donnée est égale à4-1|Xje-X¯|S={12 ou 32je4-12=1,5 ce qui est juste suffisant. Cette idée peut être complétée par une preuve.

ÉDITER

Nous allons maintenant prouver la réclamation, comme indiqué ci-dessus. Premièrement, pour tout vecteur donné dans ce problème, nous pouvons le remplacer par x - ˉ x sans changer l'un ou l'autre côté de l'inégalité ci-dessus. Donc, dans ce qui suit, supposons que ˉ x = 0 . On peut aussi en réétiquetant supposer que x 1 est le plus grand. Ensuite, en choisissant d'abord x 1 > 0 puis x 2X=(X1,X2,,Xn)X-X¯X¯=0X1X1>0X2=X3==Xn=-X1n-1 nous pouvons vérifier par algèbre simple que nous avons l'égalité dans l'inégalité revendiquée. Donc, c'est net.

Définissez ensuite la région (convexe) par R = { x R : ˉ x = 0 , ( x i - ˉ x ) 2 / ( n - 1 ) S 2 } pour une constante positive donnée S 2 . Notez que R est l'intersection d'un hyperplan avec une sphère centrée à l'origine, tout comme une sphère dans ( n - 1R

R={XR:X¯=0,(Xje-X¯)2/(n-1)S2}
S2R espace. Notre problème peut maintenant être formulé comme (n-1) puisqu'unxmaximisant ce sera le cas le plus difficile pour l'inégalité. C'est un problème de trouver le maximum d'une fonction convexe sur un ensemble convexe, qui sont en général des problèmes difficiles (les minimums sont faciles!). Mais, dans ce cas, la région convexe est une sphère centrée sur l'origine, et la fonction que nous voulons maximiser est la valeur absolue des coordonnées. Il est évident que ce maximum se trouve à la sphère limite deR, et en prenant | x 1 | maximal, notre premier cas de test est forcé.
maxXRmaxje|Xje|
XR|X1|
kjetil b halvorsen
la source
@JohnK vous pouvez supprimer vos commentaires maintenant, le message est corrigé
kjetil b halvorsen
Bien que cette réponse montre que l'inégalité (en supposant qu'elle est vraie, laquelle elle est) est étroite , il n'est pas évident de savoir comment ce calcul unique pourrait être «complété jusqu'à une preuve». Pourriez-vous donner une indication de la façon dont cela serait fait?
whuber
Will, mais demain, maintenant je dois préparer le cours de demain.
kjetil b halvorsen
Merci - j'apprécie votre formulation prudente du problème. Mais votre "preuve" semble en venir à la déclaration "qu'il est évident que". Vous pouvez toujours appliquer des multiplicateurs de Lagrange pour terminer le travail, mais ce serait bien de voir une approche qui (a) est en fait une preuve et (b) fournit un aperçu.
whuber
2
@whuber Si vous avez le temps, j'apprécierais que vous puissiez poster votre solution de multiplicateurs Lagrange. Je pense que l'inégalité dans son ensemble n'est pas aussi célèbre qu'elle devrait l'être.
JohnK