Comment prouver cela

J'ai essayé d'établir l'inégalité

$| T_{i} | = \frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}$ $\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$

où $\bar{X}$ est la moyenne de l'échantillon et $S$ l'écart-type de l'échantillon, c'est-à-dire $S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$ .

Il est facile de voir que $\sum_{i=1}^n T_i^2 = n-1$ et ainsi $\left| T_i \right| < \sqrt{n-1}$ mais ce n'est pas très proche de ce que je cherchais, ce n'est pas non plus une limite utile. J'ai expérimenté les inégalités de Cauchy-Schwarz et du triangle mais je suis allé nulle part. Il doit y avoir une étape subtile qui me manque quelque part. J'apprécierais de l'aide, merci.

self-study descriptive-statistics bounds JohnK
la source

Réponses:

C'est l'inégalité de Samuelson et elle a besoin du signe $\leq$ . Si vous prenez la version Wikipedia et la retravaillez pour la définition $n-1$ de $S,$ vous constaterez qu'elle devient

\frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}

${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$

Soakley
la source

C'est donné comme une inégalité stricte dans le livre mais je l'ai corrigé, merci.

JohnK

Après avoir simplifié le problème au moyen de procédures de routine, il peut être résolu en le convertissant en un programme de minimisation double qui a une réponse bien connue avec une preuve élémentaire. Cette dualisation est peut-être «l'étape subtile» mentionnée dans la question. L'inégalité peut également être établie de manière purement mécanique en maximisant $|T_i|$ via les multiplicateurs de Lagrange.

Mais d'abord, je propose une solution plus élégante basée sur la géométrie des moindres carrés. Il ne nécessite aucune simplification préalable et est presque immédiat, fournissant une intuition directe dans le résultat. Comme suggéré dans la question, le problème se réduit à l'inégalité de Cauchy-Schwarz.

Solution géométrique

Considérons comme un vecteur à dimensions dans l'espace euclidien avec le produit scalaire habituel. Soit le vecteur de base et . Écrire $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ $n$ $\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ $i^\text{th}$ $\mathbf{1} = (1,1,\ldots, 1)$ $\mathbf{\hat x}$ pour les projections orthogonales deetdans le complément orthogonal de. (Dansterminologie statistique, ce sont les résidus enqui concerne les moyens.) Alors, puisqueet $\mathbf{\hat y}$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{1}$ $X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ , $S = ||\mathbf{\hat x}||/\sqrt{n-1}$

| T_{je} | = \sqrt{n - 1} \frac{| \hat{X} \cdot y |}{| | \hat{X} | |} = \sqrt{n - 1} \frac{| \hat{X} \cdot \hat{y} |}{| | \hat{X} | |}

$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$

est la composante de dans la direction. Par de Cauchy-Schwarz, il est maximisée exactement $\mathbf{\hat y}$ $\mathbf{\hat x}$ est parallèle à, pour lesquels $\mathbf{\hat x}$ $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$ QED.

T_{i} = \pm \sqrt{n - 1} \frac{\hat{y} \cdot \hat{y}}{| | \hat{y} | |} = \pm \sqrt{n - 1} | | \hat{y} | | = \pm \frac{n - 1}{\sqrt{n}},

$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$

Soit dit en passant, cette solution fournit une caractérisation exhaustive de tous les cas où est maximisé: ils sont tous de la forme $|T_i|$

X = σ \hat{y} + μ 1 = σ (- 1, - 1, \dots, - 1, n - 1, - 1, - 1, \dots, - 1) + μ (1, 1, \dots, 1)

$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$

pour tout réel . $\mu, \sigma$

Cette analyse se généralise facilement au cas où est remplacé par n'importe quel ensemble de régresseurs. Évidemment, le maximum de est proportionnel à la longueur du résidu de , . $\{\mathbf{1}\}$ $T_i$ $\mathbf{y}$ $||\mathbf{\hat y}||$

Simplification

Parce que est invariant sous les changements de localisation et d'échelle, nous pouvons supposer sans perte de généralité que la somme de à zéro et leurs carrés à . Cela identifie avec $T_i$ $X_i$ $n-1$ $|T_i|$ , puisque (le carré moyen) vaut . La maximiser équivaut à la maximiser . Aucune généralité n'est perdue en prenant $|X_i|$ $S$ $1$ $|T_i|^2 = T_i^2 = X_i^2$ , soit, puisque les sont échangeables. $i=1$ $X_i$

Solution via une double formulation

Un double problème consiste à fixer la valeur de et à se demander quelles valeurs des restantes sont nécessaires pour minimiser la somme des carrés étant donné que $X_1^2$ $X_j, j\ne 1$ $\sum_{j=1}^n X_j^2$ . Parce que est donné, c'est le problème de minimiser étant donné que $\sum_{j=1}^n X_j = 0$ $X_1$ $\sum_{j=2}^n X_j^2$ . $\sum_{j=2}^n X_j = -X_1$

La solution se trouve facilement à bien des égards. L'un des plus élémentaires est d'écrire

X_{j} = - \frac{X_{1}}{n - 1} + ε_{j}, j = 2, 3, \dots, n

$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$

pour laquelle . Élargir la fonction objectif et utiliser cette identité somme-à-zéro pour la simplifier produit $\sum_{j=2}^n \varepsilon_j = 0$

\sum_{j = 2}^{n} X_{j}^{2} = \sum_{j = 2}^{n} {(- \frac{X_{1}}{n - 1} + ε_{j})}^{2} = \sum {(- \frac{X_{1}}{n - 1})}^{2} - 2 \frac{X_{1}}{n - 1} \sum ε_{j} + \sum ε_{j}^{2} = Constant + \sum ε_{j}^{2},

$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$

montrant immédiatement la solution unique est pour tout . Pour cette solution, $\varepsilon_j=0$ $j$

(n - 1) S^{2} = X_{1}^{2} + (n - 1) {(- \frac{X_{1}}{n - 1})}^{2} = (1 + \frac{1}{n - 1}) X_{1}^{2} = \frac{n}{n - 1} X_{1}^{2}

$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$

| T_{je} | = \frac{| X_{1} |}{S} = \frac{| X_{1} |}{\sqrt{\frac{n}{(n - 1)^{2}} X_{1}^{2}}} = \frac{n - 1}{\sqrt{n}},

$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$

QED .

Solution via les machines

Revenons au programme simplifié avec lequel nous avons commencé:

Maximiser X_{1}^{2}

$\text{Maximize } X_1^2$

sujet à

\sum_{je = 1}^{n} X_{je} = 0 et \sum_{je = 1}^{n} X_{je}^{2} - (n - 1) = 0.

$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$

La méthode des multiplicateurs de Lagrange (qui est presque purement mécanique et simple) équivaut à une combinaison linéaire non triviale des gradients de ces trois fonctions à zéro:

(0, 0, \dots, 0) = λ_{1} D (X_{1}^{2}) + λ_{2} D (\sum_{i = 1}^{n} X_{i}) + λ_{3} D (\sum_{i = 1}^{n} X_{i}^{2} - (n - 1)) .

$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$

Composante par composante, ces équations sont $n$

\begin{aligned} 0 & = 2 λ_{1} X_{1} + & λ_{2} & + 2 λ_{3} X_{1} \\ 0 & = & λ_{2} & + 2 λ_{3} X_{2} \\ 0 & = \dots \\ 0 & = & λ_{2} & + 2 λ_{3} X_{n} . \end{aligned}

$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$

Les derniers d'entre eux impliquent soit ou $n-1$ $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ . (Nous pouvons exclure ce dernier cas car alors la première équation implique , banalisant la combinaison linéaire.) La contrainte de somme à zéro produit $\lambda_2=\lambda_3=0$ $\lambda_1=0$ . La contrainte de somme des carrés fournit les deux solutions $X_1 = -(n-1)X_2$

X_{1} = \pm \frac{n - 1}{\sqrt{n}}; X_{2} = X_{3} = \dots = X_{n} = \mp \frac{1}{\sqrt{n}} .

$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$

Ils cèdent tous les deux

| T_{je} | = | X_{1} | \leq | \pm \frac{n - 1}{\sqrt{n}} | = \frac{n - 1}{\sqrt{n}} .

$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$

whuber
la source

Merci pour votre addenda, la géométrie est très puissante et parmi les trois solutions, c'est la plus intuitive pour moi.

JohnK

L'inégalité, comme indiqué, est vraie. Il est assez clair intuitivement que nous obtenons le cas le plus difficile pour l'inégalité (c'est-à-dire en maximisant le côté gauche pour donné ) en choisissant une valeur, disons $S^2$ aussi grande que possible tout en ayant toutes les autres égales. Voyons un exemple avec une telle configuration: $x_1$

maintenant

n = 4, X_{1} = X_{2} = X_{3} = 0, X_{4} = 4, \bar{X} = 1, S^{2} = 4,

$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$

fonction de

, tandis que la limite supérieure donnée est égale à

\frac{| x_{i} - \bar{x} |}{S} = {\begin{cases} \frac{1}{2} or \\ \frac{3}{2} \end{cases}

$\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$

i

$i$

\frac{4 - 1}{2} = 1.5

$\frac{4-1}{2}=1.5$ ce qui est juste suffisant. Cette idée peut être complétée par une preuve.

ÉDITER

Nous allons maintenant prouver la réclamation, comme indiqué ci-dessus. Premièrement, pour tout vecteur donné dans ce problème, nous pouvons le remplacer par sans changer l'un ou l'autre côté de l'inégalité ci-dessus. Donc, dans ce qui suit, supposons que . On peut aussi en réétiquetant supposer que est le plus grand. Ensuite, en choisissant d'abord puis $x=(x_1, x_2, \dots, x_n)$ $x-\bar{x}$ $\bar{x}=0$ $x_1$ $x_1>0$ $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$ nous pouvons vérifier par algèbre simple que nous avons l'égalité dans l'inégalité revendiquée. Donc, c'est net.

Définissez ensuite la région (convexe) par pour une constante positive donnée . Notez que est l'intersection d'un hyperplan avec une sphère centrée à l'origine, tout comme une sphère dans $R$

R = {X \in R : \bar{X} = 0, \sum (X_{je} - \bar{X})^{2} / (n - 1) \leq S^{2}}

$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$

S^{2}

$S^2$

R

$R$

espace. Notre problème peut maintenant être formulé comme

(n - 1)

$(n-1)$

puisqu'un

maximisant ce sera le cas le plus difficile pour l'inégalité. C'est un problème de trouver le maximum d'une fonction convexe sur un ensemble convexe, qui sont en général des problèmes difficiles (les minimums sont faciles!). Mais, dans ce cas, la région convexe est une sphère centrée sur l'origine, et la fonction que nous voulons maximiser est la valeur absolue des coordonnées. Il est évident que ce maximum se trouve à la sphère limite de

, et en prenant

maximal, notre premier cas de test est forcé.

max_{X \in R} max_{je} | X_{je} |

$\max_{x\in R} \max_i |x_i|$

x

$x$

R

$R$

| x_{1} |

$|x_1|$

kjetil b halvorsen
la source

@JohnK vous pouvez supprimer vos commentaires maintenant, le message est corrigé

kjetil b halvorsen

Bien que cette réponse montre que l'inégalité (en supposant qu'elle est vraie, laquelle elle est) est étroite , il n'est pas évident de savoir comment ce calcul unique pourrait être «complété jusqu'à une preuve». Pourriez-vous donner une indication de la façon dont cela serait fait?

whuber

Will, mais demain, maintenant je dois préparer le cours de demain.

kjetil b halvorsen

Merci - j'apprécie votre formulation prudente du problème. Mais votre "preuve" semble en venir à la déclaration "qu'il est évident que". Vous pouvez toujours appliquer des multiplicateurs de Lagrange pour terminer le travail, mais ce serait bien de voir une approche qui (a) est en fait une preuve et (b) fournit un aperçu.

whuber

@whuber Si vous avez le temps, j'apprécierais que vous puissiez poster votre solution de multiplicateurs Lagrange. Je pense que l'inégalité dans son ensemble n'est pas aussi célèbre qu'elle devrait l'être.

JohnK