Quelle est la caractérisation la plus surprenante de la distribution gaussienne (normale)?

52

Une distribution gaussienne normalisée sur peut être définie en donnant explicitement sa densité: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

ou sa fonction caractéristique.

Comme rappelé dans cette question, il s'agit également de la seule distribution pour laquelle la moyenne et la variance de l'échantillon sont indépendantes.

Quelles sont les autres caractérisations alternatives surprenantes des mesures gaussiennes que vous connaissez? J'accepterai la réponse la plus surprenante

probability normal-distribution mathematical-statistics characteristic-function robin girard
la source

39

Ce qui me surprend le plus est celui de la moyenne et de la variance de l'échantillon, mais voici une autre caractérisation (peut-être) surprenante: si $X$ et $Y$ sont IID avec une variance finie avec $X+Y$ et $X-Y$ indépendants, alors $X$ et $Y$ sont normaux.

Intuitivement, nous pouvons généralement identifier le moment où les variables ne sont pas indépendantes avec un diagramme de dispersion. Imaginez donc un diagramme de dispersion de paires qui semble indépendant. Maintenant, faites une rotation de 45 degrés et regardez à nouveau: si elle a toujours l’ air indépendante, alors les coordonnées et doivent être individuellement normales (tout cela est vague, bien sûr). $(X,Y)$ $X$ $Y$

Pour voir pourquoi le bit intuitif fonctionne, jetez un oeil à

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

utilisateur1108
la source

3

Jay - il s’agit essentiellement d’une réaffirmation de l’indépendance de la moyenne et de la variance.

est une moyenne redimensionnée et est un écart-type redimensionné.

X + Y

$X+Y$

X - Y

$X-Y$

probabilityislogic

5

@probabilityislogic - Je aime l'intuition de ce que vous avez dit, mais je ne pense pas que ce soit exactement un redressement parce que

est pas exactement une remise à l' échelle de la SD: SD les oublie le signe. Donc, l’indépendance de la moyenne et du SD résulte de l’indépendance de

,

(lorsque

), mais pas l’inverse. C'est peut-être ce que vous vouliez dire par "fondamentalement". En tout cas, c'est bon.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Où pouvons-nous trouver des preuves pour cette propriété?

Royi

1

@Royi voir 16. ici . Pour (a), notez que

. Pour (b) noter que

qui aspire à la substitution

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

à partirlaquelle vous

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

. Si

, alors

, donc pour tout

,

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

et il existe une séquence

telle que

et

pour tout

, ce qui contredit la continuité de

en

. (c) est tout droit [suite]

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$

Gabriel Romon

1

Pour (d),

. Notez que

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

, d'où

. Branchez ceci à l'égalité précédente et prouvez que pour

fixé,ce qui impliquepour tout. Cela signifie queest réel et que l'égalité en (a) se transforme en ce qui est demandé. Encore une fois, prouver queet utiliserpour obtenir

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$ . Par conséquent, et est normal.

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$

Gabriel Romon

27

La distribution continue à variance fixe qui maximise l' entropie différentielle est la distribution gaussienne.

shabbychef
la source

22

Un livre entier a été écrit à ce sujet: "Caractérisations de la loi de probabilité normale", AM Mathai & G. Perderzoli. Un bref compte rendu de JASA (décembre 1978) mentionne ce qui suit:

Soit des variables aléatoires indépendantes. Alors et sont indépendants, où , si et seulement si [sont] normalement distribués. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

gain
la source

3

il doit y avoir une condition telle que manquante? Par exemple, si n = 2 et ne sont pas indépendants.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

robin girard

1

@Robin bonne prise. J'ai également été intrigué par les quantificateurs implicites. Malheureusement, tout ce à quoi j'ai accès, c'est cette citation (titillante) de la critique, pas le livre. Ce serait amusant de le trouver dans une bibliothèque et de le parcourir ...

whuber

Cela ressemble à une généralisation de la réponse de G. Jay Kerns (actuellement n ° 1).

vqv

Je pense que vous recherchez peut-être le papier de Lukacs & King (1954). Voir cette réponse sur math.SE avec un lien vers le document susmentionné.

cardinal

2

Où cette proposition dit "où " signifie-t-elle pour CHAQUE ensemble de scalaires où "? Je déteste voir" où "utilisé à la place de" pour chaque "ou" pour certains "." Où "devrait être utilisé pour expliquer sa notation, comme dans" où est la vitesse de la lumière et est le produit intérieur brut ", etc.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

Michael Hardy

17

Les distributions gaussiennes sont les seules distributions à somme stable avec une variance finie.

shabbychef
la source

8

Qu'ils soient somme stables et qu'ils soient uniques avec une variance finie nous sont tous deux imposés par le CLT. La partie intéressante de cette affirmation est qu'il existe d' autres distributions stables à la somme!

whuber

1

@ Whuber: en effet! cette caractérisation est un peu déformée et les autres distributions à somme stable sont peut-être plus curieuses.

Shabbychef

@ Whuber en fait, je ne vois pas comment le CLT implique ce fait. Cela semble seulement nous dire que asymptotiquement , la somme des normales est normale et non pas qu'une somme finie est normalement distribuée. Ou devez-vous également utiliser le théorème de Slutsky?

Shabbychef

3

En adoptant la normalisation habituelle, une somme de deux normales est la somme d’une distribution normale X_0 plus la distribution limite d’une série X_1, X_2, ..., d’où la somme correspond à la distribution limite de X_0, X_1, ..., qui par le Lindeberg-Levy CLT est normal.

whuber

17

Le lemme de Stein fournit une caractérisation très utile. est gaussien standard si et seulement si pour toutes les fonctions absolument continues avec . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

vqv
la source

12

Théorème [Herschel-Maxwell]: Soit un vecteur aléatoire pour lequel (i) les projections dans des sous-espaces orthogonaux sont indépendantes et (ii) la distribution de ne dépend que de la longueur . Alors est normalement distribué. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Cité par George Cobb dans Teaching statistics: Quelques tensions importantes (Chilean J. Statistics, vol. 2, n ° 1, avril 2011), p. 54

Cobb utilise cette caractérisation comme point de départ pour dériver les , et , sans utiliser le calcul (ou beaucoup de théorie de probabilité). $\chi^2$ $t$ $F$

gain
la source

9

Soit et deux variables aléatoires indépendantes ayant une distribution symétrique commune telle que $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Alors ces variables aléatoires sont gaussiennes. ( De toute évidence, si le et sont centrées gaussienne, il est vrai.) $\xi$ $\eta$

C'est le théorème de Bobkov-Houdre

robin girard
la source

9

Ce n'est pas une caractérisation mais une conjecture, qui remonte à 1917 et est due à Cantelli:

Si est une fonction positive sur et et sont variables aléatoires indépendantes telles que soit normal, alors est une constante presque partout. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Mentionné par Gérard Letac ici .

fait
la source

c'est bien que vous en parliez! Je ne peux pas comprendre l'intuition, et vous?

robin girard

@robin C'est ce qui rend cette conjecture si spéciale: une déclaration complètement élémentaire, des approches évidentes qui échouent lamentablement (fonctions caractéristiques), et il ne reste rien à saisir ... Au fait, faut-il parier que la conjecture est vraie ou fausses? Même cela n'est pas évident (pour moi).

Le

2

Si Gérard Letac n'a pas réussi à le prouver, cela pourrait rester une conjecture ouverte pendant un bon moment ...!

Xi'an

@ Xi'an: Je suis entièrement d'accord, bien sûr. (Je ne savais pas que vous étiez en itinérance dans ces quartiers du Web ... Bonne nouvelle que vous soyez.)

Fait le

6

@ Xi'an Voici une pré - impression de Victor Kleptsyn et Aline Kurtzmann avec un contre-exemple à la conjecture de Cantelli. La construction utilise un nouvel outil, que les auteurs appellent le transport de masse brownien, et produit une fonction discontinue

. Les auteurs affirment qu’ils croient que la conjecture de Cantelli est vraie si l’on demande que

est continu (la leur est un mélange de deux fonctions continues).

f

$f$

f

$f$

Avez

8

Supposons que l' on est l' estimation d' un paramètre de localisation en utilisant les données iid . Si est l'estimateur du maximum de vraisemblance, alors la distribution d'échantillonnage est gaussienne. Selon la théorie des probabilités de Jaynes : La logique de la science, pages 202-4, c'est ainsi que Gauss l'a dérivé à l'origine. $\{x_1,...,x_n\}$ $\bar{x}$

Cyan
la source

Je ne suis pas sûr de comprendre cela comme une caractérisation de la distribution normale, alors il me manque probablement quelque chose. Et si nous avions des données de Poisson et voulions estimer

? Le MLE est

mais la distribution d'échantillonnage de

est pas gaussienne - d'une part,

doit être rationnelle; deuxièmement, si c’était gaussien, il en serait de même de

mais c’est

.

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

Silverfish

2

La moyenne de Poisson n'est pas un paramètre de localisation!

kjetil b halvorsen

6

Une caractérisation plus particulière de la distribution normale parmi la classe des distributions infiniment divisibles est présentée dans Steutel et Van Harn (2004) .

Un non-dégénéré variable aléatoire divisible à l' infini a une distribution normale si et seulement si elle satisfait $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Ce résultat caractérise la distribution normale en terme de comportement en queue.

utilisateur10525
la source

1

Une courte preuve de la limite indiquée va comme suit: Si

est la normale standard, alors

comme

, donc

. Mais

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$ et donc le résultat suit. Une ébauche approximative du cas de Poisson semble indiquer que la limite donnée est

, mais je n'ai pas vérifié cela de trop près.

λ

$\lambda$

cardinal

6

Dans le contexte du lissage d'image (par exemple , l'espace d'échelle ), la gaussienne est le seul noyau séparable * à rotation symétrique.

Autrement dit, si nous avons besoin de où , alors la symétrie de rotation nécessite

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

ce qui équivaut à

.

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Exiger que soit un noyau approprié requiert alors que la constante soit négative et que la valeur initiale soit positive, ce qui donne le noyau gaussien. $f[x]$

* Dans le contexte des distributions de probabilités, séparable signifie indépendant, tandis que dans le contexte du filtrage d'images, cela permet de réduire la convolution 2D en calculs à deux convolutions 1D.

GeoMatt22
la source

2

+1 Mais cela ne découle-t-il pas d'une application immédiate du théorème de Herschel-Maxwell en 2D?

whuber

@ Whuber En effet, j'ai réussi à oublier votre réponse en parcourant ce fil!

amibe dit de réintégrer Monica le

@ Whuber Oui. Je n'avais pas lu en détail cet ancien fil de discussion et je ne faisais qu'ajouter cette réponse à la demande.

GeoMatt22

1

@ amoeba voir aussi ici .

GeoMatt22

3

Ejsmont [1] a récemment publié un article avec une nouvelle caractérisation du gaussien:

Laisser $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1]. Ejsmont, Wiktor. "Une caractérisation de la distribution normale par l'indépendance d'un couple de vecteurs aléatoires." Statistics & Probability Letters 114 (2016): 1-5.

Daniel
la source

1

C'est une caractérisation délicate et fascinante. Merci d'avoir amélioré ce fil en le partageant!

whuber

1

Sa fonction caractéristique a la même forme que son pdf. Je ne suis pas sûr d'une autre distribution qui fait ça.

Jason
la source

4

Voir cette réponse pour trouver des moyens de construire des variables aléatoires dont les fonctions caractéristiques sont les mêmes que leurs fichiers PDF.

Dilip Sarwate

-1

L'espérance plus moins l'écart type sont les points de selle de la fonction.

Tal Galili
la source

11

Ceci est une propriété de la distribution Normal, bien sûr, mais cela ne la caractérise pas, car beaucoup d'autres distributions possèdent également cette propriété.

whuber

Quelle est la caractérisation la plus surprenante de la distribution gaussienne (normale)?

Réponses: