La relation entre la distribution gamma et la distribution normale

J'ai récemment trouvé nécessaire de dériver un pdf pour le carré d'une variable aléatoire normale avec une moyenne de 0. Pour une raison quelconque, j'ai choisi de ne pas normaliser la variance au préalable. Si je l'ai fait correctement, ce pdf est le suivant:

$$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$$

J'ai remarqué que ce n'était en fait qu'une paramétrisation d'une distribution gamma:

$$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$$

Et puis, du fait que la somme de deux gammas (avec le même paramètre d'échelle) est égale à un autre gamma, il s'ensuit que le gamma est équivalent à la somme de variables aléatoires normales au carré.$k$

$$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$$

C'était un peu surprenant pour moi. Même si je savais que la - une distribution de la somme des VR normaux au carré standard - était un cas spécial du gamma, je ne savais pas que le gamma était essentiellement juste une généralisation permettant la somme de la normale variables aléatoires de toute variance. Cela conduit également à d'autres caractérisations que je n'avais pas rencontrées auparavant, telles que la distribution exponentielle étant équivalente à la somme de deux distributions normales au carré.$\chi^2$

Tout cela est quelque peu mystérieux pour moi. La distribution normale est-elle fondamentale pour la dérivation de la distribution gamma, de la manière décrite ci-dessus? La plupart des ressources que j'ai vérifiées ne mentionnent pas que les deux distributions sont intrinsèquement liées comme ça, ou même d'ailleurs décrivent comment le gamma est dérivé. Cela me fait penser qu'une vérité de niveau inférieur est en jeu que j'ai simplement mise en évidence de manière alambiquée?

Comme l'a noté le commentaire du professeur Sarwate, les relations entre la normale au carré et le chi carré sont un fait très largement diffusé - car il devrait également être le fait qu'un chi carré n'est qu'un cas particulier de la distribution Gamma:

$$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$$

la dernière égalité résultant de la propriété de mise à l'échelle du Gamma.

En ce qui concerne la relation avec l'exponentielle, pour être précis, c'est la somme de deux normales de moyenne nulle au carré, chacune mise à l'échelle par la variance de l'autre , qui conduit à la distribution exponentielle:

$$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$$

$$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$$

Mais le soupçon qu'il y a "quelque chose de spécial" ou de "plus profond" dans la somme de deux normales moyennes au carré zéro qui "en fait un bon modèle pour le temps d'attente" n'est pas fondé: tout d'abord, ce qui est spécial au sujet de la distribution exponentielle qui fait -ce un bon modèle pour le "temps d'attente"? L'absence de mémoire bien sûr, mais y a-t-il quelque chose de "plus profond" ici, ou simplement la forme fonctionnelle simple de la fonction de distribution exponentielle, et les propriétés de ? Les propriétés uniques sont éparpillées partout dans les mathématiques, et la plupart du temps, elles ne reflètent pas une "intuition plus profonde" ou une "structure" - elles existent simplement (heureusement).$e$

Deuxièmement, le carré d'une variable a très peu de relation avec son niveau. Considérez simplement in, disons, :[ - 2 $f(x) = x$$[-2,\,2]$

... ou représenter graphiquement la densité normale standard par rapport à la densité du chi carré: ils reflètent et représentent des comportements stochastiques totalement différents, même s'ils sont si intimement liés, car le second est la densité d'une variable qui est le carré du premier. La normale peut être un pilier très important du système mathématique que nous avons développé pour modéliser le comportement stochastique - mais une fois que vous l'ajustez, cela devient quelque chose de totalement différent.

Abordons la question posée: tout cela est quelque peu mystérieux pour moi. La distribution normale est-elle fondamentale pour la dérivation de la distribution gamma ...? Pas de mystère vraiment, c'est simplement que la distribution normale et la distribution gamma sont membres, entre autres de la famille exponentielle de distributions, laquelle famille est définie par la capacité de convertir entre des formes équationnelles par substitution de paramètres et / ou de variables. En conséquence, il existe de nombreuses conversions par substitution entre distributions, dont quelques - unes sont résumées dans la figure ci-dessous.

LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (février 2008). "Relations de distribution univariées" (PDF). Statisticien américain. 62 (1): 45-53. doi: 10.1198 / 000313008x270448 citer

Voici deux relations de distribution normale et gamma plus en détail (parmi un nombre inconnu d'autres, comme via le chi carré et la bêta).

Premièrement, une relation plus directe entre la distribution gamma (GD) et la distribution normale (ND) avec zéro moyen suit. Autrement dit, le GD prend une forme normale car son paramètre de forme peut augmenter. Il est plus difficile de prouver que tel est le cas. Pour le GD,

$$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$$

Comme le paramètre de forme GD , la forme GD devient plus symétrique et normale, cependant, comme la moyenne augmente avec l'augmentation de , nous devons déplacer le GD de gauche de pour le maintenir stationnaire, et enfin, si nous souhaitons conserver le même écart-type pour notre GD décalé, nous devons diminuer le paramètre d'échelle ( ) proportionnel à .$a\rightarrow \infty$$a$$(a-1) \sqrt{\dfrac{1}{a}} k$$b$$\sqrt{\dfrac{1}{a}}$

A savoir, pour transformer un GD en un cas limite ND, nous définissons l'écart type comme une constante ( ) en laissant et en déplaçant le GD vers la gauche pour avoir un mode de zéro en substituantEnsuite$k$$b=\sqrt{\dfrac{1}{a}} k$$z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

$$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$$

Notez que dans la limite en tant la valeur la plus négative de pour laquelle ce GD est différent de zéro . Autrement dit, le support GD semi-infini devient infini . En prenant la limite comme du GD reparameterized, nous trouvons$a\rightarrow\infty$$x$$\rightarrow -\infty$$a\rightarrow \infty$

$$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$$

Graphiquement pour et le GD est en bleu et le limitant est en orange, en dessous$k=2$$a=1,2,4,8,16,32,64$$\text{ND}\left(x;0,\ 2^2\right)$

Deuxièmement, soulignons qu'en raison de la similitude de forme entre ces distributions, on peut à peu près développer des relations entre le gamma et les distributions normales en les tirant hors de l'air. A savoir, nous développons ensuite une généralisation de la distribution gamma "dépliée" d'une distribution normale.

Notez d'abord que c'est le support semi-infini de la distribution gamma qui entrave une relation plus directe avec la distribution normale. Cependant, cet obstacle peut être supprimé en considérant la distribution semi-normale, qui a également un support semi-infini. Ainsi, on peut généraliser la distribution normale (ND) en la pliant d'abord pour qu'elle soit semi-normale (HND), en la reliant à la distribution gamma généralisée (GD), puis pour notre tour de force, on "déplie" les deux (HND et GD) pour faire ainsi un ND généralisé (un GND).

La distribution gamma généralisée

$$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$$

Peut être reparamétrisé pour être la distribution semi-normale ,

$$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$$

Notez queAinsi,$\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

$$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$$

ce qui implique que

$$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$$

est une généralisation de la distribution normale, où est l'emplacement, est l'échelle et est la forme et où donne une distribution normale. Il inclut la distribution de Laplace lorsque . Comme , la densité converge ponctuellement vers une densité uniforme sur . Vous trouverez ci-dessous la distribution normale généralisée tracée pour en bleu avec le cas normal en orange.$\mu$$\alpha>0$$\beta>0$$\beta=2$$\beta=1$$\beta\rightarrow\infty$$(\mu-\alpha,\mu+\alpha)$$\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$$\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

Ce qui précède peut être considéré comme la distribution normale généralisée version 1 et dans différentes paramétrisations est connue comme la distribution de puissance exponentielle et la distribution d'erreur généralisée, qui sont à leur tour l'une des nombreuses autres distributions normales généralisées .

La dérivation de la distribution chi carré de la distribution normale est très analogue à la dérivation de la distribution gamma de la distribution exponentielle.

Nous devrions pouvoir généraliser ceci:

• Si les sont des variables indépendantes d'une distribution normale généralisée avec un coefficient de puissance alors peut être lié à une distribution chi carré à l'échelle (avec des "degrés de liberté" égaux à ).$X_i$$m$$Y = \sum_{i}^n {X_i}^m$$n/m$

---

L'analogie est la suivante:

Les distributions normale et khi carré se rapportent à la somme des carrés

• La distribution de densité conjointe de plusieurs variables distribuées normales standard indépendantes dépend de$\sum x_i^2$
  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$

• Si$X_i \sim N(0,1)$

  alors$\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Les distributions exponentielles et gamma se rapportent à la somme régulière

• La distribution de densité conjointe de plusieurs variables distribuées exponentielles indépendantes dépend de $\sum x_i$

  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$

• Si$X_i \sim Exp(\lambda)$

  alors$\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

---

La dérivation peut être effectuée par un changement de variables intégrant non pas sur tous les mais plutôt sur le terme sommé (c'est ce que Pearson a fait en 1900). Cela se déroule de manière très similaire dans les deux cas.$x_1,x_2,...x_n$

Pour la :$\chi^2$

$$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$$

Où est le volume à n dimensions d'une n-boule de rayon carré .$V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$$s$

Pour la distribution gamma:

$$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$$

Où Est le volume à n dimensions d'un n-polytope avec .∑xi<s$V(s) = \frac{s^n}{n!}$$\sum x_i < s$

---

La distribution gamma peut être considérée comme le temps d'attente pour le ème événement dans un processus de Poisson qui est distribué comme la somme de variables distribuées exponentiellement.n $Y$$n$$n$

Comme Alecos Papadopoulos l'a déjà noté, il n'y a pas de connexion plus profonde qui fait des sommes de variables normales au carré «un bon modèle pour le temps d'attente». La distribution gamma est la distribution d'une somme de variables distribuées normales généralisées. Voilà comment les deux se rejoignent.

Mais le type de somme et le type de variables peuvent être différents. Alors que la distribution gamma, lorsqu'elle est dérivée de la distribution exponentielle (p = 1), obtient l'interprétation de la distribution exponentielle (temps d'attente), vous ne pouvez pas revenir en arrière et revenir à une somme de variables gaussiennes au carré et utiliser cette même interprétation.

La distribution de densité pour le temps d'attente qui diminue de façon exponentielle, et la distribution de densité pour une erreur gaussienne diminue de manière exponentielle (avec un carré). C'est une autre façon de voir les deux connectés.