Pourquoi y a-t-il -1 dans la fonction de densité de distribution bêta?

18

La distribution bêta apparaît sous deux paramétrisations (ou ici )

(1)f(x)xα(1x)β

ou celui qui semble être le plus utilisé

(2)f(x)xα1(1x)β1

Mais pourquoi exactement y a-t-il " 1 " dans la deuxième formule?

La première formulation semble intuitivement correspondre plus directement à la distribution binomiale

(3)g(k)pk(1p)nk

mais « vu » de la p perspective de . Cela est particulièrement clair dans le modèle bêta-binomialα peut être compris comme un nombre antérieur de succès et β est un nombre antérieur d'échecs.

Alors, pourquoi exactement la deuxième forme a-t-elle gagné en popularité et quelle est la justification derrière elle? Quelles sont les conséquences de l'utilisation de l'une ou l'autre des paramétrisations (par exemple pour la connexion avec la distribution binomiale)?

Ce serait formidable si quelqu'un pouvait en outre indiquer les origines d'un tel choix et les arguments initiaux pour cela, mais ce n'est pas une nécessité pour moi.

Tim
la source
3
Une raison profonde est suggérée dans cette réponse : f est égal à xα(1x)β rapport à la mesure dμ=dx/((x(1x)) . Cela réduit votre question à «pourquoi cette mesure particulière "? Reconnaissant que cette mesure est
dμ=d(log(x1x))
suggère que la "bonne" façon de comprendre ces distributions est d'appliquer la transformation logistique: lestermes"1" disparaîtront alors.
whuber
1
Je pense que la véritable raison pour laquelle cela s'est produit est historique - car elle apparaît de cette façon dans la fonction bêta pour laquelle la distribution est nommée. Quant à savoir pourquoi cela a 1 au pouvoir, je m'attends à ce que cela soit finalement lié à la raison mentionnée (même si cela n'a historiquement rien à voir avec la mesure ou même la probabilité).
Glen_b -Reinstate Monica
2
@Glen_b C'est plus qu'historique: il y a des raisons profondes. Ils sont dus à la connexion intime entre les fonctions bêta et gamma, réduisant la question de savoir pourquoi l'exposant en est s - 1 et non s . C'est parce que Γ est une somme de Gauss . De manière équivalente, il est "juste" de considérer Γ comme une intégrale d'un homomorphisme multiplicatif t t s fois un caractère additifΓ(s)=0ts1etdts1sΓΓtts contre la mesure de Haar d t / t sur le groupe multiplicatif R × . tetdt/tR×
whuber
1
@wh C'est une bonne raison pour laquelle la fonction gamma devrait être choisie de cette façon (et j'ai déjà suggéré qu'une telle raison existait ci-dessus et j'accepte une forme de raisonnement semblable à cela - mais nécessairement avec un formalisme différent - est entré dans le choix d'Euler); des raisons impérieuses correspondantes se produisent avec la densité; mais cela n'établit pas que c'était en fait la raison du choix (pourquoi le formulaire a été choisi tel quel), mais seulement que c'est une bonne raison de le faire. La forme de la fonction gamma ... ctd
Glen_b -Reinstate Monica
1
ctd ... à lui seul pourrait facilement être une raison suffisante pour choisir cette forme pour la densité et pour que d'autres suivent. [Souvent, les choix sont faits pour des raisons plus simples que celles que nous pouvons identifier par la suite, puis il faut souvent des raisons impérieuses pour faire autre chose. Est - ce que nous savons c'est pourquoi il a été choisi d' abord] - vous expliquer clairement qu'il ya une raison pour laquelle nous devrions choisir la densité à être de cette façon, plutôt que pourquoi il est de cette façon. Cela implique une séquence de personnes faisant des choix (pour l'utiliser de cette façon, et pour emboîter le pas), et leurs raisons au moment où ils ont choisi.
Glen_b -Reinstate Monica

Réponses:

9

C'est une histoire sur les degrés de liberté et les paramètres statistiques et pourquoi il est agréable que les deux aient une connexion simple et directe.

Historiquement, les termes " " sont apparus dans les études d'Euler sur la fonction Bêta. Il utilisait cette paramétrisation en 1763, tout comme Adrien-Marie Legendre: leur utilisation a établi la convention mathématique suivante. Ce travail est antérieur à toutes les applications statistiques connues.1

La théorie mathématique moderne fournit de nombreuses indications, grâce à la richesse des applications en analyse, en théorie des nombres et en géométrie, que les termes " " ont réellement une signification. J'ai esquissé certaines de ces raisons dans les commentaires sur la question.1

Ce qui devrait être la "bonne" paramétrisation statistique est plus intéressant. Ce n'est pas aussi clair et cela n'a pas à être le même que la convention mathématique. Il existe un immense réseau de familles de distributions de probabilités bien connues et interdépendantes. Ainsi, les conventions utilisées pour nommer (c'est-à-dire paramétrer) une famille impliquent généralement des conventions liées pour nommer les familles liées. Modifiez un paramétrage et vous voudrez tous les changer. Nous pourrions donc examiner ces relations pour trouver des indices.

Peu de gens seraient en désaccord avec le fait que les familles de distribution les plus importantes dérivent de la famille normale. Rappelons qu'une variable aléatoire est dite "distribuée normalement" lorsque ( X - μ ) / σ a une densité de probabilité f ( x ) proportionnel à exp ( - x deux / deux ) . Lorsque σ = 1 et μ = 0 , X aurait une distribution normale standard .X(Xμ)/σf(x)exp(x2/2)σ=1μ=0X

De nombreux ensembles de données sont étudiés à l'aide de statistiques relativement simples impliquant des combinaisons rationnelles des données et de faibles puissances (généralement des carrés). Lorsque ces données sont modélisées comme des échantillons aléatoires à partir d'une distribution normale - de sorte que chaque x i est considéré comme une réalisation d'une variable normale X i , tous les X i partagent une distribution commune et sont indépendants - les distributions de ces statistiques sont déterminés par cette distribution normale. Celles qui surviennent le plus souvent dans la pratique sontx1,x2,,xnxiXiXi

  1. ,ladistribution deStudent ttνt avec "degrés de liberté". Il s'agit de la distribution de la statistique t = ˉ Xν=n1 ˉ X =(X1+X2++Xn)/nmodélise la moyenne des données etse(X)=(1/

    t=X¯se(X)
    X¯=(X1+X2++Xn)/n est l'erreur standard de la moyenne. La division parn-1montre quendoit être2ou plus, d'oùνest un entier1ou plus. La formule, bien qu'apparemment un peu compliquée, est la racine carrée d'une fonction rationnelle des données de degré deux: elle est relativement simple.se(X)=(1/n)(X12+X22++Xn2)/(n1)X¯2n1n2ν1
  2. ,ladistribution χ 2 (khi carré)avec ν "degrés de liberté" (df). Il s'agit de la distribution de la somme des carrés desvariables normales standard indépendantes ν . La répartition de la moyenne des carrés de ces variables sera donc un χ 2 de distribution miséchelle par 1 / ν : Je vaisréférence à cela comme une « normalisée » χ 2 distribution.χν2χ2ννχ21/νχ2

  3. Fν1,ν2, the F ratio distribution with parameters (ν1,ν2) is the ratio of two independent normalized χ2 distributions with ν1 and ν2 degrees of freedom.

Mathematical calculations show that all three of these distributions have densities. Importantly, the density of the χν2 distribution is proportional to the integrand in Euler's integral definition of the Gamma (Γ) function. Let's compare them:

fχν2(2x)xν/21ex;fΓ(ν)(x)xν1ex.

This shows that twice a χν2 variable has a Gamma distribution with parameter ν/2. The factor of one-half is bothersome enough, but subtracting 1 would make the relationship much worse. This already supplies a compelling answer to the question: if we want the parameter of a χ2 distribution to count the number of squared Normal variables that produce it (up to a factor of 1/2), then the exponent in its density function must be one less than half that count.

Why is the factor of 1/2 less troublesome than a difference of 1? The reason is that the factor will remain consistent when we add things up. If the sum of squares of n independent standard Normals is proportional to a Gamma distribution with parameter n (times some factor), then the sum of squares of m independent standard Normals is proportional to a Gamma distribution with parameter m (times the same factor), whence the sum of squares of all n+m variables is proportional to a Gamma distribution with parameter m+n (still times the same factor). The fact that adding the parameters so closely emulates adding the counts is very helpful.

If, however, we were to remove that pesky-looking "1" from the mathematical formulas, these nice relationships would become more complicated. For example, if we changed the parameterization of Gamma distributions to refer to the actual power of x in the formula, so that a χ12 distribution would be related to a "Gamma(0)" distribution (since the power of x in its PDF is 11=0), then the sum of three χ12 distributions would have to be called a "Gamma(2)" distribution. In short, the close additive relationship between degrees of freedom and the parameter in Gamma distributions would be lost by removing the 1 from the formula and absorbing it in the parameter.

Similarly, the probability function of an F ratio distribution is closely related to Beta distributions. Indeed, when Y has an F ratio distribution, the distribution of Z=ν1Y/(ν1Y+ν2) has a Beta(ν1/2,ν2/2) distribution. Its density function is proportional to

fZ(z)zν1/21(1z)ν2/21.

Furthermore--taking these ideas full circle--the square of a Student t distribution with ν d.f. has an F ratio distribution with parameters (1,ν). Once more it is apparent that keeping the conventional parameterization maintains a clear relationship with the underlying counts that contribute to the degrees of freedom.

From a statistical point of view, then, it would be most natural and simplest to use a variation of the conventional mathematical parameterizations of Γ and Beta distributions: we should prefer calling a Γ(α) distribution a "Γ(2α) distribution" and the Beta(α,β) distribution ought to be called a "Beta(2α,2β) distribution." In fact, we have already done that: this is precisely why we continue to use the names "Chi-squared" and "F Ratio" distribution instead of "Gamma" and "Beta". Regardless, in no case would we want to remove the "1" terms that appear in the mathematical formulas for their densities. If we did that, we would lose the direct connection between the parameters in the densities and the data counts with which they are associated: we would always be off by one.

whuber
la source
1
Thanks for your answer (I +1d already). I have just a small follow-up question: maybe I'm missing something, but aren't we sacrificing the direct relation with binomial by using the -1 parametrization?
Tim
I'm not sure which "direct relation with binomial" you're referring to, Tim. For instance, when the Beta(a,b) distribution is used as a conjugate prior for a Binomial sample, clearly the parameters are exactly the right ones to use: you add a (not a1) to the number of successes and b (not b1) to the number of failures.
whuber
1

The notation is misleading you. There is a "hidden 1" in your formula (1), because in (1), α and β must be bigger than 1 (the second link you provided in your question says this explicitly). The α's and β's in the two formulas are not the same parameters; they have different ranges: in (1), α,β>1, and in (2), α,β>0. These ranges for α and β are necessary to guarantee that the integral of the density doesn't diverge. To see this, consider in (1) the case α=1 (or less) and β=0, then try to integrate the (kernel of the) density between 0 and 1. Equivalently, try the same in (2) for α=0 (or less) and β=1.

Zen
la source
2
The issue of a range of definition for α and β seems to go away when the integral is interpreted, as Pochhammer did in 1890, as a specific contour integral. In that case it can be equated to an expression that determines an analytic function for all values of α and β--including all complex ones. This throws light on the concern in the question: why exactly has this specific parameterization been adopted, given there are many other possible parameterizations that seem like they might serve equally well?
whuber
1
To me, the OP's doubt seems to be much more basic. He's kind of confused about the "-1" in (2), but not in (1) (not true, of course). It seems that your comment is answering a different question (much more interesting, by the way).
Zen
2
Thanks for your effort and answer, but it still does not answer my main concern: why -1 was chosen? Following your logic, basically any value could be chosen changing the arbitrary lower bound to something else. I can't see why -1 or 0 could be better or worse lower bound for parameter values besides the fact that 0 is "aesthetically" nicer bound. On another hand, Beta(0, 0) would be nice "default" for uniform distribution when using the first form. Yes, those are very subjective comments, but that is my main point: are there any non-arbitrary reasons for such choice?
Tim
1
Zen, I agree there was a question of how to interpret the original post. Thank you, Tim, for your clarifications.
whuber
1
Hi, Tim! I don't see any definitive reason, although it makes more direct the connection with the fact that for α,β>0, if UGamma(α,1) and VGamma(β,1) are independent, then X=U/(U+V) is Beta(α,β), and the density of X is proportional to xα1(1x)β1. But then you can question the parameterization of the gamma distribution...
Zen
0

For me, the existence of -1 in the exponent is related with the develpment of the Gamma function. The motivation of the Gamma function is to find a smooth curve to connect the points of a factorial x!. Since it is not possible to compute x! directly if x is not integer, the idea was to find a function for any x0 that satisfies the recurrence relation defined by the factorial, namely

f(1)=1f(x+1)=xf(x).

Solution was by means of the convergence of an integral. For the function defined as

f(x+1)=0txexdt,

integration by parts provides the following:

f(x+1)=0txexdt=[txex]0+0xtx1exdt=limx(txex)0e0+x0tx1exdt=00+x0tx1exdt=xf(x).

So, the function above satisfies this property, and the -1 in the exponent derives from the procedure of integration by parts. See the Wikipedia article https://en.wikipedia.org/wiki/Gamma_function .

Edit: I apologise if my post is not fully clear; I am just trying to point that, in my idea, the existence of -1 in the beta distribution comes from the generalisation of the factorial by means of the Gamma function. There are two conditions: f(1)=1 and f(x+1)=xf(x). We have Γ(x)=(x1)!, therefore it satisfies Γ(x+1)=xΓ(x)=x(x1)!=x!. In addition, we have Γ(1)=(11)!=0!=1. As for the beta distribution with parameters α,β, generalisation of the Binomial coefficient is Γ(α+β)Γ(α)Γ(β)=(α+β1)!(α1)!(β1)!. There we have the -1 in the denominator, for both parameters.

aatr
la source
This makes no sense because the recurrence function satisfied by the factorial is not what you state: (x+1)!xx!.
whuber
The function f(x) satisfying the recurrence relation is the Gamma: Γ(x+1)=xΓ(x). This is how it is defined.
aatr
Yes: but your stated motivation is based on the factorial function, not the Gamma.
whuber
It is important to recall the relation between Gamma and factorial: Γ(x)=(x1)!.
aatr
Unfortunately, that's circular logic: you start off with the factorial, characterize Gamma as interpolating it, and then conclude that's why there's a -1. In fact, your post exhibits the -1 as if it fell out mistakenly by confusing Gamma with the factorial. Few will find that either illuminating or convincing.
whuber