Approximation simple de la distribution cumulative de Poisson en longue queue?

Je veux décider de la capacité d'une table afin qu'elle ait des cotes résiduelles inférieures à pour déborder pour un donné , en supposant que le nombre d'entrées suit une loi de Poisson avec une donnée espérance . $C$ $2^{-p}$ $p\in[40\dots 120]$ $E\in[10^3\dots 10^{12}]$

Idéalement, je veux le plus petit entier Ctel que 1-CDF[PoissonDistribution[E],C] < 2^-ppour donné pet E; mais je me contente d'un Cpeu plus haut que ça. Mathematica est très bien pour le calcul manuel, mais je voudrais calculer à Cpartir de pet Eau moment de la compilation, ce qui me limite à l'arithmétique entière 64 bits.

Mise à jour: Dans Mathematica (version 7) e = 1000; p = 40; c = Quantile[PoissonDistribution[e], 1 - 2^-p]est 1231et semble correct (merci @Procrastinator); cependant, le résultat pour les deux p = 50et p = 60est 1250, ce qui est faux du côté dangereux (et importe: mon expérience se répète comme fois ou plus, et je veux manifestement moins de probabilités globales d'échec). Je veux une approximation grossière mais sûre en utilisant uniquement l'arithmétique de 64 bits , disponible en C (++) au moment de la compilation. $2^{25}$ $2^{-30}$

poisson-distribution fgrieu
la source

Et alors C = Quantile[PoissonDistribution[E],1-2^p]?

Le terme principal de la fonction de masse de probabilité du Poisson domine dans la queue.

Cardinal

@Procrastinator: oui, cela fonctionne dans Mathematica (sauf pour ples problèmes de signe et de précision, et les noms Eet Cqui sont réservés). MAIS j'ai besoin d'une simple approximation de cela, peut-être grossière (mais du bon côté) en utilisant uniquement l'arityhmétique 64 bits!

fgrieu

Concernant la mise à jour: Mathematica 8 renvoie 1262 pour et 1290 pour . Re Approximation normale (@Proc): on ne peut pas s'attendre à ce que cela fonctionne bien dans les queues, ce qui est crucial pour le calcul.

p = 50

$p=50$

p = 60

$p=60$

whuber

Vous devriez peut-être demander sur stackoverflow. Je ne connais pas les contraintes que vous avez. Je ne sais pas ce qui vous empêche d'utiliser l'allocation de mémoire dynamique, ou si vous pouvez utiliser la ramification pour décider de la taille du tableau, ou quels sont les coûts de définition d'un tableau qui est le double de la taille dont vous avez besoin (et ensuite de ne pas utiliser tout de celui-ci). Si une fonction comme (juste à titre d'exemple) a donné vous la réponse exacte, seriez-vous capable d'implémenter une approximation sous vos contraintes ou non? Cela semble être un problème de programmation maintenant.

μ + \sqrt{\log \log μ} \log μ \sqrt{μ} + p \frac{\sqrt{μ}}{\log μ}

$\mu + \sqrt{\log\log \mu} \log \mu \sqrt \mu + p \frac{\sqrt{\mu}} {\log \mu}$

Douglas Zare

Réponses:

Une distribution de Poisson avec une moyenne élevée est approximativement normale, mais vous devez faire attention à ce que vous vouliez une limite de queue et l'approximation normale est proportionnellement moins précise près des queues.

Une approche utilisée dans cette question MO et avec les distributions binomiales consiste à reconnaître que la queue diminue plus rapidement qu'une série géométrique, vous pouvez donc écrire une limite supérieure explicite en tant que série géométrique.

\begin{array}{rcl} \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{k}}{k!} & < & \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{D}}{D!} (\frac{μ}{D + 1})^{k - D} \\ = & \exp (- μ) \frac{μ^{D}}{D!} \frac{1}{1 - \frac{μ}{D + 1}} \\ < & \exp (- μ) \frac{μ^{D}}{\sqrt{2 π D} (D / e)^{D}} \frac{1}{1 - \frac{μ}{D + 1}} \\ = & \exp (D - μ) (\frac{μ}{D})^{D} \frac{D + 1}{\sqrt{2 π D} (D + 1 - μ)} \end{array}

$\begin{eqnarray}\sum_{k=D}^\infty \exp(-\mu)\frac{\mu^k}{k!} & \lt & \sum_{k=D}^\infty \exp(-\mu) \frac{\mu^D}{D!}\bigg(\frac \mu{D+1}\bigg)^{k-D} \\ & = & \exp(-\mu)\frac{\mu^D}{D!}\frac{1}{1-\frac{\mu}{D+1}} \\ & \lt & \exp(-\mu) \frac{\mu^D}{\sqrt{2\pi D}(D/e)^D} \frac{1}{1-\frac{\mu}{D+1}} \\ & = & \exp(D-\mu) \bigg(\frac{\mu}{D}\bigg)^D \frac{D+1}{\sqrt{2\pi D} (D+1-\mu)}\end{eqnarray}$

La ligne 2 ligne 3 était liée à la formule de Stirling. En pratique, je pense que vous voulez alors résoudre numériquement en utilisant la recherche binaire. La méthode de Newton commençant par une estimation initiale dedevrait également fonctionner. $\to$ $-p \log 2 = \log(\text{bound})$ $D = \mu + c \sqrt \mu.$

Par exemple, avec et , la solution numérique que j'obtiens est 1384,89. Une distribution de Poisson avec une moyenne de prend les valeurs de à avec une probabilité deLes valeurs à se produisent avec la probabilité $p=100$ $\mu = 1000$ $1000$ $0$ $1384$ $1-1/2^{100.06}.$ $0$ $1383$ $1-1/2^{99.59}.$

Douglas Zare
la source

+1. Une autre approche relie les probabilités de queue de Poisson (à droite) aux probabilités de queue des distributions Gamma (à gauche), qui peuvent être étroitement (surestimées) avec une approximation du point de selle.

whuber

Il y a un long chemin à parcourir jusqu'à quelque chose limité à l'arithmétique entière 64 bits (sans exp, log, sqrt ..) mais je vais y travailler; Merci a tous!

fgrieu

(+1) Jusqu'à l'invocation de l'approximation de Stirling (qui n'est pas pertinente), c'est exactement la limite à laquelle je faisais référence (de manière opaque) dans mon commentaire au PO. (Par exemple, voir ici .)

Cardinal

Vous pouvez voir P. Harremoës: Sharp Bounds on Tail Probabilities for Poisson Random Variables https://helda.helsinki.fi/bitstream/handle/10138/229679/witmse_proc_17.pdf Les principales inégalités sont les suivantes. Soit une variable aléatoire de Poisson avec le paramètre . Mettez Soit la fonction de distribution cumulative pour la loi normale standard. Alors, pour tout entier , ce qui équivaut à pour tout entier $Y$ $\lambda$

G (x) = \sqrt{2 (x \ln \frac{x}{λ} + λ - x)} s i g n (x - λ) .

$G(x)= \sqrt{2\left(x\ln \frac{x}{\lambda} +\lambda-x\right)} \ \ {\rm sign} \left(x-\lambda\right).$

Φ

$\Phi$

k \geq 0

$k\ge 0$

P (Y < k) \leq Φ (G (k)) \leq P (Y \leq k),

${\bf P}(Y<k)\le \Phi(G(k)) \le {\bf P}(Y\le k),$

Φ (G (k - 1)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$ . De plus, ce qui implique que pour tout entier .

Φ (G (k + (1 / 2))) \leq P (Y \leq k)

$\Phi(G(k+(1/2))) \le {\bf P}(Y\le k)$

Φ (G (k - 1 / 2)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1/2)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$

Pavel Ruzankin
la source

Si vous pouviez écrire l'équation clé (en supposant qu'il n'y en a qu'une ou deux), cela aiderait au cas où le lien disparaîtrait à un moment donné.

jbowman