Inégalités de probabilité

Je cherche des inégalités de probabilité pour les sommes de variables aléatoires non bornées. J'apprécierais vraiment si quelqu'un pouvait me donner des idées.

Mon problème est de trouver une limite supérieure exponentielle sur la probabilité que la somme des variables aléatoires iid non bornées, qui sont en fait la multiplication de deux iid gaussiens, dépasse une certaine valeur, à savoir , où , et sont générés de iid à partir de . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

J'ai essayé d'utiliser la borne de Chernoff en utilisant la fonction de génération de moment (MGF), la liaison dérivée est donnée par:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

où est le MGF de . Mais le lien n'est pas si serré. Le problème principal de mon problème est que les variables aléatoires sont illimitées et, malheureusement, je ne peux pas utiliser la limite de l'inégalité de Hoeffding. $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ $X$

Je serai heureux si vous m'aidez à trouver une limite exponentielle étroite.

probability mathematical-statistics probability-inequalities mgf Farzad
la source

Cela ressemble à un problème lié à la compression. Recherchez les notes de R. Vershynin sur la théorie des matrices aléatoires non asymptotiques, en particulier les limites de ce qu'il appelle des variables aléatoires sous- exponentielles . Cela vous aidera à commencer. Si vous avez besoin de plus de pointeurs, laissez-nous savoir et je vais essayer de poster quelques informations supplémentaires.

cardinal

Il y a au moins quelques questions et réponses connexes sur ce sujet sur math.SE (avertissement: y compris celui auquel j'ai participé).

cardinal

Le produit a une distribution de «produit normal». Je crois que la moyenne de ce produit est égale à zéro et que la variance est où est la variance de et de . Pour largeish, vous pouvez utiliser le théorème central limite pour obtenir norality approximative de . Si vous pouvez calculer le biais de la distribution de produit normale, je pense que vous pouvez appliquer le théorème de Berry-Esseen pour limiter le taux de convergence du CDF.

w_{i} v_{i}

$w_i v_i$

σ^{4}

$\sigma^4$

σ^{2}

$\sigma^2$

w_{i}

$w_i$

v_{i}

$v_i$

N

$N$

X

$X$

Shabbychef

@shabbychef, Berry-Esseen a une convergence assez lente, car il est un uniforme lié sur la classe de toutes les fonctions de distribution .

F

$F$

cardinal

@DilipSarwate: Désolé que je voie votre commentaire d'il y a quelque temps. Je pense que vous pourriez être intéressé par le petit article suivant, auquel j'ai également fait référence à quelques reprises sur les mathématiques. SE: TK Phillips et R. Nelson (1995), Le moment est plus serré que celui de Chernoff pour une queue positive probabilités , The American Statistician , vol 42, no. 2., 175-178.

cardinal

Réponses:

En utilisant la borne de Chernoff que vous avez suggérée pour certains $s\le 1/(2\sigma^2)$ qui seront spécifiés ultérieurement,

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$ où la seconde inégalité est grâce à

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$ pour tout

x \in (0, 1 / 2)

$x\in(0,1/2)$ . Maintenant, prenons

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$ et

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$ , le côté droit devient

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$ qui produit

pour tout

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Une autre possibilité consiste à appliquer directement des inégalités de concentration telles que l'inégalité de Hanson-Wright ou des inégalités de concentration pour un chaos gaussien d'ordre 2 qui englobe la variable aléatoire qui vous intéresse.

Approche plus simple sans utiliser la fonction de génération de moment

Prenons $\sigma=1$ pour plus de simplicité (sinon, on peut redimensionner en divisant par $\sigma^2$ ).

Écrire $v=(v_1,...,v_n)^T$ et $w=(w_1,...,w_n)^T$ . Vous demandez des limites supérieures sur $P(v^Tw>\epsilon N)$ .

Soit $Z= w^T v/\|v\|$ . Ensuite , $Z\sim N(0,1)$ par l' indépendance de $v,w$ et $\|v\|^2$ est indépendante de $Z$ avec le $\chi^2$ distribution avec $n$ degrés de liberté.

Par limites standard sur la norme normale et $\chi^2$ variables aléatoires,

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$ La combinaison avec le syndicat lié donne une limite supérieure de

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$ de la forme

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$ .

Jlewk
la source

The bound you obtain is of order $e^{-\epsilon}$ as $\epsilon \to \infty$ . I don't think you can do much better for general $\epsilon$ . From the Wikipedia page on Product Variables the distribution of $w_i v_i$ is $K_0(z)/\pi$ where $K_0$ is a modified Bessel function. From (10.25.3) in the DLMF function list, $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$ which is not going to give you a sub-Gaussian bound.

BookYourLuck
la source