Nombre prévu de fois que la moyenne empirique dépassera une valeur

Étant donné une séquence de variables aléatoires iid, disons, pour , j'essaie de limiter le nombre attendu de fois la moyenne empirique dépassera une valeur, , alors que nous continuons à tirer des échantillons, à savoir: $X_i \in [0,1]$ $i = 1,2,...,n$ $\frac{1}{n}\sum_{i=1}^n X_i$ $c \geq 0$

T \overset{d e f}{=} \sum_{j = 1}^{n} P ({\frac{1}{j} \sum_{i = 1}^{j} X_{i} \geq c})

$\mathcal{T} \overset{def}{=} \sum_{j=1}^n \mathbb{P} \left(\left\{ \frac{1}{j}\sum_{i=1}^j X_i \geq c\right\}\right)$

Si nous supposons que pour certains , nous pouvons utiliser l'inégalité de Hoeffding pour arriver à $c = a + \mathbb{E}[X]$ $a > 0$

\begin{aligned} T & \leq \sum_{j = 1}^{n} e^{- 2 j a^{2}} \\ = \frac{1 - e^{- 2 a^{2} n}}{e^{2 a^{2}} - 1} \end{aligned}

$\begin{align} \mathcal{T} & \leq \sum_{j=1}^n e^{-2ja^2} \\ & = \frac{1 - e^{-2 a^2 n}}{e^{2 a^2}-1} \end{align}$

Ce qui semble agréable (peut-être) mais est en fait une limite assez lâche, existe-t-il de meilleures façons de limiter cette valeur? Je m'attends à ce qu'il y ait un moyen puisque les différents événements (pour chaque ) ne sont clairement pas indépendants, je ne connais aucun moyen d'exploiter cette dépendance. En outre, il serait bon de supprimer la restriction selon laquelle est supérieur à la moyenne. $j$ $c$

edit : La restriction sur étant supérieur à la moyenne peut être supprimée si nous utilisons l'inégalité de Markov comme suit: $c$

\begin{aligned} T & \leq \sum_{j = 1}^{n} \frac{\frac{1}{j} E [X]}{c} \\ = \frac{E [X] H_{n}}{c} \end{aligned}

$\begin{align} \mathcal{T} & \leq \sum_{j=1}^n \frac{\frac{1}{j}\mathbb{E}[X]}{c} \\ & = \frac{\mathbb{E}[X]H_n}{c} \end{align}$ Ce qui est plus général, mais bien pire que la limite ci-dessus, bien qu'il soit clair que doit diverger chaque fois que .

T

$\mathcal{T}$

c \leq E [X]

$c \leq \mathbb{E}[X]$

mathematical-statistics expected-value bounds fairidox
la source

Votre définition de ne correspond pas à votre description. Si les " " étaient supprimés, ce serait le nombre attendu de dépassements de , mais tel qu'écrit, il s'agit d'une combinaison linéaire des temps . Ce n'est manifestement pas une attente car les probabilités ne s'excluent pas mutuellement. Par exemple, lorsque , .

T

$\mathcal{T}$

j \times

$j\times$

c

$c$

c \leq 0

$c\le 0$

T = n (n + 1) / 2

$\mathcal{T} = n(n+1)/2$

whuber

@whuber oh, à droite, bon point merci, je l'ai corrigé ci-dessus.

fairidox

Je remarque que vous avez changé votre limite supérieure. Il semble désormais négatif ;-).

whuber

Le « » de l'exponentielle ne devrait-il pas être carré? - Ok ça simplifie avec le domaine [0,1]

j

$j$

Alecos Papadopoulos

Il s'agit d'une approche plutôt artisanale, et j'apprécierais vraiment certains commentaires à ce sujet (et les critiques sont généralement les plus utiles). Si je comprends bien, l'OP calcule la échantillon , où chaque échantillon contient l'observation précédente de l'échantillon +1 à partir d'un nouveau la distribution de chaque moyenne de l'échantillon. Ensuite, nous pouvons écrire $\bar x_j$ $F_j$

T \overset{d e f}{=} \sum_{j = 1}^{n} (1 - F_{j} (c)) = n - \sum_{j = 1}^{n} F_{j} (c)

$\mathcal{T} \overset{def}{=} \sum_{j=1}^n \left(1-F_j(c)\right) = n- \sum_{j=1}^n F_j(c)$

Considérons une taille de l' échantillon après quoi la distribution de la moyenne échantillon est presque normal, noterons . Ensuite, nous pouvons écrire $m$ $\hat G$

T = n - \sum_{j = 1}^{m} F_{j} (c) - \sum_{j = m + 1}^{n} {\hat{G}}_{j} (c) < n - \sum_{j = m + 1}^{n} {\hat{G}}_{j} (c)

$\mathcal{T} = n- \sum_{j=1}^m F_j(c)-\sum_{j=m+1}^n \hat G_j(c) < n-\sum_{j=m+1}^n \hat G_j(c)$

En résolvant nous obtenons où est la normale standard cdf, est l'écart-type du processus iid, et est sa moyenne. Insérer dans la limite et réorganiser nous obtenons $\hat G_j(c)$

{\hat{G}}_{j} (c) = 1 - Φ (\frac{\sqrt{j}}{σ} (μ - c))

$\hat G_j(c) = 1- \Phi\left(\frac{\sqrt j}{\sigma}(\mu-c)\right)$

Φ

$\Phi$

σ

$\sigma$

μ

$\mu$

T < m + \sum_{j = m + 1}^{n} Φ (\frac{\sqrt{j}}{σ} (- a))

$\mathcal{T} < m+\sum_{j=m+1}^n \Phi\left(\frac{\sqrt j}{\sigma}(-a)\right)$

Notez que cette limite dépend également de la variance du processus. Est-ce une meilleure limite que celle présentée dans la question? Cela dépendra essentiellement de la rapidité avec laquelle la distribution de la moyenne de l'échantillon deviendra «presque normale». Pour donner un exemple numérique, supposons que . Supposons également que les variables aléatoires soient uniformes dans . Ensuite, et . Considérons un écart de 10% par rapport à la moyenne, c'est-à-dire . alors: déjà pour la borne que je propose (qui est significative pour ) devient plus serrée. Pour la limite de Hoeffding est de $m= 30$ $[0,1]$ $\sigma = \sqrt \frac{1}{12}$ $\mu = \frac 12$ $a=0.05$ $n=34$ $n>30$ $n=100$ $78.5$ tandis que la limite que je propose est de . La limite de Hoeffding converge vers tandis que la limite que je propose à Si vous augmentez l'écart entre les deux limites diminue mais reste visible: pour un écart de 20%, , la limite de Hoeffding converge vers tandis que le borne que je propose converge à (c'est-à-dire que la somme des cdfs normaux contribue très peu à la borne globale). Un peu plus généralement, nous notons que pour la borne de Hoeffding converge vers $36.2$ $\approx 199.5$ $\approx 38.5$ $a$ $a=0.1$ $49.5$ $30.5$
$n\rightarrow \infty$

H_{b} \to \frac{1}{e^{2 a^{2}} - 1}

$H_b\rightarrow \frac{1}{e^{2 a^2}-1}$ tandis que mon lié à

A_{b} \to m

$A_b \rightarrow m$

Étant donné que pour les petites valeurs de (ce qui est plutôt le cas d'intérêt) devient un grand nombre, il est toujours possible que surpasse en étanchéité, même si l'échantillon est tel que la distribution de la moyenne de l'échantillon converge lentement vers la distribution normale. $a$ $H_b$ $A_b$

Alecos Papadopoulos
la source

" (c'est-à-dire pas plus que le seuil de taille d'échantillon supposé dont on a besoin pour obtenir l'approximation normale de la distribution de la moyenne de l'échantillon) " de quoi parlez-vous ici?

Glen_b -Reinstate Monica

Rien d'important. Au moment où j'écris quelques lignes ci-dessus, une règle de base pour que la distribution de la moyenne de l'échantillon soit "beaucoup" comme la normale, c'est que nous avons besoin d'au moins une taille d'échantillon de 30. Donc, pour la taille d'échantillon 100, et un écart de 20% cas, ma borne est soit - en d'autres termes, la partie de la borne contribue très peu.

\approx 30.5

$\approx 30.5$

m + 0.5

$m + 0.5$

\sum_{j = m + 1}^{n} Φ (\frac{\sqrt{j}}{σ} (- a))

$\sum_{j=m+1}^n \Phi\left(\frac{\sqrt j}{\sigma}(-a)\right)$

Alecos Papadopoulos

À moins que vous ne puissiez indiquer les circonstances dans lesquelles il se tient , veuillez éviter d'appeler cette chose une règle générale dans un sens général. Le chiffre de 30 est complètement arbitraire (généralement soit beaucoup trop faible ou bien trop fort), et ce 30 apparaît également dans votre cas est, je crois, une simple coïncidence.

Glen_b -Reinstate Monica

@Glen_b "30" n'était même pas une coïncidence - je l'ai juste utilisé pour fournir un exemple numérique. Je n'ai aucune objection à la question, je n'aime pas les "règles de base" (surtout quand elles sont douteuses). J'ai apporté quelques changements dans ma réponse. Merci pour la contribution.

Alecos Papadopoulos

@Glen_b Merci pour la mémoire éventuellement non stationnaire (c'est-à-dire longue)!

Alecos Papadopoulos

Nombre prévu de fois que la moyenne empirique dépassera une valeur

Réponses: