Dans l'esprit de cette question Comprendre la preuve d'un lemme utilisé dans l'inégalité de Hoeffding , j'essaie de comprendre les étapes qui conduisent à l'inégalité de Hoeffding.
Ce qui détient le plus de mystère pour moi dans la preuve, c'est la partie où les moments exponentiels sont calculés pour la somme des variables iid, après quoi l'inégalité de Markov est appliquée.
Mon objectif est de comprendre: pourquoi cette technique donne-t-elle une forte inégalité et est-ce la plus serrée que nous puissions atteindre? Une explication typique se réfère au moment de la génération des propriétés de l'exposant. Pourtant, je trouve cela trop vague.
Un article dans le blog de Tao, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , pourrait contenir quelques réponses.
Avec cet objectif à l'esprit, ma question porte sur trois points du post de Tao auxquels je suis bloqué et qui, je l'espère, pourraient donner un aperçu une fois expliqué.
Tao dérive l'inégalité suivante en utilisant le k-ième moment Si cela est vrai pour tout k, il conclut une borne exponentielle. C'est là que je suis perdu. P(|Sn|≥λ√
Le lemme de Hoeffding est présenté: Lemme 1 (lemme de Hoeffding) Soit une variable scalaire prenant des valeurs dans un intervalle [ a , b ] . Alors pour tout t > 0 , E e t X ≤ e t E X ( 1 + O ( t 2 V a r ( X ) exp ( O ( t ( b - a ) ) ) )) . ( 9 )
En particulier La preuve du lemme 1 commence par prendre une espérance sur l'expansion du taylor e t X = 1 + t X + O ( t 2 X 2 exp ( O ( t ) ) ).Pourquoi l'expansion peut-elle être limitée par ce terme quadratique? et comment l'équation 10 suit-elle?Enfin, un exercice est donné:
Exercice 1 Montrer que l' facteur (10) peut être remplacé par t 2 ( b - a ) 2 / 8 , et que cela est forte. Cela fournirait une preuve beaucoup plus courte que celle de Comprendre la preuve d'un lemme utilisé dans l'inégalité de Hoeffding , mais je ne sais pas comment résoudre ce problème.
Toute autre intuition / explication concernant la preuve de l'inégalité ou la raison pour laquelle nous ne pouvons pas tirer une limite plus stricte est certainement la bienvenue.
Réponses:
la source