Prendre l’attente de la série de Taylor (surtout du reste)

Ma question concerne l’essai de justifier une méthode largement utilisée, à savoir la valeur attendue de Taylor Series. Supposons que nous avons une variable aléatoire avec une moyenne positive et une variance . De plus, nous avons une fonction, disons .$X$$\mu$$\sigma^2$$\log(x)$

Faire Taylor l'expansion de autour de la moyenne, nous obtenons où, comme d'habitude, est st.$\log X$

$$\log X = \log\mu + \frac{X - \mu}{\mu} - \frac12 \frac{(X-\mu)^2}{\mu^2} + \frac13 \frac{(X - \mu)^3}{\xi_X^3},$$ $\xi_X$$|\xi_X - \mu| < |X - \mu|$

Si nous prenons une attente, nous obtiendrons une équation approximative que les gens appellent généralement quelque chose qui va de soi (voir le signe dans la première équation ici)$\approx$ :

$$\mathbb{E}\log X \approx \log \mu - \frac12 \frac{\sigma^2}{\mu^2}$$

QUESTION : Je voudrais savoir comment prouver que la valeur attendue du terme restant est en réalité négligeable, c'est-à-dire (ou, en d'autres termes, ).

$$\mathbb{E}\left[\frac{(X - \mu)^3}{\xi_X^3}\right] = o(\sigma^2)$$ $\mathbb{E}\bigl[o(X-\mu)^2\bigr] = o\bigl(\mathbb{E}\bigl[(X-\mu)^2\bigr]\bigr)$

Ce que j’ai essayé de faire : en supposant que (ce qui, à son tour, signifie dans ), j’ai essayé de scinder l’intégrale en deux en entourant de -vicinity : $\sigma^2 \to 0$$X \to \mu$$\mathbb{P}$$\mu$$\varepsilon$$N_\varepsilon$

$$\int_\mathbb{R} p(x)\frac{(x-\mu)^3}{\xi_x^3} \,dx = \int_{x \in N_\varepsilon} \ldots dx + \int_{x \notin N_\varepsilon} \ldots dx$$

Le premier peut être lié car et donc ne sont pas gênants. Mais avec le second, nous avons deux faits concordants: d’une part, (comme ). Mais d’un autre côté, nous ne savons pas quoi faire avec . 1 / ξ 3 P ( | X - um | > ε ) → 0 σ 2 → 0 1 / ξ $0 \notin N_\varepsilon$$1/\xi^3$

$$\mathbb{P}(|X - \mu| > \varepsilon) \to 0$$ $\sigma^2 \to 0$$1/\xi^3$

Une autre possibilité pourrait être d'utiliser le lemme de Fatou, mais je ne vois pas comment.

Appréciera toute aide ou allusion. Je me rends compte qu’il s’agit d’une question très technique, mais j’ai besoin de la parcourir pour pouvoir faire confiance à cette méthode dite de "Taylor-expectation". Merci!

PS j’ai jeté un coup d’œil ici , mais c’est un peu un autre truc.

Vous avez raison d'être sceptique face à cette approche. La méthode de la série de Taylor ne fonctionne pas en général, bien que l'heuristique contienne un noyau de vérité. Pour résumer la discussion technique ci-dessous,

• Une forte concentration implique que la méthode de la série de Taylor fonctionne pour des fonctions intéressantes
• Les choses peuvent et vont très mal tourner pour les distributions à queue épaisse ou les fonctions pas très belles

Comme l'indique la réponse d'Alecos, cela suggère que la méthode de la série de Taylor devrait être abandonnée si vos données risquent d'avoir de lourdes pertes. (Professionnels de la finance, je vous regarde.)

Comme Elvis l'a noté, le problème clé est que la variance ne contrôle pas les moments les plus élevés . Pour voir pourquoi, simplifions autant que possible votre question pour en arriver à l'idée principale.

Supposons que nous ayons une suite de variables aléatoires avec comme . σ ( X n ) → 0 n → $X_n$$\sigma(X_n)\to 0$$n\to \infty$

Q: Pouvons-nous garantir que commen → ∞ $\mathbb{E}[|X_n-\mu|^3] = o(\sigma^2(X_n))$$n\to \infty?$

Puisqu'il existe des variables aléatoires avec des secondes finies et des tiers infinis, la réponse est catégoriquement non . Par conséquent, en général, la méthode de la série de Taylor échoue même pour les polynômes du 3ème degré . Itérer cet argument montre que vous ne pouvez pas vous attendre à ce que la méthode de la série de Taylor fournisse des résultats précis, même pour les polynômes, à moins que tous les moments de votre variable aléatoire ne soient bien contrôlés.

Qu'allons-nous donc faire? Certes, la méthode fonctionne pour les variables aléatoires bornées dont le support converge vers un point, mais cette classe est beaucoup trop petite pour être intéressante. Supposons plutôt que la séquence vienne d'une famille très concentrée qui satisfait (disons)$X_n$

$$\mathbb{P}\left\{ |X_n-\mu|> t\right\} \le \mathrm{e}^{- C n t^2} \tag{1}$$

pour tout et un peu de . De telles variables aléatoires sont étonnamment communes. Par exemple, lorsque est la moyenne empirique$t>0$$C>0$$X_n$

$$X_n := \frac{1}{n} \sum_{i=1}^n Y_i$$

de jolies variables aléatoires (par exemple, iid et borné), diverses inégalités de concentration impliquent que satisfasse (1). Un argument standard (. Voir p 10 ici ) limite la e moments pour ces variables aléatoires:$Y_i$$X_n$$p$

$$\mathbb{E}[|X_n-\mu|^p] \le \left(\frac{p}{2 C n}\right)^{p/2}.$$

Par conséquent, pour toute fonction analytique "suffisamment jolie" (voir ci-dessous), nous pouvons lier l'erreur sur l' approximation de la série de Taylor à terme en utilisant l'inégalité du triangle.$f$$\mathcal{E}_m$$m$

$$\mathcal{E}_m:=\left|\mathbb{E}[f(X_n)] - \sum_{p=0}^m \frac{f^{(p)}(\mu)}{p!} \mathbb{E}(X_n-\mu)^p\right|\le \tfrac{1}{(2 C n)^{(m+1)/2}} \sum_{p=m+1}^\infty |f^{(p)}(\mu)| \frac{p^{p/2}}{p!}$$

quand . Puisque l'approximation de Stirling donne , l'erreur de la série de Taylor tronquée satisfait$n>C/2$$p! \approx p^{p-1/2}$

$$\mathcal{E}_m = O(n^{-(m+1)/2}) \text{ as } n\to \infty\quad \text{whenever} \quad \sum_{p=0}^\infty p^{(1-p)/2 }|f^{(p)}(\mu)| < \infty \tag{2}.$$

Par conséquent, lorsque est fortement concentré et que est suffisamment beau, l'approximation de la série de Taylor est bien précise. L'inégalité apparaissant dans (2) implique que , de sorte qu'en particulier notre condition exige que soit entier . Cela a du sens car (1) n’impose aucune hypothèse de limitation à .$X_n$$f$$f^{(p)}(\mu)/p! = O(p^{-p/2})$$f$$X_n$

Voyons ce qui peut mal se passer lorsque a une singularité (à la suite du commentaire de whuber). Supposons que nous choisissions . Si nous prenons de la distribution tronquée entre zéro et deux, alors est suffisamment concentré mais pour tout . En d'autres termes, nous avons une variable aléatoire liée fortement concentrée et la méthode de la série de Taylor échoue quand la fonction a une seule singularité.$f$$f(x)=1/x$$X_n$$\mathrm{Normal}(1,1/n)$$X_n$$\mathbb{E}[f(X_n)] = \infty$$n$

Quelques mots sur la rigueur. Je trouve plus agréable de présenter la condition apparaissant dans (2) comme dérivée plutôt que comme un deus ex machina qui est requis dans un format rigoureux théorème / preuve. Afin de rendre l'argument complètement rigoureux, notons d'abord que le membre de droite dans (2) implique que

$$\mathbb{E}[|f(X_n)|] \le \sum_{i=0}^\infty \frac{|f^{(p)}(\mu)|}{p!} \mathbb{E}[|X_n-\mu|^p]< \infty$$

par le taux de croissance des moments subgaussiens d'en haut. Ainsi, le théorème de Fubini fournit

$$\mathbb{E}[f(X_n)] = \sum_{i=0}^\infty \frac{f^{(p)}(\mu)}{p!} \mathbb{E}[(X_n-\mu)^p]$$

Le reste de la preuve se déroule comme ci-dessus.

Bien que ma réponse n'aboutisse nulle part au niveau de sophistication mathématique des autres réponses, j'ai décidé de l'afficher parce que je pense qu'elle a quelque chose à contribuer - même si le résultat sera "négatif", comme on dit.

En clair, je dirais que le PO est "peu enclin au risque" (comme la plupart des gens, ainsi que la science elle-même), car le PO exige une condition suffisante pour que l'approximation d'expansion de la série de 2ème ordre de Taylor soit " acceptable". Mais ce n'est pas une condition nécessaire.

Premièrement, une condition préalable nécessaire mais non suffisante pour que la valeur attendue du reste soit d'un ordre inférieur à la variance de la va, comme l'exige le PO, est que la série converge en premier lieu. Devrions-nous simplement assumer la convergence? Non.

L'expression générale que nous examinons est

$$E\Big[g(Y)\Big] = \int_{-\infty}^{\infty}f_Y(y)\Big[\sum_{i=0}^{\infty}g^{(i)}(\mu)\frac{(y-\mu)^i}{i!}\Big]dy \qquad [1]$$

Comme Loistl (1976) le mentionne dans le livre "Calculus and Statistics" de Gemignani (1978, p. 170), une condition de la convergence de la somme infinie est (une application du test du ratio pour la convergence)

$$y-\mu < |y-\mu|<\lim_{i\rightarrow \infty}\left | \left(\frac {g^{(i)}(\mu)}{g^{(i+1)}(\mu)}(i+1)\right)\right| \qquad [2]$$

... où est la moyenne de la va Bien que cette condition soit également suffisante (le test du rapport n'est pas concluant si la relation ci-dessus est vraie), la série diverge si l'inégalité est vraie.$\mu$

Loistl a examiné trois formes fonctionnelles spécifiques pour , l’exponentielle, la puissance et le logarithme (son article se rapportant à l’utilité attendue et au choix du portefeuille, il a donc testé les formes fonctionnelles standard utilisées pour représenter une fonction d’utilité concave). Pour ces formes fonctionnelles, il a constaté que seules les formes fonctionnelles exponentielles n'imposaient aucune restriction à . Au contraire, pour le pouvoir et pour le cas logarithmique (où nous avons déjà ), nous trouvons que la validité de l'inégalité est équivalente à $g()$$y-\mu$$0 <y$$[2]$

$$y-\mu < \mu \Rightarrow 0 < y < 2\mu$$

Cela signifie que si notre variable varie en dehors de cette plage, l'expansion de Taylor ayant comme centre d'expansion la moyenne de la variable divergera.

Ainsi: pour certaines formes fonctionnelles, la valeur d’une fonction à un point de son domaine est égale à son développement infini de Taylor, quelle que soit la distance entre ce point et le centre de développement. Pour les autres formes fonctionnelles (logarithme inclus), le point d’intérêt doit se situer quelque peu "proche" du centre d’expansion choisi. Dans le cas où nous avons une va, cela se traduit par une restriction du support théorique de la variable (ou un examen de sa plage empiriquement observée).

Loitl, à l'aide d'exemples numériques, a également montré que le fait d'augmenter l'ordre de développement avant la troncature pourrait aggraver les choses pour la précision de l'approximation. Il faut noter que, empiriquement, les séries chronologiques de variables observées dans le secteur financier présentent une variabilité plus grande que celle requise par l'inégalité. Donc, Loitl a poursuivi en préconisant que la méthode d'approximation de la série de Taylor devrait être entièrement abandonnée, en ce qui concerne la théorie du choix du portefeuille.

Le rebond a eu lieu 18 ans plus tard chez Hlawitschka (1994) . La perspicacité et le résultat précieux ici étaient, et je cite

... bien qu'une série puisse finalement converger, on ne peut en dire autant sur aucune de ses séries partielles; La convergence d'une série n'implique pas que les termes diminuent immédiatement ou qu'un terme donné soit suffisamment petit pour être ignoré. En effet, il est possible, comme cela a été démontré ici, qu'une série apparaisse divergente avant de converger finalement vers la limite. La qualité des approximations de l'utilité attendue fondée sur les premiers termes d'une série de Taylor ne peut donc pas être déterminée par les propriétés de convergence de la série infinie. Il s'agit d'un problème empirique et, empiriquement, les approximations à deux moments des fonctions d'utilité étudiées ici fonctionnent bien pour la tâche de sélection du portefeuille. Hlawitschka (1994)

Par exemple, Hlawitschka a montré que l'approximation du second ordre était "réussie", que la série de Taylor converge ou non , mais il a également vérifié le résultat de Lotl, selon lequel une augmentation de l'ordre de l'approximation peut aggraver la situation. Mais il existe un qualificatif pour ce succès: dans Portfolio Choice, l'utilitaire attendu est utilisé pour classer les titres et autres produits financiers. C'est une mesure ordinale , pas cardinale. Hlawitschka a donc constaté que l'approximation du deuxième ordre préservait le classement de différents titres par rapport au classement découlant de la valeur exacte de et non$E(g(Y)$ qu'il a toujours donné des résultats quantitatifs suffisamment proches de cette valeur exacte (voir son tableau A1 à la page 718).

Alors, où en sommes-nous? Dans les limbes, je dirais. Il semble que tant en théorie qu’en théorie, l’acceptabilité de l’approximation de Taylor du second ordre dépend de manière critique de nombreux aspects du phénomène spécifique étudié et de la méthodologie scientifique employée - elle dépend des hypothèses théoriques, des formes fonctionnelles utilisées, sur la variabilité observée de la série ...

Mais finissons-en positivement: de nos jours, la puissance informatique remplace beaucoup de choses. Nous pourrions donc simuler et tester la validité de l'approximation du 2e ordre, pour une large gamme de valeurs de la variable à moindre coût, que nous travaillions sur un problème théorique ou empirique.

Pas une réponse réelle, mais un exemple pour montrer que les choses ne sont pas si agréables et que des hypothèses supplémentaires sont nécessaires pour que ce résultat soit vrai.

Définissez comme un mélange entre un uniforme et un normal , la composante uniforme étant choisie avec une probabilité de , et la normale avec une probabilité de . Vous avez et sa variance converge vers lorsque va vers l'infini, comme si je ne me trompe pas. U ( [ - $X_n$N($U\left( \left[ -{1\over n} ; {1\over n} \right] \right)$$\mathcal N({n \over n-1}, {1\over n})$ 1-$1\over n$ E(Xn)=10nE(X 2 n )=$1 -{1\over n} = {n-1 \over n}$$E(X_n) = 1$$0$$n$

$$E\left(X_n^2\right) = {1\over 3 n^2} \times {1\over n} + \left(\left({n \over n-1}\right)^2+{1\over n}\right)\times{n-1 \over n},$$

Définissons maintenant (et ou autre). Les variables aléatoires sont bien définies mais n’ont pas de valeur attendue, car n’est pas défini, peu importe la taille de .f ( 0 ) = 0 f ( X n ) ∫ $f(x) = 1/x$$f(0) = 0$$f(X_n)$

$$\int_{-{1\over n}}^{1\over n} {1\over x} \mathrm dx$$ $n$

Ma conclusion est que vous avez clairement besoin d’hypothèses sur le comportement global de ou - plus probablement, plus élégamment - sur la vitesse à laquelle la densité de décroît lorsque vous êtes loin de la valeur attendue. Je suis sûr que de telles hypothèses peuvent être trouvées dans la littérature classique (et même dans les manuels scolaires). Malheureusement, ma formation n’était pas dans les statistiques et j’ai encore du mal avec la littérature moi-même ... de toute façon, j’espère que cela a aidé.$f$$X_n$

PS Cet exemple n'est-il pas un contre-exemple à la réponse de Nick? Qui a tort alors?

Ce n'est pas une réponse complète, mais une manière différente d'arriver à l'approximation du second ordre.

Je pense que la meilleure solution consiste à utiliser le théorème de la valeur moyenne de Cauchy, plutôt que de travailler avec le terme restant d'une série de Taylor. Si nous l'appliquons une fois, nous avons

$$f(X)=f(\mu)+f'(\xi_1)(X-\mu)$$

pour certains quand ou quand . Nous appliquons à nouveau le théorème de la valeur moyenne à et nous avonsX ≤ μ X ≥ ξ 1 ≥ μ X ≥ μ f ′ ( ξ 1$X\leq\xi_1 \leq \mu$$X \leq \mu$$X\geq\xi_1 \geq \mu$$X \geq \mu$$f'(\xi_1)$

$$f'(\xi_1)= f'(\mu) + f''(\xi_2)( \xi_1-\mu)$$

pour certains quand ou quand . mettre cela dans le premier fomula donne$X\leq\xi_1\leq\xi_2\leq\mu$$X\leq\mu$$X\geq\xi_1\geq \xi_2 \geq\mu$$X\geq\mu$

$$f(X)=f(\mu)+ f'(\mu) (X-\mu) + f''(\xi_2)( \xi_1-\mu) (X-\mu)$$

Notez que ce résultat nécessite seulement que soit continu et deux fois différentiable entre et . Cependant, cela ne s'applique qu'à un fixe , et changer de signifiera un changement correspondant dans . La méthode delta de second ordre peut être considérée comme faisant l' hypothèse globale que et sur toute l'étendue du support de , ou du moins sur la région de masse à forte probabilité.$f$$X$$\mu$$X$$X$$\xi_i$$\xi_1-\mu=\frac{1}{2}(X-\mu)$$\xi_2=\mu$$X$