Cela se produit par exemple parce que, si nous utilisons la fonction d'activation ReLU à l'intérieur d'un réseau profond, et supposons via le CLT que les entrées d'une couche donnée sont approximativement normales, alors c'est la distribution des sorties.
(Je suis sûr que beaucoup de gens l'ont déjà calculé, mais je n'ai pas pu trouver le résultat répertorié n'importe où de manière raisonnablement lisible.)
Réponses:
Nous pouvons d'abord réduire cela pour ne dépendre que de certains moments de distributions normales tronquées univariées / bivariées: notons bien sûr que
Nous utiliserons quelques résultats de
Rosenbaum considère et considère la troncature à l'événement .V={˜X≥aX,˜Y≥aY}
Plus précisément, nous utiliserons les trois résultats suivants, ses (1), (3) et (5). Définissez d'abord les éléments suivants:
Maintenant, Rosenbaum montre que:
Il sera utile de considérer également le cas particulier de (1) et (3) avec , c'est-à-dire une troncature 1d:uney= - ∞
Nous voulons maintenant considérer
Nous utiliserons qui sont les valeurs de et lorsque , .
Maintenant, en utilisant (*), nous obtenons et en utilisant à la fois (*) et (**) donne afin que
Pour trouver , nous aurons besoinCov(X+,Y+)
Voici du code Python pour calculer les moments:
et un test de Monte Carlo que cela fonctionne:
ce qui donne10,000,000
0.000572145310512 0.00298692620286
, indiquant que l'espérance et la covariance revendiquées correspondent aux estimations de Monte Carlo (sur la base de échantillons).la source