La fonction logistique et l'écart type sont généralement notés . J'utiliserai et pour l'écart-type.σ ( x ) = 1 / ( 1 + exp ( - x ) ) s
J'ai un neurone logistique avec une entrée aléatoire dont la moyenne et écart - type je sais. J'espère que la différence par rapport à la moyenne peut être bien approchée par du bruit gaussien. Donc, avec un léger abus de notation, supposons qu'il produit . Quelle est la valeur attendue de ? L'écart type peut être grand ou petit par rapport à ou . Une bonne approximation sous forme fermée pour la valeur attendue serait presque aussi bonne qu'une solution sous forme fermée.s σ ( μ + N ( 0 , s 2 ) ) = σ ( N ( μ , s 2 ) ) σ ( N ( μ , s 2 ) ) s μ 1
Je ne pense pas qu'une solution de formulaire fermé existe. Cela peut être considéré comme une convolution, et la fonction caractéristique de la densité logistique est connue ( ), mais je ne sais pas combien cela aide. La calculatrice symbolique inverse n'a pas pu reconnaître la densité à de la convolution de la densité de la distribution logistique et une distribution normale standard, ce qui suggère mais ne prouve pas qu'il n'y a pas d'intégrale élémentaire simple. Preuve plus circonstancielle: Dans certains articles sur l'ajout de bruit d'entrée gaussien aux réseaux de neurones avec des neurones logistiques, les articles ne donnaient pas non plus d'expressions de forme fermée.
Cette question s'est posée en essayant de comprendre l'erreur dans l'approximation du champ moyen dans les machines Boltzman.
la source