Pourquoi est-il important d'inclure un terme de correction de biais pour l'optimiseur Adam pour l'apprentissage en profondeur?

Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Begnio, Goodfellow et Courtville:

Adam inclut des corrections de biais dans les estimations des moments du premier ordre (le terme de momentum) et des moments du second ordre (non centrés) pour tenir compte de leur initialisation à l'origine.

il semble que la principale raison d'inclure ces termes de correction de biais est qu'il supprime en quelque sorte le biais de l'initialisation de et .$m_t = 0$$v_t = 0$

• Je ne suis pas sûr à 100% de ce que cela signifie, mais il me semble que cela signifie probablement que le premier et le deuxième moment commencent à zéro et que le démarrage à zéro incline les valeurs plus près de zéro d'une manière injuste (ou utile) pour la formation ?
• Bien que j'aimerais savoir ce que cela signifie un peu plus précisément et comment cela nuit à l'apprentissage. En particulier, quels sont les avantages de la non-polarisation de l'optimiseur en termes d'optimisation?
• Comment cela aide-t-il à former des modèles d'apprentissage en profondeur?
• Aussi, qu'est-ce que cela signifie quand il est impartial? Je sais ce que signifie l'écart-type non biaisé, mais je ne comprends pas bien ce que cela signifie dans ce contexte.
• La correction du biais est-elle vraiment un gros problème ou est-ce quelque chose de sur-typé dans le papier d'optimisation Adam?

Juste pour que les gens sachent que j'ai vraiment essayé de comprendre le papier original, mais j'ai très peu retiré de la lecture et de la relecture du papier original. Je suppose que certaines de ces questions pourraient y trouver une réponse, mais je n'arrive pas à analyser les réponses.

Le problème de NE PAS corriger le biais
Selon l'article

En cas de gradients clairsemés, pour une estimation fiable du deuxième moment, il faut faire la moyenne sur de nombreux gradients en choisissant une petite valeur de β2; cependant, c'est exactement ce cas de petit β2 où un manque de correction du biais d'initialisation conduirait à des étapes initiales beaucoup plus importantes.

Normalement, dans la pratique, est défini beaucoup plus près de 1 que (comme suggéré par l'auteur , ), donc les coefficients de mise à jour sont beaucoup plus petits que .$\beta_2$$\beta_1$$\beta_2=0.999$$\beta_1=0.9$$1-\beta_2=0.001$$1-\beta_1=0.1$

Dans la première étape de la formation , , le terme dans la mise à jour des paramètres peut être très important si nous utilisons directement l'estimation biaisée.$m_1=0.1g_t$$v_1=0.001g_t^2$$m_1/(\sqrt{v_1}+\epsilon)$

D'un autre côté, lorsque vous utilisez l'estimation corrigée du biais, et , le terme devient moins sensible à et .$\hat{m_1}=g_1$$\hat{v_1}=g_1^2$$\hat{m_t}/(\sqrt{\hat{v_t}}+\epsilon)$$\beta_1$$\beta_2$

Comment le biais est corrigé
L'algorithme utilise la moyenne mobile pour estimer les premier et deuxième moments. L'estimation biaisée serait, nous partons d'une estimation arbitraire , et mettons à jour l'estimation progressivement par . Il est donc évident que dans les premières étapes, notre moyenne mobile est fortement biaisée vers le initial .$m_0$$m_t=\beta m_{t-1}+(1-\beta)g_t$$m_0$

Pour corriger cela, nous pouvons supprimer l'effet de la supposition initiale (biais) de la moyenne mobile. Par exemple, au temps 1, , nous le terme de et le divisons par , ce qui donne . Lorsque , . La preuve complète est donnée dans la section 3 du document.$m_1=\beta m_0+(1-\beta)g_t$$\beta m_0$$m_1$$(1-\beta)$$\hat{m_1}=(m_1- \beta m_0)/(1-\beta)$$m_0=0$$\hat{m_t}=m_t/(1-\beta^t)$

Comme l'a bien dit Mark L. Stone

C'est comme multiplier par 2 (oh mon Dieu, le résultat est biaisé), puis diviser par 2 pour le "corriger".

D'une certaine manière, ce n'est pas exactement équivalent à

le gradient au point initial est utilisé pour les valeurs initiales de ces choses, puis la première mise à jour des paramètres

(bien sûr, il peut être transformé en la même forme en changeant la règle de mise à jour (voir la mise à jour de la réponse), et je pense que cette ligne vise principalement à montrer l'inutilité d'introduire le biais, mais peut-être vaut-il la peine de remarquer la différence)

Par exemple, le premier instant corrigé à l'instant 2

Si vous utilisez tant que valeur initiale avec la même règle de mise à jour, qui plutôt au cours des premières étapes.$g_1$

La correction du biais est-elle vraiment un gros problème
Comme elle n'affecte réellement que les premières étapes de la formation, cela ne semble pas être un gros problème, dans de nombreux cadres populaires (par exemple keras , caffe ), seule l'estimation biaisée est mise en œuvre.

D'après mon expérience, l'estimation biaisée conduit parfois à des situations indésirables où la perte ne diminuera pas (je ne l'ai pas testé à fond, donc je ne suis pas exactement sûr si cela est dû à l'estimation biaisée ou à autre chose), et une astuce que j'utilise utilise un plus grand pour modérer les tailles de pas initiales.$\epsilon$

Mise à jour
Si vous dépliez les règles de mise à jour récursive, est une moyenne pondérée des dégradés, Le dénominateur peut être calculé par la formule de somme géométrique, il est donc équivalent à la mise à jour suivante règle (qui n'implique pas de terme biaisé) $\hat{m}_t$

$m_1\leftarrow g_1$
sans converger do (somme pondérée) (moyenne pondérée)
$\qquad m_t\leftarrow \beta m_t + g_t$
$\qquad \hat{m}_t\leftarrow \dfrac{(1-\beta)m_t}{1-\beta^t}$

Par conséquent, cela peut être possible sans introduire un terme de biais et sans le corriger. Je pense que le papier l'a mis dans la forme de correction de biais pour la commodité de la comparaison avec d'autres algorithmes (par exemple RmsProp).