Plateaux stériles dans les paysages d'entraînement des réseaux de neurones quantiques

Ici, les auteurs soutiennent que les efforts de création d'un réseau neuronal quantique évolutif à l'aide d'un ensemble de portes paramétrées sont réputés échouer pour un grand nombre de qubits. Cela est dû au fait que, en raison du lemme de Levy , le gradient d'une fonction dans les espaces de grande dimension est presque nul partout.

Je me demandais si cet argument pouvait également être appliqué à d'autres méthodes d'optimisation hybrides classiques quantiques, comme VQE (Variational Quantum Eigensolver) ou QAOA (Quantum Approximate Optimization Algorithm).

Qu'est-ce que tu penses?

algorithm speedup optimization neural-network qaoa asdf
la source

"en utilisant un ensemble de portes paramétrées" Quel ensemble? Est-ce aléatoire par hasard?

rrtucci

L'article a été écrit par Jarrod McClean, qui est également le pionnier de VQE. J'imagine que Jarrod ne croit pas que VQE est réputé échouer pour un plus grand nombre de qubits. Je pense que votre description du lemme de Levy est un peu différente de ce que suggère l'article. Vous dites que "le gradient d'une fonction dans des espaces de grande dimension est presque nul partout", mais l'article dit seulement que c'est le cas dans le contexte particulier des QNN décrits dans l'article.

user1271772

Pour développer un peu mon dernier commentaire: on peut simplement construire une fonction de grande dimension qui change très rapidement partout, elle n'aura pas partout un gradient de "presque zéro". La conclusion basée sur le lemme de Levy dans l'article concerne la fonction spécifique qu'ils optimisent, et non «aucune» fonction dans un espace de grande dimension.

user1271772

@asdf: Après avoir passé la majeure partie de la journée à regarder le papier dans les deux sens, j'ai finalement trouvé une réponse pour vous. Regarde.

user1271772

connexes quantumcomputing.stackexchange.com/q/2056/55

Réponses:

Premièrement : Le document fait référence à [ 37 ] pour Levy's Lemma, mais vous ne trouverez aucune mention de "Levy's Lemma" dans [37]. Vous le trouverez appelé "Levy's Inequality", qui est appelé Levy's Lemma dans ce document , qui n'est pas cité dans le document que vous mentionnez.

Deuxièmement : il existe une preuve facile que cette affirmation est fausse pour VQE. En chimie quantique, nous optimisons les paramètres d'une fonction d'onde ansatz afin d'obtenir l'énergie la plus basse (c'est-à-dire la plus précise). L'énergie est évaluée par: $|\Psi(\vec{p})\rangle$

E_{\vec{p}} = \frac{⟨ Ψ (\vec{p}) | H | Ψ (\vec{p}) ⟩}{⟨ Ψ (\vec{p}) | Ψ (\vec{p}) ⟩} .

$E_{\vec{p}} = \frac{\left\langle \Psi(\vec{p})\right|H\left|\Psi(\vec{p})\right\rangle}{\left\langle\Psi(\vec{p}) \right|\left.\Psi(\vec{p}) \right\rangle}.$

VQE signifie simplement que nous utilisons un ordinateur quantique pour évaluer cette énergie, et un ordinateur classique pour choisir comment améliorer les paramètres dans afin que l'énergie soit plus faible lors de la prochaine itération quantique. $\vec{p}$

Donc, que le "gradient soit ou non sera 0 presque partout quand le nombre de paramètres dans est grand" ne dépend pas du tout si nous utilisons VQE (sur un ordinateur quantique) ou si nous exécutons simplement un standard programme de chimie quantique (comme le gaussien ) sur un ordinateur classique. Les chimistes quantiques optimisent généralement de manière variable l'énergie ci-dessus avec jusqu'à paramètres dans , et la seule raison pour laquelle nous n'allons pas au-delà est parce que nous manquons de RAM, pas parce que le paysage énergétique commence à devenir plat. Dans cet article, vous pouvez voir à la fin du résumé qu'ils ont calculé l'énergie pour une fonction d'onde avec environ paramètres $\vec{p}$ $10^{10}$ $\vec{p}$ $10^{12}$ , où les paramètres sont des coefficients des déterminants de Slater. Il est généralement connu que le paysage énergétique n'est pas si plat (comme il le serait si le gradient était égal à 0 presque partout) même lorsqu'il y a un billion de paramètres ou même plus.

Conclusion : L'application du lemme de Levy dépendra du paysage énergétique particulier que vous avez, qui dépendra à la fois de et de votre ansatz . Dans le cas de leur mise en œuvre particulière des QNN, ils ont trouvé qu'une application du lemme de Levy était appropriée. Dans le cas de VQE, nous avons un contre-exemple à l'affirmation selon laquelle le lemme de Levy's s'applique "toujours". Le contre-exemple où le lemme de Levy ne s'applique pas est lorsque est un hamiltonien moléculaire et est une fonction d'onde CI . $H$ $|\Psi(\vec{p})\rangle$ $H$ $|\Psi\rangle$

user1271772
la source