Comment appliquer des gradients de politique dans le cas de plusieurs actions continues?

Trusted Region Policy Optimization (TRPO) et Proximal Policy Optimization (PPO) sont deux algorithmes de gradients de politique de pointe.

Lorsque vous utilisez une seule action continue, normalement, vous utiliseriez une distribution de probabilité (par exemple, gaussienne) pour la fonction de perte. La version approximative est:

où $A$ est l'avantage des récompenses, $P(a_1)$ est caractérisé par $\mu$ et $\sigma^2$ qui sort du réseau neuronal comme dans l'environnement Pendulum ici: https://github.com/leomzhong/DeepReinforcementLearningCourse/blob/69e573cd88faec7e9cf900da8eeef08c57dec0f0/h /main.py .

Le problème est que je ne trouve aucun article sur 2+ actions continues utilisant des gradients de politique (pas des méthodes d'acteur-critique qui utilisent une approche différente en transférant le gradient de la fonction Q).

Savez-vous comment faire cela en utilisant TRPO pour 2 actions continues dans l' environnement LunarLander ?

L'approche suivante est-elle correcte pour la fonction de perte de gradient de politique?

Comme vous l'avez dit, les actions choisies par Actor-Critic proviennent généralement d'une distribution normale et c'est le travail de l'agent de trouver la moyenne et l'écart-type appropriés en fonction de l'état actuel. Dans de nombreux cas, cette seule distribution suffit car une seule action continue est requise. Cependant, à mesure que des domaines tels que la robotique s'intègrent davantage à l'IA, les situations où 2 actions continues ou plus sont nécessaires sont un problème croissant.

Il existe 2 solutions à ce problème: la première et la plus courante est que pour chaque action continue, un agent distinct apprend sa propre moyenne unidimensionnelle et son écart-type. Une partie de son état comprend également les actions des autres agents pour donner le contexte de ce que fait tout le système. Nous le faisons couramment dans mon laboratoire et voici un article qui décrit cette approche avec 3 acteurs acteurs-critiques travaillant ensemble pour déplacer un bras robotique.

$n$$2n$$n+n^2$$n$$n \times n$

Il s'agit d'une réponse plus générale, mais elle devrait vous aider, vous et les autres, à résoudre leurs problèmes connexes.