Pour les questions liées à l'apprentissage contrôlé par un renforcement positif externe ou un signal de rétroaction négatif ou les deux, où l'apprentissage et l'utilisation de ce qui a été appris jusqu'à présent se produisent simultanément.
Quelle est la différence entre l'apprentissage par renforcement sans modèle et basé sur le modèle? Il me semble que tout apprenant sans modèle, apprenant par essais et erreurs, pourrait être recadré comme basé sur un modèle. Dans ce cas, quand les apprenants sans modèle seraient-ils...
Pour autant que je sache, le Q-learning et les gradients de politique (PG) sont les deux principales approches utilisées pour résoudre les problèmes de RL. Alors que le Q-learning vise à prédire la récompense d'une certaine action entreprise dans un certain état, les gradients politiques prédisent...
Je veux créer une IA qui peut jouer à cinq dans une rangée / gomoku. Comme je l'ai mentionné dans le titre, je veux utiliser l'apprentissage par renforcement pour cela. J'utilise la méthode du gradient de politique , à savoir REINFORCE, avec la ligne de base. Pour l'approximation de la valeur et de...
Par exemple, le titre de cet article se lit comme suit: "Exemple d'acteur-critique efficace avec expérience Replay". Qu'est-ce que l' efficacité de l'échantillon et comment peut- on utiliser un échantillonnage d'importance pour y
J'étudie l'apprentissage par renforcement et ses variantes. Je commence à comprendre comment les algorithmes fonctionnent et comment ils s'appliquent à un MDP. Ce que je ne comprends pas, c'est le processus de définition des états du MDP. Dans la plupart des exemples et des didacticiels, ils...
Existe-t-il un moyen d'enseigner l'apprentissage par renforcement dans des applications autres que les jeux? Les seuls exemples que je peux trouver sur Internet sont des agents de jeu. Je comprends que VNC contrôle l'entrée des jeux via le réseau de renforcement. Est-il possible de configurer cela...
Je me suis penché sur l'apprentissage par renforcement, et plus particulièrement sur la création de mes propres environnements à utiliser avec l'OpenAI Gym AI. J'utilise des agents du projet stable_baselines pour tester avec lui. Une chose que j'ai remarquée dans pratiquement tous les exemples RL...
Je code un modèle d'apprentissage par renforcement avec un agent PPO grâce à la très bonne bibliothèque Tensorforce , construite au-dessus de Tensorflow. La première version était très simple et je plonge maintenant dans un environnement plus complexe où toutes les actions ne sont pas disponibles à...
Lors de la conception de solutions à des problèmes tels que l' atterrissage lunaire sur OpenAIGym , l'apprentissage par renforcement est un moyen tentant de donner à l'agent un contrôle d'action adéquat pour réussir son atterrissage. Mais dans quels cas les algorithmes des systèmes de contrôle,...
L'algorithme tabulaire d'apprentissage Q est garanti pour trouver la fonction QQQ optimale , Q∗Q∗Q^* , à condition que les conditions suivantes (les conditions Robbins-Monro ) concernant le taux d'apprentissage soient remplies ∑tαt(s,a)=∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty...
J'étais en train de passer par cette implémentation de DQN et je vois que sur les lignes 124 et 125 deux réseaux Q différents ont été initialisés. D'après ma compréhension, je pense qu'un réseau prédit l'action appropriée et le deuxième réseau prédit les valeurs Q cibles pour trouver l'erreur...
En tant qu'étudiant qui souhaite travailler sur l'apprentissage automatique, je voudrais savoir comment il est possible de commencer mes études et comment le suivre pour rester à jour. Par exemple, je suis prêt à travailler sur les problèmes de RL et de MAB, mais il existe une énorme littérature...
Je lisais le livre Reinforcement Learning: An Introduction de Richard S. Sutton et Andrew G. Barto (ébauche complète, 5 novembre 2017). À la page 271, le pseudo-code de la méthode de gradient de politique Monte-Carlo épisodique est présenté. En regardant ce pseudo-code, je ne comprends pas pourquoi...
Trusted Region Policy Optimization (TRPO) et Proximal Policy Optimization (PPO) sont deux algorithmes de gradients de politique de pointe. Lorsque vous utilisez une seule action continue, normalement, vous utiliseriez une distribution de probabilité (par exemple, gaussienne) pour la fonction de...
La politique optimale est-elle toujours stochastique (c'est-à-dire une carte des états vers une distribution de probabilité sur les actions) si l'environnement est également stochastique? Intuitivement, si l'environnement est déterministe (c'est-à-dire si l'agent est dans un état sss et prend...
En mathématiques, l' opérateur de mot peut faire référence à plusieurs concepts distincts mais liés. Un opérateur peut être défini comme une fonction entre deux espaces vectoriels, il peut être défini comme une fonction où le domaine et le domaine de codage sont identiques, ou il peut être défini...
Au meilleur de ma compréhension, l'algorithme de recherche d'arbre Monte Carlo (MCTS) est une alternative à minimax pour rechercher un arbre de nœuds. Cela fonctionne en choisissant un coup (généralement, celui qui a le plus de chances d'être le meilleur), puis en effectuant une lecture aléatoire...
En robotique, la technique d'apprentissage par renforcement est utilisée pour trouver le modèle de contrôle d'un robot. Malheureusement, la plupart des méthodes de gradient politique sont biaisées statistiquement, ce qui pourrait mettre le robot dans une situation dangereuse, voir page 2 dans Jan...
J'ai inventé un jeu de société aux échecs. J'ai construit un moteur pour qu'il puisse jouer de manière autonome. Le moteur est essentiellement un arbre de décision. Il est composé de: Une fonction de recherche qui à chaque nœud trouve tous les mouvements légaux possibles Une fonction d'évaluation...
La plupart des introductions dans le domaine des MDP et de l'apprentissage par renforcement se concentrent exclusivement sur des domaines où l'espace et les variables d'action sont des entiers (et finis). De cette façon, nous sommes rapidement initiés à l'itération de la valeur, au Q-Learning, etc....