Un processus stochastique avec la propriété que le futur est conditionnellement indépendant du passé, étant donné le présent.
Je suis à la recherche de ressources (tutoriels, manuels, webcast, etc.) pour en apprendre davantage sur la chaîne de Markov et les HMM. Mon expérience est en tant que biologiste et je suis actuellement impliqué dans un projet lié à la bioinformatique. En outre, quels sont les connaissances...
Je sais, cela peut sembler hors sujet, mais écoutez-moi. Au débordement de pile et ici nous obtenons des votes sur les articles, tout cela est stocké dans un tableau. Par exemple: post id id électeur type de vote date / heure ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3...
Je ne fais que me mouiller dans les statistiques alors je suis désolé si cette question n’a pas de sens. J'ai utilisé des modèles de Markov pour prédire les états cachés (casinos injustes, lancers de dés, etc.) et des réseaux de neurones pour étudier les clics d'utilisateurs sur un moteur de...
Existe-t-il un moyen dans R (une fonction intégrée) de calculer la matrice de transition pour une chaîne de Markov à partir d'un ensemble d'observations? Par exemple, en prenant un ensemble de données comme le suivant et en calculant la matrice de transition de premier ordre?...
Quelle est la différence entre un réseau bayésien et un processus de Markov? Je croyais comprendre les principes des deux, mais maintenant, quand j'ai besoin de comparer les deux, je me sens perdu. Ils signifient presque la même chose pour moi. Ils ne le sont certainement pas. Les liens vers...
J'ai besoin de générer des matrices non carrées aléatoires avec des lignes et des colonnes , des éléments distribués au hasard avec une moyenne = 0, et contraints de telle sorte que la longueur (norme L2) de chaque ligne soit et que la longueur de chaque colonne soit . De manière équivalente, la...
J'aimerais juste que quelqu'un confirme ma compréhension ou si je manque quelque chose. La définition d'un processus markov indique que la prochaine étape dépend uniquement de l'état actuel et d'aucun état passé. Donc, disons que nous avions un espace d'état de a, b, c, d et que nous allons de...
Sur la base du peu de connaissances que j'ai sur les méthodes MCMC (Markov chain Monte Carlo), je comprends que l'échantillonnage est une partie cruciale de la technique susmentionnée. Les méthodes d'échantillonnage les plus couramment utilisées sont l'hamiltonien et la métropole. Existe-t-il un...
J'ai lu pas mal de modèles Markov cachés et j'ai pu en coder moi-même une version assez basique. Mais il semble que j'apprenne de deux manières principales. L'un consiste à le lire et à l'implémenter dans du code (ce qui est fait) et le second est de comprendre comment il s'applique dans...
Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon...
Je fais une question sur les chaînes de Markov et les deux dernières parties disent ceci: Cette chaîne de Markov possède-t-elle une distribution limitative? Si votre réponse est "oui", recherchez la distribution limite. Si votre réponse est "non", expliquez pourquoi. Cette chaîne de Markov...
J'ai regardé beaucoup de vidéos tutorielles et elles se ressemblent. Celui-ci par exemple: https://www.youtube.com/watch?v=ip4iSMRW5X4 Ils expliquent les états, les actions et les probabilités qui conviennent. La personne l'explique, mais je n'arrive pas à comprendre à quoi cela pourrait servir...
Ma compréhension de l'algorithme est la suivante: Aucun échantillonneur de demi-tour (NUTS) est une méthode hamiltonienne de Monte Carlo. Cela signifie qu'il ne s'agit pas d'une méthode de chaîne de Markov et donc, cet algorithme évite la partie de marche aléatoire, qui est souvent considérée comme...
Je soupçonne qu'une série de séquences observées est une chaîne de Markov ... X=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AAD⋮BCA⋮E⎞⎠⎟⎟⎟⎟X=(ACDDBACBAACADA⋮⋮⋮⋮⋮⋮⋮BCADABE)X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A &...
Quelle est la différence entre les chaînes de Markov et les processus de Markov? Je lis des informations contradictoires: parfois la définition est basée sur si l'espace d'état est discret ou continu, et parfois elle est basée sur si le temps est discret ou continu. Diapositive 20 de ce document :...
J'ai un ensemble complet de séquences (432 observations pour être précis) de 4 états A−DA−DA-D : par ex. Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\...
Quelqu'un peut-il m'expliquer de manière intuitive quelle est la périodicité d'une chaîne de Markov? Il est défini comme suit: Pour tous les États iii en SSS = pgcd { n ∈ N | p ( n ) i i > 0 } = 1didid_i{n∈N|p(n)ii>0}=1{n∈N|pii(n)>0}=1\{n \in \mathbb{N} | p_{ii}^{(n)} > 0\} =1 Je vous...
J'essaie de comprendre les chaînes de Markov en utilisant SAS. Je comprends qu'un processus de Markov est un processus dans lequel l'état futur dépend uniquement de l'état actuel et non de l'état passé et il existe une matrice de transition qui capture la probabilité de transition d'un état à un...
Ma question de base est: comment échantillonner à partir d'une distribution incorrecte? Est-il même judicieux d'échantillonner à partir d'une distribution incorrecte? Le commentaire de Xi'an ici répond en quelque sorte à la question, mais je cherchais plus de détails à ce sujet. Plus spécifique à...
Apprentissage par renforcement: une introduction. Deuxième édition, en cours ., Richard S. Sutton et Andrew G. Barto (c) 2012, pp. 67-68. Résoudre une tâche d'apprentissage par renforcement signifie, en gros, trouver une politique qui obtient beaucoup de récompenses à long terme. Pour les MDP...