Prérequis mathématiques et statistiques pour comprendre les filtres à particules?

J'essaie actuellement de comprendre les filtres à particules et leurs utilisations possibles en finance et je me bats un peu. Quels sont les pré-requis mathématiques et statistiques que je devrais revisiter (issus d'une formation en finance quantitative) afin de (i) rendre les bases des filtres à particules accessibles, et (ii) les comprendre plus tard en profondeur? J'ai une solide connaissance de l'économétrie des séries chronologiques au niveau des études supérieures, à l'exception des modèles espace-état, que je n'ai pas encore couverts.

Tous les indices sont très appréciés!

Vous pouvez aller de façon choquante avec seulement quelques concepts de base. Notation, une explosion de variables , etc ... peut rendre les choses semblent compliquées, mais l'idée de base du filtrage des particules est remarquablement simple.

Quelques probabilités de base dont vous auriez besoin (et probablement déjà!) De comprendre:

• $P(X = x) = \sum_i P(X = x, Y = y_i)$
• $P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• $P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Termes bayésiens: par exemple. avant, vraisemblance, postérieure (+1 @Yair Daon, je suis d'accord!)

Les étapes de base d'un filtre à particules sont incroyablement simples:

Premier:

• Commencez par certaines croyances sur un état caché. Par exemple, vous pouvez commencer par croire que votre fusée est sur la rampe de lancement. (Dans un filtre à particules, les croyances sur l'état caché seront représentées par un nuage de points, chaque point dénote une valeur possible de l'état caché. Chaque point est également associé à une probabilité que l'état soit le véritable état.)

$t$$t+1$

1. Étape de prédiction: avancez l' emplacement des points en fonction de la loi du mouvement. (par exemple, déplacer des points vers l'avant en fonction de la vitesse actuelle de la fusée, de sa trajectoire, etc.). Cela étend généralement le nuage de points à mesure que l'incertitude augmente.
2. Étape de mise à jour des probabilités : utilisez les données et les entrées du capteur pour mettre à jour les probabilités associées aux points à l' aide de la règle de Bayes. Cela effondrera généralement le nuage de points à mesure que l'incertitude diminue.
3. Ajoutez des étapes / astuces spécifiques au filtrage des particules. Par exemple. :
   • Rééchantillonnez occasionnellement vos points afin que chaque point ait une probabilité égale.
   • Mélangez du bruit, empêchez votre étape de probabilité (2) de trop effondrer votre nuage de points (dans le filtrage des particules, il est important qu'il y ait au moins un point avec une probabilité positive vaguement à votre véritable emplacement!)

Exemple:

Initialisez votre filtre: - Regardez votre emplacement, où vous vous trouvez. Maintenant, fermez les yeux.

Ensuite, répétez:

1. Faites un pas en avant, les yeux fermés.
2. Étape de prédiction: croyances passées sur l' endroit où vous donné étiez debout, prédire où vous maintenant debout donné un pas en avant. (Notez comment l'incertitude augmente parce que votre pas en avant avec les yeux fermés n'est pas super précis!)
3. Étape de mise à jour: utilisez des capteurs (par exemple, vous sentir autour, etc ...) pour mettre à jour vos croyances sur votre position.

RÉPÉTER!

Le mécanisme de probabilité nécessaire à la mise en œuvre n'est fondamentalement qu'une probabilité de base: règle de Bayes, calcul de la distribution marginale, etc.

Idées hautement liées qui pourraient aider à comprendre la situation dans son ensemble:

Dans un certain sens, les étapes (1) et (2) sont communes à tout problème de filtrage bayésien . Quelques concepts très liés à lire éventuellement:

• Modèle Markov caché . Un processus est Markov si le passé est indépendant de l'avenir étant donné l'état actuel. Presque toutes les séries chronologiques sont modélisées comme une sorte de processus de Markov. Un modèle de Markov caché est un modèle où l'état n'est pas directement observé (par exemple, vous n'observez jamais directement l'emplacement exact de votre fusée et en déduisez plutôt son emplacement à travers un filtre bayésien).
• Filtre de Kalman . Il s'agit d'une alternative au filtrage des particules couramment utilisé. Il s'agit essentiellement d'un filtre bayésien où tout est supposé être gaussien multivarié.

Vous devez d'abord vous familiariser avec les modèles d'espace d'état plus faciles à coder et le filtrage de forme fermée (par exemple, les filtres kalman, les modèles markov cachés). Matthew Gunn a raison de dire que vous pouvez aller étonnamment loin avec des concepts simples, mais à mon humble avis, vous devriez en faire un objectif intermédiaire car:

1.) Relativement parlant, il y a plus de pièces mobiles dans les modèles d'espace d'état. Lorsque vous apprenez des SSM ou des modèles de Markov cachés, il y a beaucoup de notation. Cela signifie qu'il y a plus de choses à garder dans votre mémoire de travail pendant que vous jouez avec la vérification des choses. Personnellement, lorsque j'ai d'abord découvert les filtres de Kalman et les SSM linéaires gaussiens, je pensais essentiellement "eh, ce ne sont que des propriétés de vecteurs normaux multivariés ... Je n'ai qu'à garder une trace de quelle matrice est laquelle". De plus, si vous passez d'un livre à l'autre, ils changent souvent de notation.

Après, j'y ai pensé comme "eh, ce n'est que la règle de Bayes à chaque instant." Une fois que vous y pensez de cette façon, vous comprenez pourquoi les familles conjuguées sont agréables, comme dans le cas du filtre de Kalman. Lorsque vous codez un modèle de Markov caché, avec son espace d'état discret, vous voyez pourquoi vous n'avez pas à calculer de probabilité, et le filtrage / lissage est facile. (Je pense que je dévie du jargon hmm conventionnel ici.)

2.) Se couper les dents en codant beaucoup de ces éléments vous fera réaliser à quel point la définition d'un modèle d'espace d'état est générale. Très bientôt, vous noterez les modèles que vous souhaitez utiliser et vous verrez en même temps pourquoi vous ne le pouvez pas. D'abord, vous verrez finalement que vous ne pouvez tout simplement pas l'écrire sous l'une de ces deux formes auxquelles vous êtes habitué. Lorsque vous y réfléchissez un peu plus, vous écrivez la règle de Bayes et voyez que le problème est votre incapacité à calculer une sorte de probabilité pour les données.

Vous finirez donc par ne pas pouvoir calculer ces distributions postérieures (lissage ou filtrage des distributions des états). Pour prendre soin de cela, il existe de nombreux éléments de filtrage approximatifs. Le filtrage des particules n'est que l'un d'entre eux. Le principal enseignement du filtrage des particules: vous simulez à partir de ces distributions car vous ne pouvez pas les calculer.

Comment simulez-vous? La plupart des algorithmes ne sont qu'une variante de l'échantillonnage d'importance. Mais cela se complique aussi ici. Je recommande cet article de didacticiel de Doucet et Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Si vous comprenez comment fonctionne le filtrage des formulaires fermés, ils introduisent l'idée générale de l'échantillonnage d'importance, puis l'idée générale de la méthode de Monte Carlo, puis vous montrent comment utiliser ces deux choses pour commencer avec un bel exemple de série chronologique financière. À mon humble avis, c'est le meilleur tutoriel sur le filtrage des particules que j'ai rencontré.

En plus d'ajouter deux nouvelles idées au mélange (échantillonnage d'importance et méthode Monte Carlo), il y a maintenant plus de notation. Certaines densités que vous échantillonnez à partir de maintenant; certains que vous évaluez, et lorsque vous les évaluez, vous évaluez des échantillons. Le résultat, après avoir tout codé, sont des échantillons pondérés, considérés comme des particules. Ils changent après chaque nouvelle observation. Il serait très difficile de saisir tout cela à la fois. Je pense que c'est un processus.

Je m'excuse si je trouve cela cryptique ou ondulé. Ce n'est que la chronologie de ma familiarité personnelle avec le sujet. Le message de Matthew Gunn répond probablement plus directement à votre question. J'ai juste pensé que je jetterais cette réponse.