Traduire un problème d'apprentissage automatique dans un cadre de régression

Supposons que j'ai un panel de variables explicatives , pour , , ainsi qu'un vecteur de variables binaires dépendantes du résultat . Donc n'est observé qu'au moment final et pas à un moment antérieur. Le cas tout à fait général est d'avoir plusieurs pour pour chaque unité à chaque instant , mais concentrons-nous sur le cas par souci de concision. i = 1 . . . N t = 1 . . . T Y i T Y T X i j t j = 1 ... K i t K = $X_{it}$$i = 1 ... N$$t = 1 ... T$$Y_{iT}$$Y$$T$$X_{ijt}$$j=1...K$$i$$t$$K=1$

Les applications de ces paires "déséquilibrées" avec des variables explicatives temporelles corrélées sont par exemple (cours des actions quotidiennes, dividendes trimestriels), (bulletins météorologiques quotidiens, ouragans annuels) ou (caractéristiques de la position des échecs après chaque mouvement, résultat de la victoire / de la perte à la fin du jeu).$(X, Y)$

Je suis intéressé par les coefficients de régression (éventuellement non linéaires) pour faire la prédiction de , sachant que dans les données d'entraînement, étant donné les premières observations de pour , cela conduit au résultat final$\beta_t$ X i t t < T Y i $Y_{it}$$X_{it}$$t < T$$Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

Issu d'un contexte d'économétrie, je n'ai pas vu beaucoup de modélisation de régression appliquée à ces données. OTOH, j'ai vu les techniques d'apprentissage automatique suivantes appliquées à ces données:

1. effectuer un apprentissage supervisé sur l'ensemble des données, par exemple en minimisant

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

en extrapolant / imputant simplement le observé à tous les points précédents dans le temps$Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

Cela semble "faux" car il ne tiendra pas compte de la corrélation temporelle entre les différents points dans le temps.

2. faire un apprentissage par renforcement tel que la différence temporelle avec le paramètre d'apprentissage et le paramètre d'actualisation , et résoudre récursivement pour par à partir deλ β t t = $\alpha$$\lambda$$\beta_t$$t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

avec le gradient de par rapport à . f ( ) $\nabla_{\beta} \hat{Y}$$f()$$\beta$

Cela semble plus "correct" car il prend en compte la structure temporelle, mais les paramètres et sont plutôt "ad hoc".$\alpha$$\lambda$

Question : existe-t-il de la littérature sur la façon de mapper les techniques d'apprentissage supervisé / renforcé ci-dessus dans un cadre de régression tel qu'il est utilisé dans les statistiques / économétrie classiques? En particulier, j'aimerais pouvoir estimer les paramètres en une seule fois (c'est-à-dire pour tous les simultanément) en faisant des moindres carrés (non linéaires) ou un maximum de vraisemblance sur des modèles tels que t = 1 ... $\beta_{t}$$t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

Je serais également intéressé de savoir si la différence temporelle d'apprentissage des méta-paramètres et pourrait être récupérée à partir d'une formulation à maximum de vraisemblance.$\alpha$$\lambda$

La description du problème n'est pas entièrement claire pour moi, donc j'essaie de deviner certaines hypothèses. Si cela ne répond pas à votre question, cela pourrait au moins aider à clarifier davantage les problèmes.

$Y_T$$t<T$$X_\tau$$\tau>t$

$Y_t$$X_1,\ldots, X_t$$t<T$$Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$$Y_T$

$X_1, \ldots, X_t$$t$

$t<T$

$\alpha$
$\gamma$$\gamma=1$