J'essaie de trouver l'estimation MAP d'un modèle par descente de gradient. Mon a priori est gaussien multivarié avec une matrice de covariance connue. Sur le plan conceptuel, je pense que je sais comment faire, mais j'espérais de l'aide pour les détails. En particulier, s'il existe un moyen plus...
Je comprends que les coefficients d'une équation logistique peuvent être interprétés comme un rapport impair. Si un terme de régularisation est ajouté pour contrôler le sur-ajustement, comment cela change-t-il l'interprétation des
Si nous sélectionnons différentes valeurs du paramètre , nous pourrions obtenir des solutions avec différents niveaux de rareté. Cela signifie-t-il que le chemin de régularisation est de savoir comment sélectionner la coordonnée qui pourrait obtenir une convergence plus rapide? Je suis un peu...
On dit généralement que les a priori sur les statistiques bayésiennes peuvent être considérés comme des facteurs de régularisation car ils pénalisent les solutions où le précédent place une faible densité de probabilité. Ensuite, étant donné ce modèle simple dont les paramètres MLE sont: a r gm...
J'essaie de comprendre comment fonctionne la régularisation en termes de projections sur une boule et de projection euclidienne sur le simplexe.l∗l∗l_* Je ne suis pas sûr de comprendre ce que nous voulons dire lorsque nous le vecteur de poids sur les ou .l1l1l_1l2l2l_2 Je peux comprendre le concept...
Je me demande la finesse optimale de la grille et quelle est la relation entre la finesse de la grille et le sur-ajustement dans les méthodes de régularisation telles que LASSO, régression de crête ou filet élastique. Supposons que je veuille adapter un modèle de régression utilisant LASSO à un...
Je régresse un prédicteur continu sur plus de 60 variables (à la fois continues et catégorielles) en utilisant LASSO (glmnet). En examinant le tracé de trace variable, je remarque que lorsque le log lambda augmente, l'une des variables clés a un coefficient qui augmente réellement. Puis, après un...
Une propriété fondamentale de la régression à effets aléatoires est que les estimations d'interception aléatoire sont "rétrécies" vers la moyenne globale de la réponse en fonction de la variance relative de chaque estimation. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j +...
J'ai la configuration suivante pour un projet de recherche Finance / Machine Learning dans mon université: j'applique un (Deep) Neural Network (MLP) avec la structure suivante dans Keras / Theano pour distinguer les actions surperformantes (étiquette 1) des actions sous-performantes ( étiquette 0)....
Nous pouvons simuler une régression linéaire sans caractère aléatoire, ce qui signifie que nous faisons au lieu de . Ensuite, si nous ajustons un modèle linéaire, les coefficients seront identiques à la "vérité fondamentale". Voici un exemple.y=Xβy=Xβy=X\betay=Xβ+ϵy=Xβ+ϵy=X\beta+\epsilon...
En pensant à un histogramme comme une estimation de la fonction de densité, est-il raisonnable de penser à la taille du bac comme un paramètre qui contraint la structure locale de cette fonction? Existe-t-il également une meilleure façon d'articuler ce