Cette question traite de l'estimation du maximum de vraisemblance restreint (REML) dans une version particulière du modèle linéaire, à savoir: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), où X(α)X(α)X(\alpha) est une matrice (...
La littérature sur l'apprentissage en profondeur regorge de trucs astucieux avec l'utilisation de taux d'apprentissage non constants dans la descente de gradient. Des choses comme la décroissance exponentielle, RMSprop, Adagrad, etc. sont faciles à mettre en œuvre et sont disponibles dans tous les...
Cette question a déjà des réponses ici : Algorithme de rétropropagation (2 réponses) Fermé il y a 3 mois . Qu'est-ce que l'algorithme de rétropropagation et comment
Le classificateur Naive Bayes est le classificateur qui attribue les éléments à une classe fonction de la maximisation du postérieur pour l'appartenance à la classe, et suppose que les caractéristiques des éléments sont indépendantes.C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) La perte 0-1 est la perte...
Existe-t-il des alternatives rapides à l'algorithme EM pour l'apprentissage de modèles avec des variables latentes (en particulier pLSA)? Je suis prêt à sacrifier la précision au profit de la
Récemment, j'ai lu un article de Yann Dauphin et al. Identifier et attaquer le problème du point de selle dans l'optimisation non convexe de haute dimension , où ils introduisent un algorithme de descente intéressant appelé Saddle-Free Newton , qui semble être exactement adapté pour l'optimisation...
Un de mes amis vend modèles de mélangeurs. Certains mélangeurs sont très simples et bon marché, d'autres sont très sophistiqués et plus chers. Ses données se composent, pour chaque mois, des prix de chaque blender (qui sont fixés par lui), et du nombre d'unités vendues pour chaque modèle. Pour...
L'une des motivations du filet élastique était la limitation suivante de LASSO: Dans le cas p>np>np > n , le lasso sélectionne au plus n variables avant de saturer, en raison de la nature du problème d'optimisation convexe. Cela semble être une caractéristique limitante pour une méthode de...
Je voulais savoir dans quelle mesure le machine learning doit être optimisé. D'après ce que j'ai entendu, les statistiques sont un sujet mathématique important pour les personnes travaillant avec l'apprentissage automatique. De même, est-il important pour une personne travaillant avec...
Objectif Confirmez si la compréhension de KKT est correcte ou non. Cherchez plus d'explications et de confirmations sur KKT. Contexte Essayer de comprendre les conditions KKT, en particulier la condition complémentaire, qui apparaît toujours à l'improviste dans les articles SVM. Je n'ai pas besoin...
J'essaie de régler les hyperparamètres de l'algorithme de régression de processus gaussien que j'ai implémenté. Je veux simplement maximiser la probabilité marginale de log donnée par la formule où K est la matrice de covariance avec le éléments K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac...
Je travaille sur un projet de filtrage collaboratif (CF), c'est-à-dire compléter une matrice partiellement observée ou plus généralement tenseur. Je suis un débutant dans le domaine, et pour ce projet, je dois finalement comparer notre méthode à d'autres méthodes bien connues qui, de nos jours,...
Habituellement, dans la régression logistique, nous ajustons un modèle et obtenons des prédictions sur l'ensemble d'entraînement. Nous validons ensuite ces prévisions d'entraînement (quelque chose comme ici ) et décidons de la valeur seuil optimale en fonction de quelque chose comme la courbe ROC....
Existe-t-il des groupes de recherche travaillant sur l'utilisation du deep learning pour les problèmes d'optimisation combinatoire?
Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, c'est une simplification drastique, mais je ne...
TL; DR: l' lme4optimisation semble être linéaire dans le nombre de paramètres du modèle par défaut, et est beaucoup plus lente qu'un glmmodèle équivalent avec des variables factices pour les groupes. Puis-je faire quelque chose pour l'accélérer? J'essaie d'adapter un modèle logit hiérarchique assez...
Pour éviter de sur-adapter les gens, les gens ajoutent un terme de régularisation (proportionnel à la somme au carré des paramètres du modèle) avec un paramètre de régularisation à la fonction de coût de la régression linéaire. Ce paramètre λ est-il le même qu'un multiplicateur de décalage? La...
La fonction objective de l'analyse en composantes principales (ACP) minimise l'erreur de reconstruction dans la norme L2 (voir la section 2.12 ici . Une autre vue essaie de maximiser la variance sur la projection. Nous avons également un excellent article ici: Quelle est la fonction objective de...
J'essaie de comprendre le processus de formation d'une machine à vecteur de support linéaire . Je me rends compte que les propriétés des SMV leur permettent d'être optimisées beaucoup plus rapidement qu'en utilisant un solveur de programmation quadratique, mais à des fins d'apprentissage,...
Contexte et problème J'utilise des processus gaussiens (GP) pour la régression et l'optimisation bayésienne subséquente (BO). Pour la régression, j'utilise le paquet gpml pour MATLAB avec plusieurs modifications personnalisées, mais le problème est général. C'est un fait bien connu que lorsque deux...