Je connais la définition de la matrice définie positive symétrique (SPD), mais je veux en savoir plus. Pourquoi sont-ils si importants, intuitivement? Voici ce que je sais. Quoi d'autre? Pour une donnée donnée, la matrice de co-variance est SPD. La matrice de co-variance est une métrique...
Les algorithmes génétiques sont une forme de méthode d'optimisation. Souvent, la descente de gradient stochastique et ses dérivés sont le meilleur choix pour l'optimisation des fonctions, mais des algorithmes génétiques sont encore parfois utilisés. Par exemple, l'antenne du vaisseau spatial ST5 de...
Dans la formation de réseaux de neurones profonds et peu profonds, pourquoi les méthodes de gradient (par exemple descente de gradient, Nesterov, Newton-Raphson) sont-elles couramment utilisées, par opposition à d'autres métaheuristiques? Par métaheuristique, j'entends des méthodes telles que le...
Nous avons beaucoup de bonnes discussions sur la séparation parfaite dans la régression logistique. Telles que, la régression logistique dans R a conduit à une séparation parfaite (phénomène de Hauck-Donner). Maintenant quoi? et le modèle de régression logistique ne converge pas . Personnellement,...
J'apprends juste l'optimisation et j'ai du mal à comprendre la différence entre l'optimisation convexe et non convexe. D'après ma compréhension, une fonction convexe est une fonction où "le segment de ligne entre deux points quelconques sur le graphique de la fonction se trouve au-dessus ou sur le...
Je suppose que c'est une question fondamentale et cela a à voir avec la direction du gradient lui-même, mais je cherche des exemples où les méthodes de 2ème ordre (par exemple BFGS ) sont plus efficaces qu'une simple descente de
Il existe d'importantes recherches contemporaines sur l'optimisation bayésienne (1) pour le réglage des hyperparamètres ML. La motivation principale ici est qu'un nombre minimal de points de données est nécessaire pour faire des choix éclairés sur les points qui valent la peine d'être essayés (les...
De tout algorithme d'échantillonnage générique, on peut dériver un algorithme d'optimisation. En effet, pour maximiser une fonction arbitraire , il suffit de tirer des échantillons de . Pour suffisamment petit, ces échantillons tomberont près du maximum global (ou maxima local en pratique) de la...
J'essaie de minimiser une fonction personnalisée. Il doit accepter cinq paramètres et l'ensemble de données et effectuer toutes sortes de calculs, en produisant un seul nombre en sortie. Je veux trouver une combinaison de cinq paramètres d'entrée qui donne la plus petite sortie de ma...
J'ai vu des conclusions similaires à partir de nombreuses discussions, à mesure que la taille du mini-lot augmente, la convergence des SGD devient en fait plus difficile / pire, par exemple ce document et cette réponse . J'ai également entendu parler de personnes utilisant des astuces comme de...
Nous définissons une époque comme ayant parcouru l'intégralité de tous les échantillons d'apprentissage disponibles, et la taille du mini-lot comme le nombre d'échantillons sur lesquels nous faisons la moyenne pour trouver les mises à jour des poids / biais nécessaires pour descendre le gradient....
Existe-t-il une définition mathématique ou algorithmique du sur-ajustement? Les définitions souvent fournies sont le tracé 2D classique de points avec une ligne passant par chaque point et la courbe de perte de validation qui augmente soudainement. Mais y a-t-il une définition mathématiquement...
De nombreux didacticiels en ligne parlent de la descente de gradient et presque tous utilisent une taille de pas fixe (taux d'apprentissage ). Pourquoi n'y a-t-il pas d'utilisation de la recherche de ligne (comme la recherche de ligne en arrière ou la recherche de ligne
On peut effectuer une régression logit dans R en utilisant un tel code: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Il semble que l'algorithme...
J'ai trouvé cette implémentation Python de l' algorithme Jenks Natural Breaks et je pouvais la faire fonctionner sur ma machine Windows 7. Il est assez rapide et trouve les ruptures en peu de temps, compte tenu de la taille de mes géodonnées. Avant d'utiliser cet algorithme de clustering pour mes...
Quels sont les avantages et les inconvénients des deux
J'ai essayé de coder un algorithme pour suggérer des paris dans des jeux 1X2 (pondérés). Fondamentalement, chaque match a un ensemble de matchs (équipes à domicile vs équipes à l'extérieur): 1: victoires à domicile X: dessiner 2: victoires à l'extérieur Pour chaque correspondance et symbole ( 1,...
J'utilise la glmerfonction du lme4package dans R, et j'utilise l' bobyqaoptimiseur (c'est-à-dire la valeur par défaut dans mon cas). Je reçois un avertissement et je suis curieux de savoir ce que cela signifie. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, :...
Si nous commençons avec un ensemble de données , y appliquons Lasso et obtenons une solution , nous pouvons appliquer à nouveau Lasso à l'ensemble de données , où S est l'ensemble des non index zéro de \ beta ^ L , pour obtenir une solution, \ beta ^ {RL} , appelée solution 'LASSO détendue'...
Mes questions sont: Les modèles linéaires généralisés (GLM) convergent-ils vers un maximum global? Si oui, pourquoi? De plus, quelles contraintes y a-t-il sur la fonction de liaison pour assurer la convexité? Ma compréhension des GLM est qu'ils maximisent une fonction de vraisemblance hautement non...