En statistique, cela se réfère à la sélection d'un estimateur d'un paramètre en maximisant ou en minimisant une fonction des données. Un exemple très courant est le choix d'un estimateur qui maximise la densité conjointe (ou fonction de masse) des données observées, appelée estimation du maximum de vraisemblance (MLE).
Je travaille actuellement sur la mise en œuvre de la descente de gradient stochastique SGD, pour les réseaux neuronaux utilisant la rétrodiffusion, et bien que je comprenne son objectif, j'ai quelques questions sur la manière de choisir des valeurs pour le taux d'apprentissage. Le taux...
Donc, je n'ai pas pu trouver de littérature sur ce sujet mais il semble que quelque chose mérite réflexion: Quelles sont les meilleures pratiques en matière de formation et d'optimisation de modèles si de nouvelles observations sont disponibles? Existe-t-il un moyen de déterminer la période /...
Lors de la formation de réseaux de neurones, un hyperparamètre est de la taille d'un mini-lot. Les choix courants sont 32, 64 et 128 éléments par mini-lot. Existe-t-il des règles / directives sur la taille d'un mini-lot? Des publications qui étudient l'effet sur la
Je me demande s'il existe un scénario dans lequel la descente en pente ne converge pas au minimum. Je suis conscient que la descente en pente n'est pas toujours garantie de converger vers un optimum global. Je suis également conscient qu'il peut s'écarter d'un optimum si, par exemple, la taille du...
J'utilise des réseaux de neurones depuis un certain temps maintenant. Cependant, une chose avec laquelle je me bats constamment est la sélection d'un optimiseur pour la formation du réseau (en utilisant backprop). Ce que je fais habituellement, c'est de commencer par un seul (par exemple SGD...
J'ai entendu Andrew Ng (dans une vidéo que je ne trouve malheureusement plus) parler de la façon dont la compréhension des minima locaux dans les problèmes d'apprentissage profond a changé en ce sens qu'ils sont maintenant considérés comme moins problématiques car dans les espaces de grande...
La page Wikipédia qui cite "Les éléments de l'apprentissage statistique" dit: Typiquement, pour un problème de classification avec fonctionnalités, ⌊ √ppp fonctions p ⌋sont utilisées dans chaque division.⌊ p-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Je comprends que cette supposition est assez bonne et qu'elle...
Il semble que l' optimiseur d' Adaptive Moment Estimation (Adam) fonctionne presque toujours mieux (plus rapidement et de manière plus fiable pour atteindre un minimum global) lors de la minimisation de la fonction de coût dans la formation des réseaux neuronaux. Pourquoi ne pas toujours utiliser...
D'après ma compréhension, les algorithmes génétiques sont de puissants outils d'optimisation multi-objectifs. En outre, la formation des réseaux de neurones (en particulier les réseaux profonds) est difficile et pose de nombreux problèmes (fonctions de coût non convexes - minima locaux, gradients...
Je veux savoir si la descente en gradient est le principal algorithme utilisé dans les optimiseurs comme Adam, Adagrad, RMSProp et plusieurs autres optimiseurs.
La fonction de base R glm()utilise Fishers Scoring pour MLE, tandis que le glmnetsemble utiliser la méthode de descente de coordonnées pour résoudre la même équation. La descente de coordonnées est plus efficace en temps que Fisher Scoring, car Fisher Scoring calcule la matrice dérivée de second...
Fermé . Cette question doit être plus ciblée . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle se concentre sur un problème uniquement en modifiant ce message . Fermé il y a 5 ans . Il semble que la plupart des langues...
Fermé . Cette question doit être plus ciblée . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question pour qu'elle se concentre sur un seul problème en modifiant ce post . Fermé il y a 4 ans . Je travaille sur un projet et j'ai du mal à décider...
J'utilise tensorflow pour écrire des réseaux neuronaux simples pour un peu de recherche et j'ai eu beaucoup de problèmes avec les poids «nan» pendant l'entraînement. J'ai essayé de nombreuses solutions différentes comme changer l'optimiseur, changer la perte, la taille des données, etc. mais en...
en prenant un cours en ligne sur l'apprentissage automatique par Andrew Ng sur coursera, je suis tombé sur un sujet appelé surapprentissage . Je sais que cela peut se produire lorsque la descente de gradient est utilisée dans une régression linéaire ou logistique, mais peut-elle se produire lorsque...