Questions marquées «gradient-descent»

Gradient Descent est un algorithme pour trouver le minimum d'une fonction. Il calcule de manière itérative les dérivées partielles (gradients) de la fonction et descend par étapes proportionnelles à ces dérivées partielles. Une application majeure de Gradient Descent consiste à adapter un modèle paramétré à un ensemble de données: la fonction à minimiser est une fonction d'erreur pour le modèle.

Scikit-learn: faire prédire SGDClassifier ainsi qu'une régression logistique

Un moyen de former une régression logistique consiste à utiliser la descente de gradient stochastique, avec laquelle scikit-learn offre une interface. Ce que je voudrais faire est de prendre une scikit-learn de SGDClassifier et l' ont marqué le même comme la régression logistique ici . Cependant,...

Quelle est la différence entre la descente de gradient et la descente de gradient stochastique?

Quelle est la différence entre la descente de gradient et la descente de gradient stochastique? Je ne les connais pas très bien, pouvez-vous décrire la différence avec un petit

machine-learning neural-network deep-learning gradient-descent

La descente en pente converge-t-elle toujours vers un optimum?

Je me demande s'il existe un scénario dans lequel la descente en pente ne converge pas au minimum. Je suis conscient que la descente en pente n'est pas toujours garantie de converger vers un optimum global. Je suis également conscient qu'il peut s'écarter d'un optimum si, par exemple, la taille du...

machine-learning neural-network deep-learning optimization gradient-descent

Pourquoi ReLU est meilleur que les autres fonctions d'activation

Ici, la réponse se réfère à des gradients de fuite et d'explosion qui ont été sigmoiddes fonctions d'activation similaires, mais, je suppose, Reluont un inconvénient et c'est sa valeur attendue. il n'y a pas de limitation pour la sortie du Reluet donc sa valeur attendue n'est pas nulle. Je me...

machine-learning neural-network deep-learning gradient-descent activation-function

Une fenêtre coulissante conduit à un sur-ajustement dans LSTM?

Vais-je suréquiper mon LSTM si je l'entraîne via l'approche à fenêtre coulissante? Pourquoi les gens ne semblent-ils pas l'utiliser pour les LSTM? Pour un exemple simplifié, supposons que nous devons prédire la séquence de caractères: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z Est-ce...

lstm backpropagation mini-batch-gradient-descent

Gradient Descent est-il au centre de chaque optimiseur?

Je veux savoir si la descente en gradient est le principal algorithme utilisé dans les optimiseurs comme Adam, Adagrad, RMSProp et plusieurs autres optimiseurs.

machine-learning neural-network deep-learning optimization gradient-descent

Combien de cellules LSTM dois-je utiliser?

Existe-t-il des règles générales (ou des règles réelles) concernant la quantité minimale, maximale et "raisonnable" de cellules LSTM que je devrais utiliser? Plus précisément, je me rapporte à BasicLSTMCell de TensorFlow et à la num_unitspropriété. Veuillez supposer que j'ai un problème de...

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

Descente de gradient stochastique basée sur des opérations vectorielles?

supposons que je veux former un algorithme de régression de descente de gradient stochastique en utilisant un ensemble de données qui a N échantillons. Puisque la taille de l'ensemble de données est fixe, je vais réutiliser les données T fois. À chaque itération ou "époque", j'utilise chaque...

python gradient-descent regression

Dans quelle mesure le lien entre la fonction objectif et la fonction d'activation de la couche de sortie est-il flexible?

Il semble standard dans de nombreux packages de réseaux neuronaux de coupler la fonction objectif à minimiser avec la fonction d'activation dans la couche de sortie. Par exemple, pour une couche de sortie linéaire utilisée pour la régression, il est standard (et souvent seul choix) d'avoir une...

neural-network gradient-descent

Pourquoi accélère-t-il la descente du gradient si la fonction est fluide?

Je lis maintenant un livre intitulé "Apprentissage automatique avec Scikit-Learn et TensorFlow" et au chapitre 11, il contient la description suivante de l'explication de ELU (Exponential ReLU). Troisièmement, la fonction est fluide partout, y compris autour de z = 0, ce qui permet d'accélérer la...

deep-learning gradient-descent

Comprendre le décrochage et la descente du gradient

Je regarde comment implémenter le décrochage sur un réseau de neurones profond et j'ai trouvé quelque chose de contre-intuitif. Dans la phase avant, les activations du masque de décrochage avec un tenseur aléatoire de 1 et 0 pour forcer le filet à apprendre la moyenne des poids. Cela aide le net à...

neural-network deep-learning gradient-descent

Pourquoi le taux d'apprentissage fait-il monter en flèche les poids de mon réseau de neurones?

J'utilise tensorflow pour écrire des réseaux neuronaux simples pour un peu de recherche et j'ai eu beaucoup de problèmes avec les poids «nan» pendant l'entraînement. J'ai essayé de nombreuses solutions différentes comme changer l'optimiseur, changer la perte, la taille des données, etc. mais en...

machine-learning python tensorflow optimization gradient-descent

Un sur-ajustement peut-il se produire dans les algorithmes d'optimisation avancée?

en prenant un cours en ligne sur l'apprentissage automatique par Andrew Ng sur coursera, je suis tombé sur un sujet appelé surapprentissage . Je sais que cela peut se produire lorsque la descente de gradient est utilisée dans une régression linéaire ou logistique, mais peut-elle se produire lorsque...

machine-learning regression optimization gradient-descent overfitting

Comprendre les mathématiques d'AdaGrad et d'AdaDelta

J'ai construit des modèles pour un projet, mais je ne peux pas me concentrer sur les mathématiques des algorithmes Adagrad et Adadelta. Je comprends le fonctionnement de la descente en gradient de vanille et j'ai écrit du code pour le faire fonctionner avec succès. Je serais reconnaissant si...

machine-learning gradient-descent