Questions marquées «hyperparameter»

Je commence à me familiariser avec l’utilisation de glmnetavec LASSO Regression, où mon résultat d’intérêt est dichotomique. J'ai créé un petit cadre de données fictif ci-dessous: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99,...

Je suis en train de parcourir la recherche aléatoire d'optimisation d'hyper-paramètre [1] de Bengio et Bergsta, où les auteurs affirment que la recherche aléatoire est plus efficace que la recherche sur grille pour obtenir des performances à peu près égales. Ma question est la suivante: les gens...

Je cherche un document qui pourrait aider à donner des directives sur la façon de choisir les hyperparamètres d’une architecture profonde, comme des encodeurs automatiques superposés ou des réseaux de valeurs profondes. Il y a beaucoup d'hyperparamètres et je suis très confus sur la façon de les...

Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Bengio, Goodfellow et Courville: Adam est généralement considéré comme assez robuste pour le choix des paramètres hyper, bien que le taux d'apprentissage doive parfois...

Quelqu'un peut-il expliquer quelle est l'interprétation naturelle des hyperparamètres LDA? ALPHAet BETAsont des paramètres des distributions de Dirichlet pour les distributions de mots (par document) et (par sujet) de mots respectivement. Cependant, quelqu'un peut-il expliquer ce que signifie...

Je sais que le réglage de l'hyperparamètre en dehors de la validation croisée peut conduire à des estimations biaisées de la validité externe, car l'ensemble de données que vous utilisez pour mesurer les performances est le même que celui que vous avez utilisé pour régler les fonctionnalités. Ce...

J'ai un ensemble de données de 140000 exemples et 30 fonctionnalités pour lesquelles je forme plusieurs classificateurs pour une classification binaire (SVM, régression logistique, forêt aléatoire, etc.) Dans de nombreux cas, le réglage hyperparamétrique de l'ensemble de données à l'aide de la...

Donc dans une distribution normale, nous avons deux paramètres: la moyenne et la variance σ 2 . Dans le livre Pattern Recognition and Machine Learning , il apparaît tout à coup un hyperparamètre λ dans les termes de régularisation de la fonction d'erreur.μμ\muσ2σ2\sigma^2λλ\lambda Que sont les...

Il existe d'importantes recherches contemporaines sur l'optimisation bayésienne (1) pour le réglage des hyperparamètres ML. La motivation principale ici est qu'un nombre minimal de points de données est nécessaire pour faire des choix éclairés sur les points qui valent la peine d'être essayés (les...

J'ai lu les articles suivants pour la validation croisée imbriquée et je ne suis toujours pas sûr à 100% de ce que je dois faire avec la sélection de modèle avec la validation croisée imbriquée: Validation croisée imbriquée pour la sélection du modèle Sélection de modèle et validation croisée: la...

Tout d'abord, des excuses pour avoir posté une question qui a déjà été longuement discutée ici , ici , ici , ici , iciet pour réchauffer un vieux sujet. Je sais que @DikranMarsupial a longuement écrit sur ce sujet dans des articles et des journaux, mais je suis toujours confus, et à en juger par le...

Ainsi, nous savons que la recherche aléatoire fonctionne mieux que la recherche dans la grille, mais une approche plus récente est l'optimisation bayésienne (en utilisant des processus gaussiens). J'ai recherché une comparaison entre les deux et je n'ai rien trouvé. Je sais qu'au cs231n de...

Mon objectif est de classer les signaux des capteurs. Le concept de ma solution jusqu'à présent est le suivant: i) fonctionnalités d'ingénierie à partir d'un signal brut ii) sélection des fonctionnalités pertinentes avec ReliefF et une approche de clustering iii) application de NN, Random Forest et...

J'essaie de régler les hyperparamètres de l'algorithme de régression de processus gaussien que j'ai implémenté. Je veux simplement maximiser la probabilité marginale de log donnée par la formule où K est la matrice de covariance avec le éléments K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac...

Les classes prédites à partir de la régression logistique (binaire) sont déterminées en utilisant un seuil sur les probabilités d'appartenance aux classes générées par le modèle. Si je comprends bien, généralement 0,5 est utilisé par défaut. Mais la variation du seuil changera les classifications...

Existe-t-il une littérature qui examine le choix de la taille du mini-lot lors de la descente de gradient stochastique? D'après mon expérience, cela semble être un choix empirique, généralement trouvé via la validation croisée ou en utilisant différentes règles empiriques. Est-ce une bonne idée...

Dans un modèle hiérarchique de données où il semble typique en pratique de choisir des valeurs ( sorte que la moyenne et la variance de la distribution gamma correspondent à peu près à la moyenne et à la variance des données (par exemple, Clayton et Kaldor, 1987 "Empirical Bayes Estimates of...

J'implémentais un article assez populaire " EXPLIQUER ET EXPLIQUER DES EXEMPLES ADVERSAIRES " et dans le document, il forme une fonction objective contradictoire J '' (θ) = αJ (θ) + (1 - α) J '(θ). Il traite α comme un hyperparamètre. α peut être 0,1, 0,2, 0,3, etc. Indépendamment de cet article...

Existe-t-il une règle empirique entre la profondeur d'un réseau neuronal et le taux d'apprentissage? J'ai remarqué que plus le réseau est profond, plus le taux d'apprentissage doit être faible. Si c'est exact,

Je vois souvent des gens parler de la validation croisée 5x2 comme un cas spécial de validation croisée imbriquée . Je suppose que le premier nombre (ici: 5) fait référence au nombre de plis dans la boucle intérieure et le deuxième nombre (ici: 2) fait référence au nombre de plis dans la boucle...