Questions marquées «optimization»

Donc, j'ai 16 essais dans lesquels j'essaie d'authentifier une personne à partir d'un trait biométrique en utilisant Hamming Distance. Mon seuil est fixé à 3,5. Mes données sont ci-dessous et seul l'essai 1 est un vrai positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47...

Je recherche une référence (ou des références) solides sur les techniques d'optimisation numérique destinées aux statisticiens, c'est-à-dire qu'elles appliqueraient ces méthodes à certains problèmes inférentiels standard (par exemple MAP / MLE dans les modèles courants). Des choses comme la...

C'est une question assez générale (c'est-à-dire pas nécessairement spécifique aux statistiques), mais j'ai remarqué une tendance dans l'apprentissage automatique et la littérature statistique où les auteurs préfèrent suivre l'approche suivante: Approche 1 : obtenir une solution à un problème...

J'essaie de comprendre l'optimisation de la descente de gradient dans les algorithmes ML (machine learning). Je comprends qu'il ya une fonction où le coût l'objectif est de minimiser l'erreur y - y . Dans un scénario où les poids w 1 , w 2 sont optimisés pour donner l'erreur minimale et des...

Comment puis-je estimer les intervalles de confiance à 95% en utilisant le profilage des paramètres estimés en maximisant une fonction log-vraisemblance en utilisant optim dans R? Je sais que je peux estimer asymptotiquement la matrice de covariance en inversant la toile de jute , mais je crains...

Considérons une réponse y et de la matrice de données X . Supposons que je crée un modèle de formulaire - y ~ g (X,θθ\theta) (g () pourrait être n'importe quelle fonction de X et θθ\theta) Maintenant, pour estimer θθ\thetaen utilisant la méthode du maximum de vraisemblance (ML), je pourrais aller...

J'essaie donc de m'enseigner les réseaux de neurones (pour les applications de régression, pas pour classer les photos de chats). Mes premières expériences ont été la formation d'un réseau pour implémenter un filtre FIR et une transformée de Fourier discrète (formation sur les signaux "avant" et...

Par défaut, lorsque nous utilisons une glmfonction dans R, elle utilise la méthode des moindres carrés itérativement repondérés (IWLS) pour trouver l'estimation du maximum de vraisemblance des paramètres. Maintenant, j'ai deux questions. Les estimations IWLS garantissent-elles le maximum global de...

Je recherche un package pour m'aider à résoudre certains problèmes d'optimisation quadratique et je vois qu'il existe au moins une demi-douzaine de packages différents. Selon cette page: QP (programmation quadratique, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek...

Dans mon manuel d'économétrie (économétrie d'introduction) couvrant l'OLS, l'auteur écrit: "La RSS doit tomber lorsqu'une autre variable explicative est ajoutée."

Je pensais résoudre le Lasso via des méthodes de premier cycle à la vanille. Mais j'ai lu des gens suggérant d'utiliser la descente du gradient proximal. Quelqu'un peut-il souligner pourquoi la méthode proximale GD au lieu de la vanille est utilisée pour le

Supposons que nous voulons calculer une certaine attente: EYEX|Y[f(X, Y) ]EOuiEX|Oui[F(X,Oui)]E_YE_{X|Y}[f(X,Y)] Supposons que nous voulions l'approcher en utilisant la simulation de Monte Carlo. EOuiEX| Oui[ f( X, Y) ] ≈ 1R S∑r = 1R∑s = 1SF( xr , s,

Je forme un réseau neuronal convolutionnel simple pour la régression, où la tâche consiste à prédire l'emplacement (x, y) d'une boîte dans une image, par exemple: La sortie du réseau a deux nœuds, un pour x et un pour y. Le reste du réseau est un réseau neuronal convolutif standard. La perte est...

Je suis relativement nouveau dans l'apprentissage automatique et les statistiques, mais je me demandais pourquoi l'optimisation bayésienne n'est pas référée plus souvent en ligne lors de l'apprentissage de l'apprentissage automatique pour optimiser les hyperparamètres de votre algorithme. Par...

Supposons que nous faisons un exemple de jouet sur un gradient décent, minimisant une fonction quadratique , en utilisant une taille de pas fixe . ( )α = 0,03 A = [ 10 , 2 ; 2 , 3 ]xTAxxTAxx^TAxα=0.03α=0.03\alpha=0.03A=[10,2;2,3]A=[10,2;2,3]A=[10, 2; 2, 3] Si nous traçons la trace de à chaque...

Je voudrais faire quelque chose en R que SAS peut faire en utilisant le proc mixte de SAS (il y a bien un moyen de le faire en STATA es), à savoir adapter le soi-disant modèle bivarié de Reitsma et al (2005). Ce modèle est un modèle mixte spécial où la variance dépend de l'étude (voir ci-dessous)....

Je travaille sur un projet d'apprentissage automatique où j'essaie d'adapter une courbe sur les données. Malheureusement, la date a un vecteur de fonctionnalité quelque peu élevé. Donc, je ne peux pas vraiment les tracer sur un espace 2D ou 3D pour deviner à quoi ressemble la forme des données....

J'ai joué avec la régression logistique avec divers algorithmes d'optimisation par lots (gradient conjugué, newton-raphson et diverses méthodes de quasinewton). Une chose que j'ai remarquée est que, parfois, l'ajout de données à un modèle peut en fait rendre la formation du modèle beaucoup moins...

Je viens de commencer à utiliser le package autoencoder dans R. Les entrées de la autoencode()fonction incluent lambda, beta, rho et epsilon. Quelles sont les limites de ces valeurs? Varient-ils pour chaque fonction d'activation? Ces paramètres sont-ils appelés "hyperparamètres"? En supposant un...

Il existe de nombreuses règles pour sélectionner une largeur de bac optimale dans un histogramme 1D (voir par exemple ) Je cherche une règle qui applique la sélection de largeurs optimales de bacs égaux sur des histogrammes bidimensionnels . Existe-t-il une telle règle? Peut-être qu'une des règles...