Je lis cet article: traducteur skype où ils utilisent des CD-DNN-HMM (réseaux neuronaux profonds dépendants du contexte avec des modèles de Markov cachés). Je peux comprendre l'idée du projet et l'architecture qu'ils ont conçue mais je ne comprends pas ce que sont les senones . Je cherchais une...
Après avoir lu de nombreux articles d'apprentissage en profondeur, une sorte de sentiment brutal est qu'il existe de nombreuses astuces pour entraîner le réseau à obtenir des performances supérieures à la normale. Du point de vue des applications de l'industrie, il est très difficile de développer...
Supposons la séquence unidimensionnelle suivante: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Les lettres A, B, C, ..ici représentent des événements «ordinaires». Les symboles #, $, %, ...ici représentent des événements «spéciaux» L'espacement temporel entre tous les événements est non uniforme...
Selon "Efficient Backprop" de LeCun et al (1998), il est de bonne pratique de normaliser toutes les entrées afin qu'elles soient centrées autour de 0 et se situent dans la plage de la dérivée seconde maximale. Ainsi, par exemple, nous utiliserions [-0,5,0,5] pour la fonction "Tanh". C'est pour...
J'apprends l'apprentissage en profondeur (en particulier les CNN) et comment cela nécessite généralement énormément de données pour éviter le surapprentissage. Cependant, on m'a également dit que plus la capacité / le nombre de paramètres d'un modèle est élevé, plus il faut de données pour éviter...
En lisant les articles de segmentation sémantique ainsi que leurs implémentations correspondantes, j'ai constaté que certaines approches utilisent softmax tandis que d'autres utilisent sigmoid pour l'étiquetage au niveau des pixels. Par exemple, en ce qui concerne le papier u-net , la sortie est...
Je veux calculer l'importance de chaque fonction d'entrée en utilisant un modèle profond. Mais je n'ai trouvé qu'un seul article sur la sélection des fonctionnalités à l'aide de l'apprentissage en profondeur - la sélection des fonctionnalités approfondies . Ils insèrent une couche de nœuds...
Une fonction sous la forme a-t-elle un nom standard? Par exemple, est une fonction linéaire.eX/ (1+ eX)eX/(1+eX)e^x/(1+e^x)y= a + b xy=une+bXy = a +
Je forme un réseau neuronal convolutionnel simple pour la régression, où la tâche consiste à prédire l'emplacement (x, y) d'une boîte dans une image, par exemple: La sortie du réseau a deux nœuds, un pour x et un pour y. Le reste du réseau est un réseau neuronal convolutif standard. La perte est...
Comment interprétez-vous une courbe de survie à partir du modèle de risque proportionnel cox? Dans cet exemple de jouet, supposons que nous ayons un modèle de risque proportionnel cox sur agevariable dans les kidneydonnées et générons la courbe de survie. library(survival) fit <-...
Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec...
Salut, j'étudie les techniques de régression. Mes données ont 15 fonctionnalités et 60 millions d'exemples (tâche de régression). Lorsque j'ai essayé de nombreuses techniques de régression connues (arbre boosté par gradient, régression d'arbre de décision, AdaBoostRegressor, etc.), la régression...
J'ai récemment regardé cette conférence d'Eric J. Ma et vérifié son entrée sur le blog , où il cite Radford Neal, que les modèles bayésiens ne surajustent pas (mais ils peuvent suréquiper ) et lorsque vous les utilisez, nous n'avons pas besoin de jeux de test pour les valider (pour moi les...
Un autoencodeur variationnel (VAE) fournit un moyen d'apprendre la distribution de probabilité reliant une entrée à sa représentation latente . En particulier, le codeur e mappe une entrée x à une distribution sur z . Un encodeur typique affichera des paramètres (\ mu, \ sigma) = e (x) ,...
Je viens de commencer à utiliser le package autoencoder dans R. Les entrées de la autoencode()fonction incluent lambda, beta, rho et epsilon. Quelles sont les limites de ces valeurs? Varient-ils pour chaque fonction d'activation? Ces paramètres sont-ils appelés "hyperparamètres"? En supposant un...
Quelle est la différence entre un réseau de croyances profondes et un réseau convexe profond
Je suis nouveau dans l'apprentissage en profondeur, donc cela pourrait être une question banale. Mais je me demande pourquoi l'apprentissage en profondeur (ou réseau de neurones) ne fonctionne pas très bien sur de petites données étiquetées. Quels que soient les articles de recherche que j'ai lus,...
https://www.tensorflow.org/ Tous les projets sur TensorFlow que j'ai vus dans GitHub implémentent une sorte de modèle de réseau neuronal. Étant donné que TensorFlow est une amélioration par rapport au DAG (il n'est plus acyclique), je me demandais si certaines lacunes inhérentes le rendaient...
Comme échauffement avec des réseaux de neurones récurrents, j'essaie de prédire une onde sinusoïdale à partir d'une autre onde sinusoïdale d'une autre fréquence. Mon modèle est un simple RNN, sa passe avant peut s'exprimer comme suit: rtzt= σ(Wje n⋅Xt+Wr e c⋅rt - 1) )=Wo u...
Est-il possible d'obtenir des résultats de pointe en utilisant uniquement la rétro-propagation (sans pré-formation )? Ou est-ce pour que toutes les approches battant des records utilisent une certaine forme de pré-formation? La rétropropagation est-elle suffisante à elle