Je regarde la fonction de coût d'entropie croisée trouvée dans ce tutoriel : C= - 1n∑X[ ylna + ( 1 - y) ln( 1 - a ) ]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Que résumons-nous exactement? C'est, bien sûr, sur Xxx , mais yyy et uneaa ne changent pas avec Xxx . Tous...
Un réseau de petit monde est un type de graphe mathématique dans lequel la plupart des nœuds ne sont pas voisins les uns des autres, mais la plupart des nœuds peuvent être atteints les uns des autres par un petit nombre de sauts ou d'étapes. Plus précisément, un réseau de petit monde est défini...
Les problèmes de classification avec des limites non linéaires ne peuvent pas être résolus par un simple perceptron . Le code R suivant est à des fins d'illustration et est basé sur cet exemple en Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <-...
J'essaie de comprendre l'architecture des RNN. J'ai trouvé ce tutoriel qui a été très utile: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Surtout cette image: Comment cela s'intègre-t-il dans un réseau à action directe? Cette image est-elle juste un autre nœud dans chaque...
Supposons que j'ai un réseau neuronal simple couche, avec n entrées et une seule sortie (tâche de classification binaire). Si je définis la fonction d'activation dans le nœud de sortie comme une fonction sigmoïde, le résultat est un classificateur de régression logistique. Dans ce même scénario, si...
J'essaie de former un réseau neuronal profond pour la classification, en utilisant la propagation arrière. Plus précisément, j'utilise un réseau de neurones convolutifs pour la classification d'images, en utilisant la bibliothèque Tensor Flow. Pendant l'entraînement, je ressens un comportement...
Lors de l'application du décrochage dans les réseaux de neurones artificiels, il faut compenser le fait qu'au moment de l'entraînement, une partie des neurones était désactivée. Pour ce faire, il existe deux stratégies communes: mise à l'échelle de l'activation au moment du test inverser le...
Est-il possible de former un réseau neuronal pour dessiner l'image dans un certain style? (Il prend donc une image et la redessine dans un style pour lequel elle a été formée.) Existe-t-il une technologie approuvée pour ce genre de chose? Je connais l'algorithme DeepArt. Il est bon de remplir...
Je suis nouveau à Keras et j'ai besoin de votre aide. J'entraîne un réseau neuronal à Keras et ma fonction de perte est la sortie et la valeur cible de la différence nette au noir et blanc. Je veux optimiser cela en utilisant Gradient Descent. Après avoir parcouru quelques liens sur le net, j'ai...
Je me demandais quelle était la meilleure façon d'initialiser l'état des LSTM. Actuellement, je viens de l'initialiser à tous les zéros. Je ne trouve vraiment rien en ligne sur la façon de l'initialiser. Une chose que je pensais faire était de faire de l'état initial un paramètre entraînable. Aucun...
Existe-t-il une règle empirique entre la profondeur d'un réseau neuronal et le taux d'apprentissage? J'ai remarqué que plus le réseau est profond, plus le taux d'apprentissage doit être faible. Si c'est exact,
Bien que j'aie fait de la programmation avec des machines Boltzmann dans un cours de physique, je ne connais pas leur caractérisation théorique. En revanche, j'en connais un peu sur la théorie des modèles graphiques (sur les premiers chapitres du livre de Lauritzen Graphical Models ). Question:...
En termes de différence entre réseau neuronal et apprentissage en profondeur, nous pouvons énumérer plusieurs éléments, tels que davantage de couches sont incluses, un ensemble de données massif, un matériel informatique puissant pour rendre possible la formation d'un modèle compliqué. En plus de...
J'utilise un RNN bidirectionnel pour détecter un événement d'occurrence déséquilibrée. La classe positive est 100 fois moins souvent que la classe négative. Sans utilisation de régularisation, je peux obtenir une précision de 100% sur le train et de 30% sur le jeu de validation. J'active la...
Je travaille sur un réseau de convolution pour la reconnaissance d'image, et je me demandais si je pouvais entrer des images de différentes tailles (pas très différentes cependant). Sur ce projet: https://github.com/harvardnlp/im2markup Ils disent: and group images of similar sizes to facilitate...
J'ai lu sur les SVM et j'ai appris qu'ils résolvaient un problème d'optimisation et l'idée de marge maximale était très raisonnable. Maintenant, en utilisant des noyaux, ils peuvent même trouver des limites de séparation non linéaires, ce qui était génial. Jusqu'à présent, je n'ai vraiment aucune...
Dans le récent article WaveNet , les auteurs se réfèrent à leur modèle comme ayant des couches empilées de convolutions dilatées. Ils produisent également les graphiques suivants, expliquant la différence entre les convolutions «régulières» et les convolutions dilatées. Les convolutions régulières...
Dans l'article intitulé Deep Learning and the Information Bottleneck Principle, les auteurs déclarent dans la section II A) ce qui suit: Les neurones simples ne classent que les entrées séparables linéairement, car ils ne peuvent implémenter que des hyperplans dans leur espace d'entrée . Les...
Dans les articles AlphaGo Zero et AlphaZero de DeepMind , ils décrivent l'ajout de bruit de Dirichlet aux probabilités antérieures d'actions du nœud racine (état de la carte) dans Monte Carlo Tree Search: Une exploration supplémentaire est obtenue en ajoutant du bruit de Dirichlet aux probabilités...
J'ai un fichier CSV avec 4 millions de bords d'un réseau dirigé représentant des personnes communiquant entre elles (par exemple, John envoie un message à Mary, Mary envoie un message à Ann, John envoie un autre message à Mary, etc.). Je voudrais faire deux choses: Trouvez le degré, l'intervalle et...