Contexte mathématique des réseaux de neurones

11

Je ne sais pas si cela convient à ce site, mais je commence mon MSE en informatique (BS en mathématiques appliquées) et je veux obtenir une solide formation en apprentissage automatique (je vais très probablement poursuivre un doctorat). Un de mes sous-intérêts est les réseaux de neurones.

Quel est un bon fond mathématique pour les RNA? Comme dans d'autres domaines de l'apprentissage automatique, je suppose que l'algèbre linéaire est importante, mais quels autres domaines des mathématiques sont importants?

J'ai l'intention de lire Neural Networks: A Systematic Introduction or Neural Networks for Pattern Recognition . Quelqu'un at-il des commentaires ou des recommandations alternatives?

machine-learning neural-networks mathematical-statistics references Steve P.
la source

Réponses:

10

La deuxième référence que vous donnez est, à mon avis, toujours le meilleur livre sur NN, même si elle peut être un peu dépassée et ne traite pas des développements plus récents comme les architectures profondes. Vous obtiendrez les bases et vous vous familiariserez avec tous les concepts de base autour de l'apprentissage automatique.

Si vous parcourez le livre, vous aurez besoin d'algèbre linéaire, de calcul multivarié et de notions de base de statistiques (probabilités conditionnelles, théorème de bayes et familiarité avec les distributions binomiales). À certains moments, il traite du calcul des variations. L'annexe sur le calcul des variations devrait cependant suffire.

jpmuc
la source
C'est ce que j'ai fini par faire après un tas de recommandations, j'étais juste très hésitant parce que le livre de Bishop sur l'apprentissage automatique, bien que annoncé par certains, est censé être un livre très difficile à apprendre si vous ne le savez pas déjà .
Steve P.
5

La composante mathématique inclurait probablement l'algèbre avancée, le trig, l'algèbre linéaire et le calcul au minimum.

Mais pensez aussi hors des sentiers battus. De bonnes compétences en programmation sont également nécessaires, y compris des bases solides en algorithmes (Coursera a deux cours sur les algorithmes) et une maîtrise de MatLab, Octave ou R (et avec un langage de programmation flexible comme Java, C / C ++ ou Python). Je les mentionne en réponse à votre question car ce sont plus des compétences en "mathématiques appliquées" à mon avis - et sont fondamentales pour la traduction entre la théorie et les implémentations appliquées.

J'ai pris un certain nombre de cours Coursera liés à l'apprentissage automatique (et je suis d'accord avec une autre affiche que l'apprentissage automatique du professeur Ng est fantastique) et NN. Il y a quelques mois, Coursera a organisé un cours sur les réseaux neuronaux (je ne sais pas s'il est toujours disponible) par le biais de l'Université de Toronto et de Geoffrey Hinton. Un grand cours et exigé: connaissance du calcul, maîtrise d'Octave (un clone open source de type MatLab), bonne conception algorithmique (pour l'évolutivité) et algèbre linéaire.

Vous pouvez également (même si ce n'est pas des mathématiques en soi), penser à des sujets tels que le traitement du langage naturel (pour l'extraction de fonctionnalités, etc.), la récupération d'informations, la théorie des statistiques / probabilités ainsi que d'autres domaines de l'apprentissage automatique (pour obtenir plus de théorie). Des textes récents tels que Foundations of Machine Learning (Mohri) ou Introduction to Machine Learning (Alpaydin) pourraient vous être utiles pour combler la complexité de la théorie à la mise en œuvre (juste à mon avis, cela peut être un saut difficile) - et les deux les textes sont très mathématiques, en particulier les fondations.

Encore une fois, je pense que tous concernent les mathématiques et NN, mais dans un sens plus large.

SaB
la source
Merci. Je me suis spécialisé en mathématiques appliquées en tant que premier cycle (et j'ai une vaste expérience en programmation), donc j'ai tout cela, à l'exception d'un cours rigoureux d'algèbre abstraite, que j'enseigne moi-même ... J'ai finalement opté pour Neural Networks for Pattern Reconnaissance, par Bishop. Pour tous ceux qui sont intéressés, je le recommande vivement ...
Steve P.
2

Un très bon livre (pas vraiment introductif, mais ne suppose pas de connaissances préalables dans les réseaux de neurones) est Brian Ripley: "Pattern Recognition and Neural Networks", qui je dirais contient une grande partie de ses préliminaires. Avec un BS en mathématiques appliquées, vous devez être prêt.

kjetil b halvorsen
la source
2

Le sujet principal est les statistiques

Calcul à variables multiples

algèbre linéaire numérique (matrices clairsemées, etc.) optimisation numérique (descente de gradient, etc., programmation quadratique)

vous voudrez peut-être lire sur les processus gaussiens et les mathématiques nécessaires, essayez de faire des cours de traitement d'image / traitement du langage naturel

seanv507
la source
Je prends actuellement un cours de PNL à l'automne.
Steve P.