Statistiques pour l'apprentissage automatique, papiers pour commencer?

10

J'ai une formation en programmation informatique et en théorie des nombres élémentaires, mais aucune formation en statistique réelle, et j'ai récemment "découvert" que le monde étonnant de toute une gamme de techniques est en fait un monde statistique. Il semble que les factorisations matricielles, l'achèvement de la matrice, les tenseurs de haute dimension, les plongements, l'estimation de densité, l'inférence bayésienne, les partitions de Markov, le calcul de vecteur propre, le PageRank sont tous des techniques hautement statistiques, et que les algorithmes d'apprentissage automatique qui utilisent de telles choses, utilisent beaucoup de statistiques .

Mon objectif est de pouvoir lire des articles qui discutent de telles choses, et d'implémenter ou de créer les algorithmes, tout en comprenant la notation, les "preuves" et les arguments statistiques utilisés. Je suppose que le plus difficile est de suivre toutes les preuves qui impliquent des matrices.

Quels documents de base peuvent me permettre de commencer? Ou un bon manuel avec des exercices qui valent la peine d'être travaillés?

Plus précisément, certains articles que j'aimerais comprendre complètement sont les suivants:

  1. Achèvement de la matrice exacte via l'optimisation convexe, Candes, Recht, 2008
  2. La transformation de Cauchy rapide et la régression linéaire robuste plus rapide, Clarkson et al, 2013
  3. Projections aléatoires pour les machines à vecteurs de support, Paul et al, 2013
  4. Estimation de probabilité à haute dimension avec des modèles de densité profonde, Rippel, Adams, 2013
  5. Obtention d'estimations minimisant les erreurs et limites d'erreur universelles d'entrée de gamme pour l'achèvement de la matrice de bas rang, Király, Theran, 2013
machine-learning estimation Cris Stringfellow
la source
1
Connaissez-vous déjà les matrices, par exemple dans le cadre d'un cours d'algèbre linéaire appliquée, ou faites-vous partie de ce que vous cherchez à apprendre? Je dirais que la première moitié de la liste que vous avez donnée concerne des sujets qui sont importants en statistique plutôt que des techniques hautement statistiques (ce qui me semble aller dans la direction opposée). Il y a plusieurs questions ici sur les livres recommandés pour l'apprentissage de l'apprentissage automatique statistique. Je vous suggère de fournir un exemple ou deux de documents spécifiques que vous avez rencontrés et que vous aimeriez comprendre; cela aidera à mieux cibler les réponses que vous recevez.
Cardinal
2
Oui, familier avec les matrices, l'algèbre linéaire et les concepts d'espace vectoriel, de base, de normes, mais je ne comprends pas bien des choses comme la factorisation LU, bien que je sois assez clair sur l'orthogonalisation de Gram-Schmidt et l'algorithme QR non optimisé, cependant pas complètement clair sur la raison pour laquelle ils fonctionnent. De plus, je ne comprends pas comment les gens peuvent dériver les vecteurs propres pour une matrice aléatoire sans exécuter un algorithme de vecteurs propres dessus.
Cris Stringfellow

Réponses:

2

Je recommanderais le cours Andrew Ngs Machine Learning sur Coursera, il fait une couverture brillante sur toutes les bases. Si vous étudiez quelque chose à voir avec les modèles graphiques probabilistes, le cours Daphne Kollers serait également intéressant.

C'est aussi un trésor pour les ressources d'autoformation http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ Les conférences de Herb Grossman sont impressionnantes.

On m'a également recommandé ce livre https://www.openintro.org/stat/textbook.php car je suis toujours en train de m'apprendre et les statistiques ne sont pas mes antécédents!

Mes deux centimes concernent le côté mathématique des choses et des articles, mais ne vous laissez pas trop entraîner par les mathématiques de base. Apprenez les bases et référencez les articles sur lesquels ces articles que vous avez mentionnés sont construits et voyez s'ils sont plus faciles (vous devrez peut-être revenir en arrière quelques articles pour obtenir quelque chose que vous pouvez comprendre - c'est ce que je fais moi-même), il y a beaucoup de différents éléments de mathématiques en ML et il est facile de se faire sucer dans un terrier de lapin (encore une fois, je l'ai fait moi-même plus d'une fois!).

Bonne chance, c'est un domaine vraiment intéressant!

Jim
la source