Références sur l'optimisation numérique pour les statisticiens

9

Je recherche une référence (ou des références) solides sur les techniques d'optimisation numérique destinées aux statisticiens, c'est-à-dire qu'elles appliqueraient ces méthodes à certains problèmes inférentiels standard (par exemple MAP / MLE dans les modèles courants). Des choses comme la descente de gradient (droite et stochastique), l'EM et ses retombées / généralisations, le recuit simulé, etc.

J'espère qu'il contiendrait des notes pratiques sur la mise en œuvre (si souvent manquantes dans les documents). Il ne doit pas être complètement explicite mais devrait au moins fournir une bibliographie solide.

Quelques recherches superficielles ont révélé quelques textes: Analyse numérique pour les statisticiens de Ken Lange et Méthodes numériques de statistique de John Monahan. Les critiques de chacun semblent mitigées (et clairsemées). Des deux, une lecture de la table des matières suggère que la 2e édition du livre de Lange est la plus proche de ce que je recherche.

estimation references optimization JMS
la source
Fil associé: Manuels d'optimisation pour les statistiques et l'analyse des données .
Richard Hardy

Réponses:

5

Statistiques computationnelles de James Gentle (2009).

Algèbre matricielle de James Gentle: théorie, calculs et applications en statistique (2007) , plus encore vers la fin du livre, le début est bien aussi mais ce n'est pas exactement ce que vous recherchez.

Reconnaissance des formes de Christopher M. Bishop (2006).

Les éléments de l'apprentissage statistique de Hastie et al.: Exploration de données, inférence et prédiction (2009).

Recherchez-vous quelque chose d'aussi bas niveau qu'un texte qui répondra à une question telle que: "Pourquoi est-il plus efficace de stocker des matrices et des tableaux de dimensions supérieures en tant que tableau 1-D, et comment puis-je les indexer dans le M habituel (0, 1, 3, ...) façon? " ou quelque chose comme "Quelles sont les techniques courantes utilisées pour optimiser les algorithmes standard tels que la descente de gradient, EM, etc.?"?

La plupart des textes sur l'apprentissage automatique fourniront des discussions approfondies sur le (s) sujet (s) que vous recherchez.

Phillip Cloud
la source
La seconde (quelles sont quelques techniques courantes ...). La plupart des textes présentent un modèle et décrivent ensuite comment faire l'inférence. Je cherche une sorte d'inverse, où l'accent est mis sur les moyens d'adapter un modèle, puis de les comparer dans des applications, si cela a du sens. Il existe quelques-uns de ces types de livres pour MCMC où ils comparent différents échantillonneurs et décrivent où ils sont utiles et certains des pièges (par exemple Gamerman & Lopes).
JMS
Merci aussi pour les références jusqu'à présent. Le livre de Hastie et al est assez proche, en fait. Cela fait un moment que je ne l'ai pas sur étagère; merci pour l'invite :)
JMS
5

Livre Nocedal et Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

est une bonne référence pour l'optimisation en général, et beaucoup de choses dans leur livre intéressent un statisticien. Il existe également un chapitre entier sur les moindres carrés non linéaires.

NRH
la source
3

Optimization , par Kenneth Lange (Springer, 2004), révisé dans JASA par Russell Steele. C'est un bon manuel avec l' algèbre matricielle de Gentle pour un cours d'introduction au calcul matriciel et à l'optimisation, comme celui de Jan de Leeuw (courses / 202B).

chl
la source
@chi Ce livre a l'air fantastique! Bien que je convienne avec le critique qu'il y a des absences remarquables (recuit simulé et les différentes saveurs stochastiques EM). Un peu bizarre puisque c'est dans leur série de statistiques, mais c'est la vie
JMS
Connaissez-vous également le livre d'algèbre matricielle de Harville? Je serais curieux de savoir comment il se compare à celui de Gentle. Je trouve Harville une belle référence, mais très dense. Juste à partir du livre de la table des matières de Gentle, j'aime que toute la partie 2 soit consacrée aux "applications sélectionnées"
JMS
@JMS Nope. Je n'ai que le manuel de Gentle. (Parce que je ne fais qu'un usage modéré des manuels mathématiques en général, sauf celui-ci que j'ai trouvé assez pratique pour l'analyse de données multivariées.) La partie 2 concerne l'application (section 9) et la partie 3 sur les problèmes logiciels. La page d'accueil est mason.gmu.edu/~jgentle/books/matbk
chl
Ouais, en regardant plus, il semble y avoir plus du côté appliqué. Le livre de Harville est très à l'épreuve des théorèmes, mais axé sur les résultats qui sont importants en statistique; Je pense qu'ils se complètent probablement assez bien malgré le chevauchement des matériaux.
JMS
1

En complément de ceux-ci, vous pouvez trouver Magnus, JR et H. Neudecker (2007). Matrix Calculus with Applications in Statistics and Econometrics, 3rd ed utile quoique lourd. Il développe un traitement complet des opérations infinitésimales avec des matrices, puis les applique à un certain nombre de tâches statistiques typiques telles que l'optimisation, le MLE et les moindres carrés non linéaires. Si à la fin de la journée vous finirez par trouver la stabilité en arrière de vos algorithmes matriciels, une bonne compréhension du calcul matriciel sera indispensable. J'ai personnellement utilisé les outils du calcul matriciel pour dériver des résultats asymptotiques dans les statistiques spatiales et les modèles paramétriques multivariés.

StasK
la source