Quel est le meilleur manuel d'introduction à la statistique bayésienne?

Quel est le meilleur manuel d'introduction aux statistiques bayésiennes?

Un livre par réponse, s'il vous plaît.

Au milieu de 2011, John Kruschke a publié un livre intitulé Doing Bayesian Data Analysis: un didacticiel avec R et BUGS . (Une deuxième édition est sortie en novembre 2014: Doing Bayesian Data Analysis, Deuxième édition: didacticiel avec R, JAGS et Stan .) C'est vraiment une introduction. Cependant, si vous voulez vous rendre des statistiques fréquentistes à Bayes, en particulier avec la modélisation à plusieurs niveaux, je vous recommande Gelman et Hill.

John Kruschke a également un site Web pour le livre qui contient tous les exemples du livre dans BUGS and JAGS. Son blog sur les statistiques bayésiennes est également lié au livre.

Mon préféré est "Bayesian Data Analysis" de Gelman, et al.

Statistique Repenser , a été publié il y a quelques semaines à peine et par conséquent, je le lis toujours, mais je pense que c'est un ajout très agréable et frais aux livres vraiment d'introduction sur la statistique bayésienne. L'auteur utilise une approche similaire à celle utilisée par John Kruschke dans ses livres pour chiots ; Explications très verbeuses, détaillées, exemples pédagogiques intéressants, il utilise également une approche informatique plutôt que mathématique.

Les conférences sur Youtube et d'autres documents sont également disponibles ici .

Code porté en Python / PyMC3

Un autre vote pour Gelman et al., Mais une seconde proche pour moi - étant de la persuasion de l'apprentissage par la pratique - est le "Bayesian Computation with R" de Jim Albert .

Sivia and Skilling, Analyse des données: un didacticiel bayésien (2ed) 2006 246p 0198568320 books.goo :

Les conférences de statistiques ont été une source de grande confusion et de frustration pour des générations d’étudiants. Ce livre tente de remédier à la situation en exposant une approche logique et unifiée de l’ensemble du sujet de l’analyse des données. Ce texte est destiné à servir de guide pour les étudiants de premier cycle et les étudiants en recherche en sciences et en génie ...

Je ne connais pas les autres recommandations cependant.

Pour une introduction, je recommanderais la programmation probabiliste et les méthodes bayésiennes pour les pirates informatiques de Cam Davidson-Pilon, disponible gratuitement en ligne.

De sa description:

Une introduction aux méthodes bayésiennes et à la programmation probabiliste d'un point de vue calcul / compréhension d'abord, mathématiques ensuite.

Il est très visuel, coupe droit à la valeur et compense les détails, plus tard, a de nombreux exemples, a un code interactif (dans IPython Notebook).

Je recommande vivement la polémique divertissante "Théorie des probabilités: la logique de la science" de ET Jaynes.

Il s’agit d’un texte d’introduction dans le sens où il n’est pas nécessaire (et préfère en fait) de ne pas avoir une connaissance préalable de la statistique, mais il utilise finalement des mathématiques assez sophistiquées. Comparé à la plupart des autres réponses fournies, ce livre n’est pas aussi pratique ni aussi facile à digérer, il fournit plutôt le fondement philosophique de la raison pour laquelle vous voudriez employer des méthodes bayésiennes et pourquoi ne pas utiliser des approches fréquentistes. C'est une introduction d'une manière historique et philosophique, mais pas pédagogique.

Je suis un ingénieur électricien et non un statisticien. J'ai passé beaucoup de temps à passer par Gelman, mais je ne pense pas que l'on puisse parler de Gelman d'introduction. Mon professeur guru bayésien de Carnegie Mellon est d'accord avec moi sur ce point. avoir le minimum de connaissances en statistiques et en R et bogues (moyen facile de faire quelque chose avec la statistique bayésienne) Analyse en bayésienne des données: un tutoriel avec R et BOGU est un début incroyable. Vous pouvez comparer tous les livres proposés facilement par leur couverture de livre!

Mise à jour 5 ans plus tard: je voudrais ajouter que peut-être un autre moyen important d’apprendre rapidement (40 minutes) est de consulter la documentation d’un outil basé sur une interface graphique Bayesian, tel que Netica 2 . Il commence par les bases, vous explique les étapes de la création d’un réseau basé sur une situation et des données, et vous explique comment poser vos propres questions pour "l’obtenir!".

Son objectif n'est pas strictement basé sur les statistiques bayésiennes, il manque donc une certaine méthodologie, mais les algorithmes de théorie de l'information, d'inférence et d'apprentissage de David MacKay m'ont permis de saisir intuitivement les statistiques bayésiennes mieux que les autres. mieux.

Les livres de Gelman sont tous excellents, mais pas nécessairement introductifs, car ils supposent que vous connaissez déjà certaines statistiques. Par conséquent, ils constituent une introduction à la méthode bayésienne de statistique plutôt qu’à la statistique en général. Je leur donnerais quand même le pouce, cependant.

En tant que livre d'introduction aux statistiques et à l'économétrie qui adopte une perspective bayésienne, je recommanderais l'économétrie bayésienne de Gary Koop .

" Noyau bayésien: une approche pratique des statistiques computationnelles bayésiennes " de Marin et Robert, Springer-Verlag (2007).

"Pourquoi?": L'auteur explique le pourquoi du choix bayésien et le comment très bien. C'est un livre pratique, mais écrit par l'un des meilleurs penseurs bayésiens du monde. Ce n'est pas exhaustif. D'autres livres ont cet objectif. Il aborde quelques sujets pertinents, utiles et éclairant les fondements.

À propos du "choix": si vous voulez vraiment vous plonger dans les fondations bayésiennes, Xi'an '"Le choix bayésien" est clair, profond, essentiel.

Mon premier texte de premier cycle préféré pour les statistiques bayésiennes est de Bolstad, Introduction to Bayesian Statistics . Si vous recherchez quelque chose de niveau universitaire, ce sera trop élémentaire, mais pour quelqu'un de novice en statistiques, c'est l'idéal.

Je ne sais pas pourquoi personne n'a mentionné le livre très introductif sur le bayésien:

Il existe une version PDF gratuite pour le livre. Le livre offre assez de matériel pour quiconque a très peu d'expérience en bayésien. Il introduit le concept de distribution préalable, distribution postérieure, distribution bêta, etc.

Essayez, c'est gratuit.

http://greenteapress.com/thinkbayes/

J'ai lu certaines parties de Premier cours sur les méthodes statistiques bayésiennes de Peter Hoff et je l'ai trouvé facile à suivre. (Un exemple de code R est fourni dans tout le texte)

J'ai trouvé une excellente introduction dans Gelman and Hill (2007), Analyse de données à l'aide de modèles de régression et de niveaux hiérarchiques / multiniveaux . (D'autres commentaires le mentionnent, mais il mérite d'être voté seul.)

En venant de fond non statistique, j'ai trouvé Introduction à la statistique bayésienne appliquée et à l'estimation pour les spécialistes des sciences sociales assez informative et facile à suivre.

Si vous recherchez un texte élémentaire, c'est-à-dire qui ne nécessite pas de calcul, consultez la publication Statistiques de Don Berry : une perspective bayésienne .

Jetez un oeil à "Le choix bayésien" . Il contient le package complet: fondations, applications et calcul. Clairement écrit.

J'ai au moins jeté un coup d'œil à la plupart de ceux-ci sur cette liste et aucun n'est aussi bon que le nouveau Bayesian Ideas and Data Analysis à mon avis.

Edit: Il est facile de commencer immédiatement l’analyse bayésienne en lisant ce livre. Ne modélisez pas simplement la moyenne à partir d'une distribution normale avec une variance connue, mais analysez les données réelles après les deux premiers chapitres. Tous les exemples de code et les données se trouvent sur le site Web du livre. Couvre une quantité décente de théorie mais l’accent est mis sur les applications. Beaucoup d'exemples sur un large éventail de modèles. Beau chapitre sur les non paramétriques bayésiennes. Winbugs, exemples R et SAS. Je le préfère à l'analyse bayésienne des données (j'ai les deux). La plupart des livres ici (Gelman, Robert, ...) ne sont pas des introductions à mon avis et à moins que vous n'ayez quelqu'un avec qui vous parler, il restera probablement plus de questions que de réponses. Le livre d'Albert ne couvre pas suffisamment de matériel pour se sentir à l'aise d'analyser des données différentes de ce qui est présenté dans le livre (encore une fois, selon moi).

J'aime assez la chaîne de Markov Monte Carlo: simulation stochastique pour l'inférence bayésienne par Gamerman et Lopes.

Pour les débutants complets, essayez William Briggs « Briser la loi des moyennes: probabilité dans la vie réelle et statistiques en clair»

Je dois simplement inclure MCMC dans la pratique . Il fournit une excellente introduction à MCMC, peut-être pas aussi générale que d'autres ouvrages mentionnés, mais excellent pour gagner en perspicacité et en intuition. Je recommande la lecture après (ou en parallèle avec) Calcul bayesien avec R .

Si vous venez des sciences physiques (physique / astronomie), je vous recommanderais l’analyse bayésienne de données logiques pour les sciences physiques: approche comparative avec le support de Mathematica® par Gregory (2006).

Bien que la partie du titre intitulée «with Mathematica® Support» (Support avec Mathematica®) soit réservée aux problèmes commerciaux (les utilisations du code Mathematica sont très médiocres), l’avantage de ce livre est qu’il s’agit vraiment d’une introduction au sujet des probabilités et des statistiques. Il y a même des chapitres sur les statistiques fréquentistes. Cependant, une fois que vous avez essayé, optez pour le livre de Gelman et. al que beaucoup de gens vous ont recommandé. La plupart des documents du livre de Gregory sont pris à la légère (sinon, ce ne serait pas une introduction): le livre de Gelman a été un véritable réveil de celui de Gregory pour moi.

Je lis:

Gelman et al. (2013). Analyse bayésienne des données. CRC Press LLC. 3ème éd.

Hoff, Peter D (2009). Un premier cours de méthodes statistiques bayésiennes. Textes Springer dans les statistiques.

Kruschke, Analyse Bayesian de données: Un tutoriel avec R et Bugs, 2011. Academic Press / Elsevier.

et je pense que le meilleur pour commencer est le livre de Kruschke. C'est parfait pour une première approche de la pensée bayésienne: les concepts sont expliqués très clairement, il n'y a pas trop de mathématiques, et il y a plein de beaux exemples!

Gelman et al. est un excellent livre, mais il est plus avancé et je suggère de le lire après celui de Kruschke.

Inversement, je n’ai pas aimé le livre de Hoff, car c’est un livre d’introduction, mais les concepts (et la pensée bayésienne) ne sont pas expliqués clairement. Je suggère de passer.

Si je devais choisir un seul texte pour un débutant, ce serait

              Sivia DS and Skilling J (2006) book (see below). 

Parmi tous les livres énumérés ci-dessous, il s’efforce le plus de donner une compréhension intuitive des idées essentielles, mais il nécessite tout de même une certaine sophistication mathématique à partir de la page 1.

Vous trouverez ci-dessous une liste de lectures supplémentaires de mon livre, accompagnées de commentaires sur chaque publication.

Bernardo, JM et Smith, A, (2000) 4. Théorie bayésienne Récit rigoureux des méthodes bayésiennes, avec de nombreux exemples concrets.

Bishop, C (2006) 5. Pattern Recognition et Machine Learning. Comme le titre l'indique, il s'agit principalement de l'apprentissage automatique, mais il fournit un compte rendu lucide et complet des méthodes bayésiennes.

Cowan G (1998) 6. Analyse de données statistiques. Une excellente introduction non bayésienne à l'analyse statistique.

Dienes, Z (2008) 8. Comprendre la psychologie en tant que science: Introduction à l'inférence scientifique et statistique. Fournit du matériel didactique sur la règle de Bayes et une analyse lucide de la distinction entre statistiques bayésiennes et fréquentistes.

Gelman A, Carlin J, Stern H et Rubin D. (2003) 14. Analyse bayésienne des données. Un compte rendu rigoureux et complet de l'analyse bayésienne, avec de nombreux exemples concrets.

Jaynes E et Bretthorst G (2003) 18. Théorie des probabilités: la logique de la science. Le classique moderne de l'analyse bayésienne. C'est complet et sage. Son style discursif le rend long (600 pages) mais jamais ennuyeux, et il regorge de connaissances.

Khan, S, 2012, Introduction au théorème de Bayes. Les vidéos de mathématiques en ligne de Salman Khan constituent une bonne introduction à divers sujets, y compris la règle de Bayes.

Lee PM (2004) 27. Statistiques bayésiennes: une introduction. Un texte rigoureux et complet avec un style bayésien strident.

MacKay DJC (2003) 28. Théorie de l'information, inférence et algorithmes d'apprentissage. Le classique moderne sur la théorie de l'information. Un texte très lisible qui couvre de nombreux sujets, qui utilisent presque tous la règle de Bayes.

Migon, HS et Gamerman, D (1999) 30. Inférence statistique: une approche intégrée. Un compte-rendu simple (et clairement défini) de l'inférence, qui compare les approches bayésienne et non bayésienne. Bien qu’il soit assez avancé, le style d’écriture est de type tutoriel.

Pierce JR (1980) 34 2e édition. Une introduction à la théorie de l'information: symboles, signaux et bruit. Pierce écrit avec un style d'écriture informel et didactique, mais ne manque pas de présenter les théorèmes fondamentaux de la théorie de l'information.

Reza, FM (1961) 35. Une introduction à la théorie de l'information. Un livre plus complet et mathématiquement plus rigoureux que le livre de Pierce ci-dessus, et ne devrait idéalement être lu qu'après la première lecture du texte plus informel de Pierce.

Sivia DS et Skilling J (2006) 38. Analyse de données: un didacticiel bayésien. Ceci est une excellente introduction de style tutoriel aux méthodes bayésiennes.

Spiegelhalter, D et Rice, K (2009) 36. Statistiques bayésiennes. Scholarpedia, 4 (8): 5230. http://www.scholarpedia.org/article/Bayesian_statistics Un résumé fiable et complet de l'état actuel des statistiques bayésiennes.

Et, voici mon livre, publié en juin 2013.

La règle de Bayes: introduction à l'analyse bayésienne, Dr James V Stone, ISBN 978-0956372840

Le chapitre 1 peut être téléchargé à partir de: http://jim-stone.staff.shef.ac.uk/BookBayes2012/BayesRuleBookMain.html

Description: Découverte par un mathématicien et prédicateur du XVIIIe siècle, la règle de Bayes est une pierre angulaire de la théorie des probabilités moderne. Dans ce livre richement illustré, une série d'exemples accessibles sont utilisés pour montrer que la règle de Bayes est en réalité une conséquence naturelle du raisonnement de bon sens. La règle de Bayes est dérivée à l'aide de représentations graphiques intuitives de probabilité, et l'analyse bayésienne est appliquée à l'estimation de paramètres à l'aide des programmes MatLab fournis. Le style d'écriture didactique, combiné à un glossaire complet, en fait un guide idéal pour le novice qui souhaite se familiariser avec les principes de base de l'analyse bayésienne.

Ce n'est pas strictement statistique bayésienne en tant que telle, mais je peux fortement recommander "Un premier cours sur l'apprentissage automatique" de Rogers et Girolami, qui est essentiellement une introduction aux approches bayésiennes de l'apprentissage automatique. Il est très bien structuré et clair et s’adresse aux étudiants sans solide bagage mathématique. Cela signifie que c'est une bonne première introduction aux idées bayésiennes. Il y a aussi le code MATLAB / OCTAVE qui est une fonctionnalité intéressante.

Statistiques bayésiennes pour les spécialistes des sciences sociales . Phillips, Lawrence D. (1973), Thomas Crowell & Co. C'est très clair, très accessible, ne suppose pas la connaissance des statistiques et, contrairement à Bolstad que j'ai trouvé sec, a quelque personnalité.

Ce livre suggère qu'il est destiné aux étudiants de premier cycle.

Biostatistique: une introduction bayésienne. Par George G Woodsworth.

Edité par John Wiley & Sons

Gill, J. (2014). Méthodes bayésiennes: une approche des sciences sociales et comportementales. 3ème édition.

Rédigé par un professeur de sciences politiques, les spécialistes en sciences sociales sont l’audience ciblée. Le code R est fourni.

http://www.amazon.com/Bayesian-Methods-Behavioral-Sciences-Statistics/dp/1439862486/

Comme le type de débutant n’est pas précisé dans la question, voici mon conseil pour les statisticiens débutants:

Andrew B. Lawson et Emmanuel Lesaffre (2012): Biostatistique bayésienne

Ce livre a été utilisé pendant la première année de notre master en sciences statistiques et je l’ai trouvé relativement facile à comprendre pour un sujet aussi difficile. Comme pour la majorité des ouvrages de «biostatistique», les exemples sont principalement de la biologie clinique, mais les méthodes ne se limitent pas à celles utiles en science clinique. Avant cela, nous avions suivi une formation statistique d'environ six mois et, outre le théorème de Bayes, la statistique bayésienne n'avait pas encore été introduite.

Ce qui est également intéressant, c’est que les 649 diapositives des présentations sont disponibles en ligne .