Exemple simple qui montre les avantages de la moyenne du modèle bayésien (BMA)

J'incorpore une approche de Bayesian Model Averaging (BMA) dans mes recherches et je ferai bientôt une présentation de mon travail à mes collègues. Cependant, BMA n'est pas vraiment bien connu dans mon domaine, donc après leur avoir présenté toute la théorie et avant de l'appliquer à mon problème, je veux présenter un exemple simple mais instructif sur les raisons pour lesquelles BMA fonctionne.

Je pensais à un exemple simple avec deux modèles, mais le vrai modèle de génération de données (DGM) se situe quelque part entre les deux et les preuves ne favorisent vraiment aucun d'entre eux. Donc, si vous en choisissez un et continuez, vous ignoreriez l'incertitude du modèle et feriez une erreur, mais BMA, bien que le vrai modèle ne fasse pas partie de l'ensemble de modèles, donne au moins une densité postérieure correcte du paramètre d'intérêt. Par exemple, il y a deux prévisions météorologiques chaque jour (A et B) et l'on veut prédire le meilleur temps, donc dans les statistiques classiques, vous devriez d'abord essayer de trouver le meilleur prévisionniste entre les deux, mais que se passe-t-il si la vérité se situe quelque part entre les deux (c'est-à-dire que parfois A a raison, parfois B). Mais je n'ai pas pu le formaliser. Quelque chose comme ça, mais je suis très ouvert aux idées. J'espère que cette question est suffisamment précise!

Dans la littérature, je n'ai pas trouvé de bons exemples de ce que j'ai lu jusqu'à présent:

• Kruschke (2011) , bien qu'il constitue une excellente introduction aux statistiques bayésiennes, ne se concentre pas vraiment sur le BMA et l'exemple de tirage au sort qu'il a au chapitre 4 est idéal pour introduire les statistiques bayésiennes, mais ne convainc pas vraiment un collègue de recherche d'utiliser le BMA. ("Pourquoi encore une fois j'ai trois modèles, l'un disant que la pièce est juste et deux disant qu'elle est biaisée dans les deux sens?")
• Toutes les autres choses que j'ai lues ( Koop 2003 , Koop / Poirier / Tobias (2007) , Hoeting et al. (1999) et des tonnes d'autres) sont d'excellentes références, mais je n'y ai pas trouvé d'exemple de jouet simple.

Mais peut-être que je viens de manquer une bonne source ici.

Alors, quelqu'un a-t-il un bon exemple qu'il utilise pour introduire le BMA? Peut-être même en montrant les probabilités et les postérieurs parce que je pense que ce serait très instructif.

J'ai fait quelque chose de similaire récemment. Pas tellement essayer de convaincre les autres, mais faire un petit projet qui m'a permis d'avoir un petit avant-goût du BMA. Ce que j'ai fait était de générer un ensemble de données avec une réponse binaire, trois variables indépendantes qui ont eu un effet sur la réponse et sept variables qui n'ont eu aucun effet sur la réponse. J'ai ensuite comparé les résultats BMA aux estimations fréquentistes en régression logistique. Je pense qu'au moins dans ce cas, l'approche BMA semble être assez bonne. Si vous voulez le rendre plus accessible, vous pouvez toujours nommer les variables ou quelque chose au lieu de les appeler et génériques .$X$$y$

Le code R que j'ai utilisé pour cela est présenté ci-dessous. J'espère que cela peut vous inspirer!

# The sample size
n <- 100

# The 'true' coefficient vector
Beta <- cbind(c(-1.5, 0.45, -3))

# Generate the explanatory variables which have an effect on the outcome
set.seed(1)
X <- cbind(rnorm(n, 0, 1), rnorm(n, 4, 2), rnorm(n, 0.5, 1))

# Convert this into probabilities
prob <- 1/(1+exp(-X %*% Beta))

# Generate some uniform numbers. If the elements are smaller than the corresponding elements in the prob vector, then return 1.
set.seed(2)
runis <- runif(n, 0, 1)
y <- ifelse(runis < prob, 1, 0)

# Add the nonsense variables
X <- cbind(X, rpois(n, 3))        # Redundant variable 1 (x4)
X <- cbind(X, rexp(n, 10))        # Redundant variable 2 (x5)
X <- cbind(X, rbeta(n, 3, 10))    # Redundant variable 3 (x6)
X <- cbind(X, rbinom(n, 10, 0.5)) # Redundant variable 4 (x7)
X <- cbind(X, rpois(n, 40))       # Redundant variable 5 (x8)
X <- cbind(X, rgamma(n, 10, 20))  # Redundant variable 6 (x9)
X <- cbind(X, runif(n, 0, 1))     # Redundant variable 7 (x10)


# The BMA
library(BMA)
model <- bic.glm(X, y,  glm.family="binomial", factor.type=FALSE, thresProbne0 = 5, strict = FALSE)

# The frequentist model
model2 <- glm(y~X, family = "binomial")

old.par <- par()
par(mar=c(3,2,3,1.5))
plot(model, mfrow=c(2,5))
par(old.par)

summary(model)
summary(model2)

Une excellente ressource pour cela est:
la moyenne du modèle bayésien avec BMS par Stefan Zeugner (2012)

Il utilise le R-package BMS , plus d'informations peuvent être trouvées ici:
http://bms.zeugner.eu/

Deux didacticiels pratiques pour reproduire des exemples du monde réel avec le package peuvent être trouvés ici:

• http://bms.zeugner.eu/tutorials/fls/
• http://bms.zeugner.eu/tutorials/fat/

Une introduction plus générale de motivation et actuelle aux méthodes bayésiennes est l'article suivant:

Le temps est venu: méthodes bayésiennes pour l'analyse des données dans les sciences organisationnelles par John K. Kruschke, Herman Aguinis et Harry Joo