Si l’intérêt consiste simplement à estimer les paramètres d’un modèle (estimation ponctuelle et / ou par intervalle) et que les informations préalables ne sont pas fiables, faibles (je sais que cela est un peu vague, mais j’essaie d’établir un scénario où a priori est difficile) ... Pourquoi quelqu'un choisirait-il d'utiliser l'approche bayésienne avec des a priori inappropriés "non informatifs" au lieu de l'approche classique?
44
Réponses:
Une approche bayésienne peut être retenue pour deux raisons, même si vous utilisez des priorations hautement non informatives:
la source
Bien que les résultats soient très similaires, leurs interprétations diffèrent.
Les intervalles de confiance impliquent la notion de répéter une expérience plusieurs fois et de pouvoir capturer le paramètre réel 95% du temps. Mais vous ne pouvez pas dire que vous avez 95% de chances de le capturer.
Les intervalles crédibles (bayésien), en revanche, vous permettent de dire qu'il existe une "probabilité" que 95% des chances que l'intervalle capture la valeur vraie. Mise à jour: Une façon plus bayésienne de formuler cette idée serait que vous pouvez être sûr à 95% de vos résultats.
C'est simplement parce que vous êtes passé de à utilisant la règle de Baye.P ( H y p o t h e s i s | D a t a )P( D a t a | Hyp o t h e s i s ) P( Hyp o t h e s i s | D a t a )
la source
Je crois qu’une des raisons de le faire est qu’une analyse bayésienne vous fournit une distribution postérieure complète. Cela peut entraîner des intervalles plus détaillés que le fréquentiste typique . Une citation applicable de Reis et Stedinger 2005 est la suivante:±2σ
Ainsi, vous pouvez par exemple calculer des intervalles crédibles pour la différence entre deux paramètres.
la source
Sir Harold Jeffreys était un ardent défenseur de l'approche bayésienne. Il a montré que si vous utilisiez des a priori diffus impropres, l'inférence bayésienne résultante serait la même que l'approche inférentielle fréquentiste (en d'autres termes, les régions crédibles bayésiennes sont les mêmes que les intervalles de confiance fréquentistes). La plupart des Bayésiens préconisent des antécédents informatifs appropriés. Il y a des problèmes avec les a priori inappropriés et certains peuvent affirmer qu'aucun antécédent n'est vraiment informatif. Je pense que les Bayésiens qui utilisent ces précédents de Jeffreys le font comme disciples de Jeffreys. Dennis Lindley , l'un des plus ardents défenseurs de l'approche bayésienne, avait beaucoup de respect pour Jeffreys, mais plaidait pour des prieurs informatifs.
la source
L’approche bayésienne présente des avantages pratiques. Cela aide avec l'estimation, étant souvent obligatoire. Et cela permet de nouvelles familles de modèles et aide à la construction de modèles plus complexes (hiérarchiques, multiniveaux).
Par exemple, avec des modèles mixtes (comprenant des effets aléatoires avec des paramètres de variance), on obtient de meilleures estimations si les paramètres de variance sont estimés en les marginalisant par rapport à des paramètres de niveau inférieur (coefficients de modèle; cela s'appelle REML ). L'approche bayésienne le fait naturellement. Avec ces modèles, même avec REML, les estimations des paramètres de variance par probabilité maximale (ML) sont souvent nulles ou biaisées. Un bon avant pour les paramètres de variance aide.
Même si l’estimation ponctuelle ( MAP , maximum a posteriori) est utilisée, les a priori changent la famille du modèle. La régression linéaire avec un grand ensemble de variables quelque peu colinéaires est instable. La régularisation de la couche 2 est utilisée comme solution, mais elle peut être interprétée comme un modèle bayésien avec une estimation préalable gaussienne (non informative) et une estimation MAP. (La régularisation de la L1 est un préalable différent et donne des résultats différents. En réalité, le préalable peut être quelque peu informatif, mais il concerne les propriétés collectives des paramètres, pas un seul paramètre.)
Il existe donc des modèles courants et relativement simples dans lesquels une approche bayésienne est nécessaire simplement pour faire avancer les choses!
Les choses sont encore plus favorables avec des modèles plus complexes, tels que l' allocation de Dirichlet (LDA) latente utilisée dans l'apprentissage automatique. Et certains modèles sont intrinsèquement bayésiens, par exemple ceux basés sur des processus de Dirichlet .
la source
la source
Il y a plusieurs raisons:
Maintenant, pour ce qui est des inconvénients d’utiliser des a priori non informatifs, commençons par ce qui me semble le plus important, puis abordons quelques aspects techniques tout aussi importants:
Le dernier point est un argument en faveur de la préférence des a priori assez vagues (ou légèrement plus faiblement informatifs) qui assurent un postérieur correct. Certes, il peut parfois être difficile d’échantillonner à partir de ceux-ci également, et il peut être difficile de remarquer que tout le postérieur n’a pas été exploré. Cependant, il a été démontré que les méthodes bayésiennes avec des a priori vagues (mais corrects) présentaient dans de nombreux domaines de très bons petits échantillons d'un point de vue fréquentiste et vous pouvez certainement voir cela comme un argument pour utiliser toute différence par rapport aux méthodes avec des a priori non informatifs.
la source