Le MLE avec régularisation est-il une méthode bayésienne?

8

On dit généralement que les a priori sur les statistiques bayésiennes peuvent être considérés comme des facteurs de régularisation car ils pénalisent les solutions où le précédent place une faible densité de probabilité.

Ensuite, étant donné ce modèle simple dont les paramètres MLE sont:

unergmuneXμ N(y;μ,σ)

et j'ajoute un préalable: les paramètres ne sont pas les paramètres MLE mais les paramètres MAP.

unergmuneXμ N(y;μ,σ)N(μ;0,σ0)

Question : Cela signifie-t-il que si j'introduis une certaine régularisation dans mon modèle, je fais une analyse bayésienne (même si je n'utilise que des estimations ponctuelles)?

Ou cela n'a tout simplement aucun sens de faire cette distinction "ontologique" à ce stade puisque la méthode pour trouver MLE ou MAP est la même (n'est-ce pas?)?

alberto
la source

Réponses:

10

Cela signifie que l'analyse a une interprétation bayésienne, mais cela ne signifie pas qu'elle pourrait ne pas avoir également une interprétation fréquentiste également. L'estimation MAP pourrait être considérée comme une approche bayésienne partielle, une approche bayésienne plus complète consistant à considérer la distribution postérieure sur les paramètres. Il s'agit toujours d'une approche bayésienne, car la définition de la probabilité serait un "degré de plausibilité", plutôt qu'une fréquence à long terme.

Dikran Marsupial
la source
5

Si vous utilisez la norme L2, c'est-à-dire une pénalité quadratique sur la fonction de vraisemblance logarithmique, la pénalisation est très similaire à une procédure bayésienne avec un a priori gaussien avec une moyenne nulle pour les coefficients de régression sans interception. Mais contrairement à la procédure bayésienne complète qui tient compte de l'incertitude sur le montant de la pénalisation (analogue au traitement de la variance des effets aléatoires comme s'il s'agissait d'une constante connue), la procédure de probabilité maximale pénalisée prétend que la peine optimale a été prédéfinie et n'est pas un paramètre inconnu. Il en résulte donc des limites de confiance un peu trop étroites.

Frank Harrell
la source
2
+1 bon point, sans tenir compte de l'incertitude des hyper-paramètres est Empirical Bayes.
Dikran Marsupial