Dans un petit ensemble de données ( ) avec lequel je travaille, plusieurs variables me donnent une prédiction / séparation parfaite . J'utilise donc la régression logistique de Firth pour traiter le problème.
Si je sélectionne le meilleur modèle par AIC ou BIC , dois-je inclure le terme de pénalité Firth dans la probabilité lors du calcul de ces critères d'information?
Réponses:
Si vous souhaitez justifier l'utilisation du BIC: vous pouvez remplacer la probabilité maximale par l'estimation maximale a posteriori (MAP) et le critère de type 'BIC' résultant reste asymptotiquement valide (dans la limite de la taille de l'échantillon ). Comme mentionné par @probabilityislogic, la régression logistique de Firth équivaut à utiliser un a priori de Jeffrey (donc ce que vous obtenez de votre ajustement de régression est le MAP).n→∞
Le BIC est un critère pseudo-bayésien qui est (grossièrement) dérivé en utilisant une expansion en série de Taylor de la vraisemblance marginale autour de l'estimation du maximum de vraisemblance . Ainsi, il ignore le précédent, mais l'effet de ce dernier disparaît à mesure que l'information se concentre sur la probabilité.
Comme remarque secondaire, la régression de Firth élimine également le biais de premier ordre dans les familles exponentielles.
la source