Existe-t-il une statistique d'ajustement de modèle (comme AIC ou BIC) qui peut être utilisée pour des comparaisons absolues plutôt que simplement relatives?

Je ne connais pas très bien cette littérature, alors pardonnez-moi s'il s'agit d'une question évidente.

Étant donné que l'AIC et le BIC dépendent de la maximisation de la probabilité, il semble qu'ils ne peuvent être utilisés que pour effectuer des comparaisons relatives entre un ensemble de modèles tentant de s'adapter à un ensemble de données donné. Selon ma compréhension, il ne serait pas logique de calculer l'AIC pour le modèle A sur l'ensemble de données 1, de calculer l'AIC pour le modèle B sur l'ensemble de données 2, puis de comparer les deux valeurs AIC et de juger cela (par exemple) Le modèle A correspond mieux à l'ensemble de données 1 que le modèle B correspond à l'ensemble de données 2. Ou peut-être que je me trompe et que c'est une chose raisonnable à faire. S'il vous plaît, faites-moi savoir.

Ma question est la suivante: existe-t-il une statistique d'ajustement de modèle qui peut être utilisée pour des comparaisons absolues plutôt que simplement relatives? Pour les modèles linéaires, quelque chose comme fonctionnerait; il a une gamme définie et des idées spécifiques à la discipline sur ce qu'est une «bonne» valeur. Je cherche quelque chose de plus général et j'ai pensé que je pourrais commencer par cingler les experts ici. Je suis sûr que quelqu'un a déjà pensé à ce genre de choses, mais je ne connais pas vraiment les bons termes pour effectuer une recherche productive sur Google Scholar. $R^2$

Toute aide serait appréciée.

model-selection aic bic Nathan VanHoudnos
la source

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

La seule chose que je pourrais imaginer dans le domaine dont vous parlez serait la mesure de l'exactitude des prévisions. La qualité de deux modèles sur deux ensembles de données différents pourrait potentiellement être comparée par laquelle on prédit le mieux, bien que ce ne soit pas parfait non plus.

Macro

Réponses:

Conformément à ce que Macro a suggéré, je pense que le terme que vous recherchez est une mesure de performance. Bien que ce ne soit pas un moyen sûr d'évaluer la puissance prédictive, c'est un moyen très utile de comparer la qualité d'ajustement de divers modèles.

Un exemple de mesure serait l'erreur moyenne en pourcentage, mais on peut facilement en trouver davantage.

Supposons que vous utilisez SetA avec modelA pour décrire le nombre de trous dans une route, et que vous utilisez SetB et modelB pour décrire le nombre de personnes dans un pays, alors bien sûr, vous ne pouvez pas dire qu'un modèle est meilleur que l'autre, mais vous pouvez voir au moins quel modèle fournit une description plus précise.

Dennis Jaheruddin
la source

Il y a des articles nouveaux qui explorent exactement ce que vous cherchez, je pense; Nakagawa et Schielzeth (2013) présentent une statistique R² pour les modèles à effets mixtes appelée «R2 GLMM» pour définir la quantité de variance inexpliquée dans un modèle.

Le R²GLMM conditionnel est interprété comme une variance expliquée à la fois par des facteurs fixes et aléatoires;

Le R²GLMM marginal représente la variance expliquée par des facteurs fixes.

En 2014, Johnson a mis à jour l'équation pour tenir compte des modèles de pentes aléatoires.

Heureusement, vous pouvez facilement calculer à la fois R²GLMM marginal et conditionnel en utilisant le package "MuMIn" dans R ( Barton, 2015 ).

Nova
la source