Approche de la moyenne du modèle - estimation des coefficients de moyenne par rapport aux prévisions du modèle?

9

J'ai une question de base concernant les approches de la moyenne des modèles à l'aide de critères informatiques pour pondérer les modèles au sein d'un ensemble candidat.

La plupart des sources que j'ai lues sur la moyenne du modèle préconisent de faire la moyenne des estimations des coefficients des paramètres sur la base des poids du modèle (soit en utilisant une méthode «moyenne naturelle», soit une méthode «moyenne zéro»). Cependant, j'avais l'impression que la moyenne et la pondération des prévisions de chaque modèle , plutôt que les estimations des coefficients des paramètres, basées sur les poids du modèle, étaient une approche plus simple et justifiée, en particulier si l'on comparait des modèles avec des variables prédictives non imbriquées.

Existe-t-il des indications claires sur l'approche de la moyenne du modèle la mieux justifiée (moyenne des estimations des paramètres pondérés par rapport aux prévisions pondérées)? De plus, y a-t-il d'autres complications avec la moyenne du modèle des estimations de coefficient dans le cas des modèles mixtes?

John Stella
la source
Les deux approches sont possibles. Le principal avantage de la moyenne des prévisions est que vous pouvez faire la moyenne sur tous types de modèles.
Tim
Peut-être intéressant: "Modélisation de la moyenne en écologie: un examen des approches bayésiennes, théoriques de l'information et tactiques pour l'inférence prédictive" esajournals.onlinelibrary.wiley.com/doi/10.1002/ecm.1309
Florian Hartig

Réponses:

4

Dans les modèles linéaires, la moyenne des coefficients vous donnera les mêmes valeurs prédites que les valeurs prédites de la moyenne des prédictions, mais transmet plus d'informations. De nombreuses expositions traitent de modèles linéaires et donc de la moyenne des coefficients.

Vous pouvez vérifier l'équivalence avec un peu d'algèbre linéaire. Supposons que vous ayez observations et prédicteurs. Vous regroupez ce dernier dans la matrice . Vous disposez également de modèles, chacun attribuant une estimation de coefficient aux prédicteurs. Empilez ces estimations de coefficient dans la matrice . La moyenne signifie que vous attribuez des poids à chaque modèle (les poids sont généralement non négatifs et un). Mettez ces poids dans le vecteur de longueur .TNT×NXMβmNN×MβwmmwM

Les valeurs prévues pour chaque modèle sont fournies par , ou, dans la notation empilée valeurs prédites de la moyenne des prévisions sont données par Lorsque vous effectuez la moyenne sur à la place, vous calculez Et les valeurs prédites à partir des coefficients de moyenne sont données par y^m=Xβm

y^=Xβ
y^w=(Xβ)w
βw=βw
Xβw=X(βw)
L'équivalence entre les valeurs prévues pour l'une ou l'autre approche découle de l'associativité du produit matriciel. Étant donné que les valeurs prédites sont les mêmes, vous pouvez tout aussi bien calculer la moyenne des coefficients: cela vous donne plus d'informations, au cas où vous voudriez, par exemple, regarder les coefficients pour des prédicteurs individuels.

Dans les modèles non linéaires, l'équivalence ne tient généralement plus et là, il est en effet logique de faire une moyenne entre les prédictions. La vaste littérature sur la moyenne des prévisions (combinaisons de prévisions) est par exemple résumée ici .

Matthias Schmidtblaicher
la source
1
"au moins dans les modèles linéaires" - que diriez-vous seulement dans les modèles linéaires?!
Hao Ye
C'est un argument "si", pas "seulement si", donc je trouve la formulation "au moins" exacte.
Matthias Schmidtblaicher
Pourtant, je comprends votre point et j'ai modifié ma réponse @HaoYe
Matthias Schmidtblaicher