Mesures de la complexité du modèle

Comment comparer la complexité de deux modèles avec le même nombre de paramètres?

Edit 19/19 : Pour clarifier, la complexité du modèle est une mesure de la difficulté d'apprendre à partir de données limitées. Lorsque deux modèles correspondent aussi bien aux données existantes, un modèle avec une complexité moindre donnera moins d'erreurs sur les données futures. Lorsque des approximations sont utilisées, cela peut techniquement ne pas toujours être vrai, mais c'est OK si cela a tendance à être vrai dans la pratique. Diverses approximations donnent différentes mesures de complexité

Outre les diverses mesures de la longueur de description minimale (par exemple, la probabilité maximale normalisée, l'approximation des informations de Fisher), il existe deux autres méthodes qui méritent d'être mentionnées:

1. Bootstrap paramétrique . C'est beaucoup plus facile à mettre en œuvre que les mesures MDL exigeantes. Un bon article est rédigé par Wagenmaker et ses collègues:
   Wagenmakers, E.-J., Ratcliff, R., Gomez, P., et Iverson, GJ (2004). Évaluation du mimétisme du modèle à l'aide du bootstrap paramétrique . Journal of Mathematical Psychology , 48, 28-50.
   L'abstrait:

   Nous présentons une procédure d'échantillonnage générale pour quantifier le mimétisme du modèle, définie comme la capacité d'un modèle à prendre en compte les données générées par un modèle concurrent. Cette procédure d'échantillonnage, appelée méthode de cross-fit paramétrique bootstrap (PBCM; cf. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23)), génère des distributions des différences de qualité de l'ajustement attendus dans chacun des modèles concurrents. Dans la version informée des données du PBCM, les modèles générateurs ont des valeurs de paramètres spécifiques obtenues en ajustant les données expérimentales considérées. Les distributions des différences basées sur les données peuvent être comparées à la différence observée de qualité de l'ajustement pour permettre une quantification de l'adéquation du modèle. Dans la version non informée des données du PBCM, les modèles générateurs ont une gamme relativement large de valeurs de paramètres basées sur des connaissances antérieures. L'application à la fois des données informées et des données non informées PBCM est illustrée par plusieurs exemples.

   Mise à jour: Évaluation du mimétisme du modèle en anglais simple. Vous prenez l'un des deux modèles concurrents et choisissez au hasard un ensemble de paramètres pour ce modèle (données informées ou non). Ensuite, vous produisez des données à partir de ce modèle avec l'ensemble de paramètres choisi. Ensuite, vous laissez les deux modèles s'adapter aux données produites et vérifiez lequel des deux modèles candidats donne le meilleur ajustement. Si les deux modèles sont également flexibles ou complexes, le modèle à partir duquel vous avez produit les données devrait mieux correspondre. Cependant, si l'autre modèle est plus complexe, il pourrait donner un meilleur ajustement, bien que les données aient été produites à partir de l'autre modèle. Vous répétez cela plusieurs fois avec les deux modèles (c.-à-d. Que les deux modèles produisent des données et regardent lequel des deux correspond le mieux). Le modèle qui "sur-adapte" les données produites par l'autre modèle est le plus complexe.

2. Validation croisée : elle est également assez facile à mettre en œuvre. Voir les réponses à cette question . Cependant, notez que le problème est que le choix parmi la règle de prélèvement d'échantillons (laisser-un-dehors, plier en K, etc.) est sans principe.

Je pense que cela dépend de la procédure d'ajustement du modèle réel. Pour une mesure d'application générale, vous pouvez considérer les degrés de liberté généralisés décrits dans Ye 1998 - essentiellement la sensibilité du changement des estimations du modèle à la perturbation des observations - qui fonctionne assez bien comme mesure de la complexité du modèle.

La longueur minimale de description (MDL) et la longueur minimale de message (MML) valent certainement la peine d'être vérifiées.

En ce qui concerne MDL, un article simple qui illustre la procédure de probabilité maximale normalisée (NML) ainsi que l'approximation asymptotique sont les suivants:

S. de Rooij et P. Grünwald. Une étude empirique de la sélection d'un modèle de longueur de description minimale avec une complexité paramétrique infinie. Journal of Mathematical Psychology, 2006, 50, 180-192

Ici, ils examinent la complexité du modèle d'une distribution géométrique vs une distribution de Poisson. Un excellent tutoriel (gratuit) sur MDL peut être trouvé ici .

Alternativement, un article sur la complexité de la distribution exponentielle examinée avec MML et MDL peut être trouvé ici . Malheureusement, il n'y a pas de tutoriel à jour sur MML, mais le livre est une excellente référence et fortement recommandé.

Description minimale La longueur peut être une avenue à explorer.

Par «complexité du modèle», on entend généralement la richesse de l'espace du modèle. Notez que cette définition ne dépend pas des données. Pour les modèles linéaires, la richesse de l'espace du modèle est mesurée de manière triviale avec la diminution de l'espace. C'est ce que certains auteurs appellent les "degrés de liberté" (bien qu'historiquement, les degrés de liberté soient réservés à la différence entre l'espace modèle et l'espace échantillon). Pour les modèles non linéaires, la quantification de la richesse de l'espace est moins triviale. Les degrés de liberté généralisés (voir la réponse de l'ars) sont une telle mesure. Il est en effet très général et peut être utilisé pour n'importe quel espace modèle "bizarre" tel que les arbres, KNN et autres. La dimension VC est une autre mesure.

Comme mentionné ci-dessus, cette définition de la "complexité" est indépendante des données. Ainsi, deux modèles avec le même nombre de paramètres auront généralement la même "complexité".

Des commentaires de Yaroslav à la réponse de Henrik:

mais la validation croisée semble simplement reporter la tâche d'évaluation de la complexité. Si vous utilisez des données pour choisir vos paramètres et votre modèle comme dans la validation croisée, la question pertinente devient comment estimer la quantité de données nécessaires pour que ce "méta" installateur fonctionne bien

$k$$k$$k$$CV(k)$$k$$k$

Vous pouvez même donner une saveur «significative» à cela, car le résultat de la procédure est directement en termes (unités) de différence dans l'erreur de prévision hors échantillon.

Qu'en est-il du critère d'information pour la comparaison des modèles? Voir par exemple http://en.wikipedia.org/wiki/Akaike_information_criterion

La complexité du modèle est ici le nombre de paramètres du modèle.