Comprendre les critères AIC et Schwarz

13

Je gère un modèle logistique. L'ensemble de données du modèle réel comporte plus de 100 variables, mais je choisis un ensemble de données de test dans lequel il y a environ 25 variables. Avant cela, j'ai également créé un ensemble de données contenant 8 à 9 variables. On me dit que les valeurs AIC et SC peuvent être utilisées pour comparer le modèle. J'ai observé que le modèle avait des valeurs SC plus élevées même lorsque la variable avait des valeurs p faibles (ex. 0053). À mon intuition, un modèle qui a des variables ayant un bon niveau de signification devrait entraîner de faibles valeurs SC et AIC. Mais cela ne se produit pas. Quelqu'un peut-il clarifier cela. En bref, je veux poser les questions suivantes:

  1. Le nombre de variables a-t-il quelque chose à voir avec SC AIC?
  2. Dois-je me concentrer sur les valeurs p ou les faibles valeurs SC AIC?
  3. Quels sont les moyens typiques de réduire les valeurs SC AIC?
model-selection logistic aic ayush biyani
la source

Réponses:

15

-2Journal⁡(ℓ)+2kkp

Je suggérerais de regarder la régression pénalisée , qui permet d'effectuer une sélection de variables pour éviter les problèmes de surapprentissage. Ceci est discuté dans les stratégies de modélisation de la régression de Frank Harrell (p. 207 et suiv.), Ou Moons et al., Estimation du maximum de vraisemblance pénalisée pour ajuster directement les modèles de prédiction diagnostique et pronostique du suroptimisme: un exemple clinique , J Clin Epid (2004) 57 ( 12).

Voir aussi les packages Design ( lrm) et stepPlr ( step.plr) R, ou le package pénalisé . Vous pouvez parcourir les questions connexes sur la sélection des variables sur cette SE.

chl
la source
Salut chl, Merci pour la réponse .. J'avoue que j'ai obtenu des informations de votre réponse ... Permettez-moi de mettre ma compréhension et ensuite vous pouvez commenter s'il vous plaît. (1) J'ai un indice que les valeurs de P peuvent baisser si la taille de votre échantillon est grande ... - Est-ce le cas ?? À ma connaissance, les valeurs de p ne peuvent que montrer si votre hypothèse nulle est rejetée ou non. (2) Je comprends maintenant que j'ai besoin de voir la différence dans les valeurs AIC avec interception uniquement et avec covariables. Je suppose que lorsque nous disons que nous voulons un AIC inférieur, nous voulons dire pour le même ensemble de données. Je reçois du caractère dans mon commentaire, alors je ferai un commentaire à nouveau une fois que vous aurez répondu,
Ayush Biyani
1
@ayush (1) les statistiques de test (par exemple Wald) dépendent de la taille de l'échantillon (l'erreur standard diminue avec l'augmentation de la taille de l'échantillon, et vous obtiendrez probablement des valeurs de p plus faibles avec un échantillon plus grand). (2) oui, bien que l'AIC puisse être utilisé pour comparer des modèles non imbriqués, je pensais ici que c'était un moyen de comparer différents modèles de complexité croissante.
chl
merci encore .. J'obtiens l'essence de la valeur p maintenant. Il y a 5 minutes, j'ai exécuté un modèle qui me donne des valeurs de p inférieures à 0,05 pour toutes les variables, mais AIC de 28238,407 avec interception uniquement et avec des covariables 21507,933. J'ai également un cas dans lequel AIC est 16035.xy avec interception uniquement et avec covariables 4234.xy. Quelle est votre opinion comparant deux cas? Veuillez noter que le deuxième modèle avait des variables différentes de 25 var tandis que le premier en avait 20. donc le deuxième avait cependant plus de variables (25 par rapport à 20) avait un AIC inférieur. Bien que les valeurs de p n'étaient pas 0,05 pour tous. Veuillez suggérer..plus demander après cela..Merci.
ayush biyani
@ayush Il est difficile de répondre sur la qualité du modèle sans savoir comment les variables ont été sélectionnées. L'écart dans l'AIC entre un modèle comprenant uniquement une interception et certaines covariables vous donne une indication sur le "pouvoir explicatif" de ces prédicteurs (la déviance résiduelle semble diminuer davantage dans le deuxième cas que vous avez montré, et l'AIC pénalise le # paramètres comme je l'ai dit dans ma réponse). Ce n'est en aucun cas une réponse complète sur la pertinence de ces prédicteurs. Je vous suggère de poser une question plus spécifique (OMI), par exemple sur la sélection des variables dans les GLM pour votre étude spécifique.
chl
8

Grouper SC et AIC ensemble est faux . Ce sont des choses très différentes, même si les gens en abusent fortement. L'AIC est significatif lorsque vous prévoyez des choses, l'utilisation de SC dans ce scénario peut conduire (pas toujours) à de mauvais résultats. De même, si vous êtes intéressé à faire une sélection de modèle avec le principe de parcimonie (rasoir d'Occam), SC est mieux. Je ne veux pas entrer dans les détails théoriques, mais en un mot: SC - bon pour les modèles parcimonieux lorsque vous voulez quelque chose d'équivalent au modèle le plus simple possible pour expliquer vos données, AIC - Quand vous voulez prédire. AIC ne suppose pas que votre vrai modèle se trouve dans l'espace modèle, comme le fait SC.

Deuxièmement, l'utilisation de valeurs de p et de critères d'information ensemble peut également être trompeuse, comme l'explique chl .

suncoolsu
la source