Comment vérifier si mon modèle de régression est bon

Une façon de trouver la précision du modèle de régression logistique à l'aide de «glm» consiste à trouver le tracé AUC. Comment vérifier la même chose pour le modèle de régression trouvé avec la variable de réponse continue (famille = «gaussienne»)?

Quelles méthodes sont utilisées pour vérifier dans quelle mesure mon modèle de régression correspond aux données?

Je suggérerais une brève recherche sur les " diagnostics du modèle de régression linéaire " pour commencer. Mais voici quelques-unes que je vous suggère de vérifier:

Assurez-vous que les hypothèses sont satisfaites de manière satisfaisante

• Utilisez le nuage de points ou la composante plus le graphique résiduel pour examiner la relation linéaire entre le ou les prédicteurs indépendants et la variable dépendante.

• Composez un graphique avec une valeur résiduelle standardisée par rapport à la valeur prédite et assurez-vous qu'il n'y a pas de point extrême avec un résidu très élevé, et que la répartition du résidu est largement similaire le long de la valeur prédite, ainsi que la répartition largement égale au-dessus et en dessous de la moyenne du résidu, zéro.

• Vous pouvez également changer l'axe des y en résiduel . Ce graphique permet d'identifier la variance inégale.$^2$

• Réexaminez la conception de l'étude pour vous assurer que l'hypothèse d'indépendance est raisonnable.

• Récupérez le facteur d'inflation de la variance (VIF) ou les statistiques de tolérance pour examiner la colinéarité possible.

Examiner les points d'influence potentiels

• Consultez les statistiques telles que Cook's D, DFits ou DF Beta pour savoir si un certain point de données modifie considérablement vos résultats de régression. Vous pouvez en trouver plus ici .

Examiner le changement dans les statistiques et ajusté$R^2$$R^2$

• Étant le rapport de la somme de régression des carrés à la somme totale des carrés, peut vous dire combien de% de variabilité de votre variable dépendante sont expliqués par le modèle.$R^2$
• Le ajusté peut être utilisé pour vérifier si la somme supplémentaire des carrés provoquée par mes prédicteurs supplémentaires vaut vraiment les degrés de liberté qu'ils prendront.$R^2$

Vérifier l'interaction nécessaire

• S'il existe un prédicteur indépendant principal, avant de faire une interprétation de son effet indépendant, vérifiez s'il interagit avec d'autres variables indépendantes. L'interaction, si elle n'est pas ajustée, peut fausser votre estimation.

Appliquez votre modèle à un autre ensemble de données et vérifiez ses performances

• Vous pouvez également appliquer la formule de régression à d'autres données distinctes et voir dans quelle mesure elles prédisent. Un graphique comme un nuage de points et des statistiques comme le pourcentage de différence par rapport à la valeur observée peuvent servir de bon début.

J'aime effectuer une validation croisée de mes modèles de régression pour voir dans quelle mesure ils se généralisent aux nouvelles données. Ma métrique de choix est l'erreur absolue moyenne sur les données de validation croisée, mais l' erreur quadratique moyenne est plus courante et tout aussi utile.

Je ne trouve pas que R2 soit une bonne mesure de l'adéquation de votre modèle avec les données d'entraînement, car presque toutes les mesures d'erreur calculées sur les données d'entraînement seront sujettes à un ajustement excessif. Si vous devez calculer R2 sur l'ensemble d'entraînement, je vous suggère d'utiliser R2 ajusté .

Vous pouvez utiliser pour examiner dans quelle mesure votre modèle correspond aux données d'entraînement. Cela vous indiquera quel pourcentage de la variance des données est expliqué par le modèle.$R^2$

Je suggère d'utiliser RMSE (racine quadratique moyenne) de vos prédictions sur votre ensemble de test par rapport à la valeur réelle. Il s'agit d'une méthode standard pour signaler l'erreur de prédiction d'une variable continue.

J'ai l'habitude de vérifier la forme fonctionnelle de mon estimateur de paramètres en traçant une estimation non paramétrique (par exemple une régression du noyau) ou semi-paramétrique et en la comparant à la courbe ajustée paramétrique. Je pense que c'est dans la première étape souvent plus rapide (et peut-être plus perspicace) que d'inclure des termes d'interaction ou des termes d'ordre supérieur.

Le package R np fournit de nombreuses fonctions non paramétriques et semi-paramétriques, et sa vignette est bien écrite: http://cran.r-project.org/web/packages/np/vignettes/np.pdf