J'apprends la régression. J'ai fait quelques régressions transversales qui sont très bien. J'ai récemment fait une régression simple de séries chronologiques. J'ai donc des vecteurs ay & x contenant chacun 1000 observations. J'ai fait une régression ols simple dans Excel qui m'a semblé très...
Comment dois-je comprendre le anovarésultat lors de la comparaison de deux modèles? Exemple: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** La page de manuel indique: "Calculez l'analyse des tables de variance (ou de déviance) pour un ou plusieurs objets de...
N'entraîne-t-il pas un sur-ajustement? Mes résultats seraient-ils plus fiables si j'ajoutais une procédure de jack-knife ou de bootstrap dans le cadre de
Je travaille sur une méta-analyse des effets aléatoires couvrant un certain nombre d'études qui ne rendent pas compte des écarts-types; toutes les études indiquent la taille de l'échantillon. Je ne pense pas qu'il soit possible d'approximer ou d'imputer les données SD manquantes. Comment pondérer...
Je lis sur les bases de l' analyse des composants principaux de tutorial1 , link1 et lien2 . J'ai un ensemble de données de 100 variables (y compris la variable de sortie Y), je veux réduire les variables à 40 par PCA, puis prédire la variable Y en utilisant ces 40 variables. Problème 1: Après...
J'utilise la régression logistique pour la classification binaire. J'ai un ensemble de données volumineuses (se trouve être très déséquilibré: 19: 1). J'utilise donc scikit-learn LogisticRegression()pour m'entraîner sur 80% de mes données étiquetées, puis j'ai validé avec les 20% restants (j'ai...
Des questions: Des modèles linéaires inappropriés sont-ils utilisés dans la pratique ou s'agit-il d'une sorte de curiosité décrite de temps en temps dans des revues scientifiques? Si oui, dans quels domaines sont-ils utilisés? Existe-t-il d'autres exemples de tels modèles? Enfin, les erreurs...
Dans mon manuel d'économétrie (économétrie d'introduction) couvrant l'OLS, l'auteur écrit: "La RSS doit tomber lorsqu'une autre variable explicative est ajoutée."
J'ai lu dans un livre d'apprentissage automatique que les paramètres de régression linéaire peuvent être estimés (entre autres méthodes) par descente de gradient, tandis que les paramètres de régression logistique sont généralement estimés par estimation de vraisemblance maximale. Est-il possible...
Dans cet article , ( Inférence bayésienne pour les composants de la variance utilisant uniquement des contrastes d'erreur , Harville, 1974), l'auteur affirme pour être "bien connu" relation ", pour une régression linéaire où y = X β( y- Xβ)′H- 1( y- Xβ) = ( y- Xβ^)′H-1( y- Xβ^) +( β-β^)′( X′H- 1X)...
Considérons un modèle de régression linéaire: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, où εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b) , c'est-à-dire , La distribution de Laplace avec 000 moyenne et paramètre...
Lors de l'utilisation de k-fold CV pour sélectionner parmi les modèles de régression, je calcule généralement l'erreur CV séparément pour chaque modèle, ainsi que son erreur standard SE, et je sélectionne le modèle le plus simple dans 1 SE du modèle avec l'erreur CV la plus faible (le 1 règle...
Je recherche une explication à la fois 1) mécanique et 2) intuitive de la façon dont les effets des variables individuelles sont déterminés en maintenant les autres variables constantes. Dans un exemple utilisant des données d'enquête, que signifie exactement: "en maintenant un âge, un sexe et un...
Je suis un peu perplexe par une formule présentée dans "Introduction à l'apprentissage statistique" de Hastie. Au chapitre 6, page 212 (sixième impression, disponible ici ), il est indiqué que: AIC=RSSnσ^2+2dnAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Pour les modèles linéaires...
Je suppose une configuration générale de régression, c'est-à-dire qu'une fonction continue est choisie dans une famille pour s'adapter aux données données ( peut être n'importe quel espace tel que cube ou en fait tout espace topologique raisonnable) selon certains critères naturels.hθ: X→...
J'ai observé que la fonction lasso dans MATLAB est relativement lente. Je gère de nombreux problèmes de régression, avec généralement 1 à 100 prédicteurs et 200 à 500 observations. Dans certains cas, le lasso s'est avéré extrêmement lent (pour résoudre un problème de régression, il a fallu...
Mon collègue et moi essayons de comprendre la différence entre la régression logistique et un SVM. De toute évidence, ils optimisent différentes fonctions objectives. Un SVM est-il aussi simple que de dire qu'il s'agit d'un classificateur discriminant qui optimise simplement la perte de charnière?...
Les valeurs typiques de l'AIC que j'ai vues pour les modèles logistiques sont en milliers, au moins en centaines. par exemple sur http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ l'AIC est 727.39 Bien qu'il soit toujours dit que l'AIC ne devrait être utilisé que pour comparer...
Supposons que nous ayons la matrice de données , qui est par- , et le vecteur d'étiquette , qui est -par-un. Ici, chaque ligne de la matrice est une observation, et chaque colonne correspond à une dimension / variable. (supposez )XX\mathbf{X}nnnpppOuiOuiYnnnn > pn>pn>p Alors qu'est-ce que...
En utilisant R sur certaines données et en essayant de voir si mes données sont hétéroscédastiques, j'ai trouvé deux implémentations du test de Breusch-Pagan, bptest (package lmtest) et ncvTest (package car). Cependant, ceux-ci produisent des résultats différents. Quelle est la différence entre les...