ANOVA vs régression linéaire multiple? Je comprends que ces deux méthodes semblent utiliser le même modèle statistique. Cependant, dans quelles circonstances dois-je utiliser quelle méthode? Quels sont les avantages et les inconvénients de ces méthodes en comparaison? Pourquoi l'ANOVA est-elle si...
La question est très simple: pourquoi, lorsque nous essayons d'adapter un modèle à nos données, linéaires ou non linéaires, essayons-nous généralement de minimiser la somme des carrés d'erreurs pour obtenir notre estimateur pour le paramètre du modèle? Pourquoi ne pas choisir une autre fonction...
Lorsque nous effectuons plusieurs régressions et disons que nous examinons le changement moyen de la variable pour un changement d'une variable , en maintenant toutes les autres variables constantes, à quelles valeurs maintenons-nous les autres variables constantes? Leur moyenne? Zéro? De n'importe...
Mis à part certaines circonstances uniques où nous devons absolument comprendre la relation moyenne conditionnelle, quelles sont les situations où un chercheur devrait choisir l'OLS plutôt que la régression quantile? Je ne veux pas que la réponse soit "s'il n'y a aucune utilité à comprendre les...
Il y a une image à la page 204, chapitre 4 de "reconnaissance des formes et apprentissage automatique" par Bishop où je ne comprends pas pourquoi la solution du moindre carré donne de mauvais résultats ici: Le paragraphe précédent portait sur le fait que les solutions des moindres carrés manquent...
Considérons la régression de crête avec une contrainte supplémentaire exigeant que ait une somme unitaire de carrés (de manière équivalente, la variance unitaire); si nécessaire, on peut supposer que a également une somme unitaire de carrés: yy^y^\hat{\mathbf y}yy\mathbf y...
Je commence par ma régression OLS: où D est une variable fictive, les estimations deviennent différentes de zéro avec une faible valeur de p. Je fais ensuite un test Ramsey RESET et constate que j'ai une mauvaise déformation de l'équation, j'inclus donc au carré x: y = β 0 + β 1 x 1 + β 2 x 2 1 + β...
Récemment, j'ai découvert que dans la littérature d'économétrie appliquée, lorsqu'il s'agit de problèmes de sélection de caractéristiques, il n'est pas rare d'effectuer LASSO suivi d'une régression OLS en utilisant les variables sélectionnées. Je me demandais comment qualifier la validité d'une...
Je sais comment calculer mathématiquement PCA et SVD, et je sais que les deux peuvent être appliqués à la régression linéaire des moindres carrés. Le principal avantage de SVD semble mathématiquement être qu'il peut être appliqué à des matrices non carrées. Les deux se concentrent sur la...
J'ai lu cette déclaration sur un ancien vrai / faux examen: Nous pouvons obtenir plusieurs solutions optimales locales si nous résolvons un problème de régression linéaire en minimisant la somme des erreurs quadratiques en utilisant la descente de gradient. Solution: faux Ma question est, quelle...
L'impression que j'ai eue, sur la base de plusieurs articles, livres et articles que j'ai lus, est que la manière recommandée d'ajuster une distribution de probabilité sur un ensemble de données consiste à utiliser l'estimation du maximum de vraisemblance (MLE). Cependant, en tant que physicien,...
J'essaie de faire une régression pour expliquer le nombre d'homicides dans chaque quartier d'une ville. Bien que je sache que mes données suivent une distribution de Poisson, j'ai essayé d'adapter un OLS comme celui-ci: l o g( y+ 1 ) = α + βX+ ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon...
Si XXX est de rang plein, l'inverse de X T XXTXX^TX existe et nous obtenons les moindres carrés Estimation: β = ( X T X ) - 1 X Yβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XY et Var ( β ) = σ 2 ( X T X ) - 1Var(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Comment expliquer intuitivement...
D'après An Introduction to Statistical Learning de James et al., L'estimation de validation croisée avec oubli (LOOCV) est définie par CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i where MSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i =...
J'ai une question sur le biais variable omis dans la régression logistique et linéaire. Supposons que j'omet certaines variables d'un modèle de régression linéaire. Imaginez que ces variables omises ne sont pas corrélées avec les variables que j'ai incluses dans mon modèle. Ces variables omises ne...
J'ai vu cette liste ici et je ne pouvais pas croire qu'il y avait tant de façons de résoudre les moindres carrés. Les «équations normales» sur Wikipédia semblaient être une méthode assez simple: α^β^= y¯- β^X¯,= ∑ni = 1( xje- x¯) ( yje- y¯)∑ni = 1( xje-
Je me demandais s'il y avait une relation entre R2R2R^2 et un test F. Habituellement , R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} et il mesure la force de la relation linéaire dans la régression. Un test F...
Considérons un problème de régression OLS standard : J'ai des matrices \ Y et \ X et je veux trouver \ B pour minimiser L = \ | \ Y- \ X \ B \ | ^ 2. La solution est donnée par \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf
Ce lien wikipedia répertorie un certain nombre de techniques pour détecter l'hétéroscédasticité des résidus OLS. Je voudrais savoir quelle technique pratique est plus efficace pour détecter les régions affectées par l'hétéroscédasticité. Par exemple, ici, la région centrale du graphique OLS ``...
Je ne sais pas si normaliser est le mot correct à utiliser ici, mais je ferai de mon mieux pour illustrer ce que j'essaie de demander. L'estimateur utilisé ici est le moindre carré. Supposons que vous ayez y=β0+β1x1y=β0+β1x1y=\beta_0+\beta_1x_1 , vous pouvez le centrer autour de la moyenne par où...