Fait référence à une technique d'estimation générale qui sélectionne la valeur du paramètre pour minimiser la différence au carré entre deux quantités, telles que la valeur observée d'une variable, et la valeur attendue de cette observation conditionnée à la valeur du paramètre. Les modèles linéaires gaussiens sont ajustés par les moindres carrés et les moindres carrés est l'idée sous-jacente à l'utilisation de l'erreur quadratique moyenne (MSE) comme moyen d'évaluer un estimateur.
Dans quelles circonstances faut-il envisager d'utiliser des méthodes de régularisation (régression de crête, de lasso ou de moindre angle) au lieu de MCO? Au cas où cela aiderait à orienter la discussion, mon intérêt principal est d'améliorer la précision
Pour une étude de simulation , je dois générer des variables aléatoires qui montrent une corrélation prefined (population) à une variable existante .YYY J'ai examiné les Rpackages copulaet ceux CDVinequi peuvent produire des distributions multivariées aléatoires avec une structure de dépendance...
Je comprends que l’estimation de la régression de crête est la qui minimise la somme résiduelle du carré et une pénalité sur la taille deβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y =...
Pourquoi utiliser l'erreur quadratique moyenne (RMSE) au lieu de l'erreur absolue moyenne (MAE)? salut J'ai étudié l'erreur générée dans un calcul - j'avais initialement calculé l'erreur en tant qu'erreur quadratique moyenne normalisée racine. En regardant de plus près, je vois les effets de la...
Plusieurs sites de ce site discutent de la façon de déterminer si les résidus OLS sont distribués de manière asymptotique normalement. Un autre moyen d'évaluer la normalité des résidus avec le code R est fourni dans cette excellente réponse . Ceci est une autre discussion sur la différence pratique...
Des sources apparemment réputées affirment que la variable dépendante doit être distribuée normalement: Les hypothèses du modèle: YYY est normalement distribué, les erreurs sont normalement distribuées, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) , et indépendant, et XXX est fixé, et une variance...
J'entends généralement parler de "moindres carrés ordinaires". Est-ce l'algorithme le plus largement utilisé pour la régression linéaire? Y a-t-il des raisons d'en utiliser un
Quelle est la principale différence entre l'estimation du maximum de vraisemblance (EVM) et l'estimation par la méthode des moindres carrés (EVC)? Pourquoi ne pouvons-nous pas utiliser MLE pour prédire les valeurs dans la régression linéaire et inversement?yyy Toute aide sur ce sujet sera...
J'ai des problèmes avec la dérivation de la solution pour la régression de crête. Je connais la solution de régression sans le terme de régularisation: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Mais après avoir ajouté le terme L2 à la fonction de coût, comment se fait-il que la solution...
Pourquoi la fonction sigmoïde standard de facto, , est-elle si populaire dans les réseaux de neurones (non profonds) et la régression logistique?11 + e- x11+e−x\frac{1}{1+e^{-x}} Pourquoi n'utilisons-nous pas beaucoup d'autres fonctions pouvant être dérivées, avec un temps de calcul plus rapide ou...
Lorsque nous effectuons une régression linéaire pour être compatibles avec un groupe de points de données ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y ny=ax+by=ax+by=ax+b , l’approche classique minimise l’erreur au carré. Je suis depuis longtemps perplexe devant une question quiminimisera...
J'essaie d'exécuter une régression OLS: DV: Variation du poids sur un an (poids initial - poids final) IV: Que vous exerciez ou non. Cependant, il semble raisonnable que les personnes plus lourdes perdent plus de poids par unité d'exercice que les personnes plus minces. Ainsi, je voulais inclure...
Quelqu'un peut-il recommander une bonne exposition de la théorie de la régression des moindres carrés partiels (disponible en ligne) pour quelqu'un qui comprend la SVD et la PCA? J'ai regardé de nombreuses sources en ligne et je n'ai rien trouvé qui avait la bonne combinaison de rigueur et...
J'utilise toujours lm()en R pour effectuer une régression linéaire de sur . Cette fonction renvoie un coefficient tel queyyyxxxββ\betay=βx.y=βx.y = \beta x. Aujourd'hui, j'ai appris le nombre total de moindres carrés et cette princomp()fonction (analyse en composantes principales, ACP) peut être...
Contexte Supposons que nous ayons un modèle des moindres carrés ordinaires où nous avons coefficients dans notre modèle de régression, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} où est un vecteur de coefficients, est la matrice de conception définie...
Je viens de tomber sur cet article , qui décrit comment calculer la répétabilité (aka fiabilité, aka corrélation intraclasse) d'une mesure via la modélisation d'effets mixtes. Le code R serait: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit)...
Je voudrais comprendre pourquoi, sous le modèle OLS, le RSS (somme résiduelle des carrés) est distribué χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p) ( ppp étant le nombre de paramètres dans le modèle, le nombre d'observations).nnn Je m'excuse d'avoir posé une question aussi fondamentale, mais il semble que je...
Je suis nouveau dans le Machine Learning et j'essaie de l'apprendre par moi-même. Récemment, je lisais quelques notes de cours et j'avais une question de base. La diapositive 13 indique que "l'estimation du moindre carré est identique à l'estimation du maximum de vraisemblance dans un modèle...
Quel est le lien entre PCA, LDA, CCA et PLS? Ils semblent tous "spectraux" et algébriques linéaires et très bien compris (disons plus de 50 ans de théorie construits autour d'eux). Ils sont utilisés pour des choses très différentes (PCA pour la réduction de la dimensionnalité, LDA pour la...
Si la meilleure approximation linéaire (en utilisant les moindres carrés) de mes points de données est la ligne , comment puis-je calculer l'erreur d'approximation? Si je calcule l'écart type des différences entre les observations et les prédictions , puis-je dire plus tard qu'une valeur réelle...