En particulier, je me demande pourquoi nous avons ce concept Multiple R (que je peux comprendre comme la corrélation entre les scores observés et prédits dans la régression multiple), puis un concept séparé R au carré qui est juste le carré ou R. J'ai été informé que le R au carré est la variation...
J'ai entendu dire que la régression des crêtes peut être dérivée comme la moyenne d'une distribution postérieure, si l'a priori est adéquatement choisi. L'intuition est-elle que les contraintes définies sur les coefficients de régression par les a priori (par exemple, les distributions normales...
J'essaie de faire une régression sur des données hétéroscédastiques où j'essaie de prédire les variances d'erreur ainsi que les valeurs moyennes en termes de modèle linéaire. Quelque chose comme ça:
J'essaie de voir s'il faut opter pour la régression de crête , LASSO , la régression en composantes principales (PCR) ou les moindres carrés partiels (PLS) dans une situation où il y a un grand nombre de variables / caractéristiques ( ) et un plus petit nombre d'échantillons ( n < p ), et mon...
Je sais que la régression de processus gaussienne (GPR) est une alternative à l'utilisation de splines pour ajuster des modèles flexibles non linéaires. Je voudrais savoir dans quelles situations l'une serait plus appropriée que l'autre, notamment dans le cadre de régression bayésienne. J'ai déjà...
Je fais une présentation sur l'ajustement des lignes. J'ai une fonction linéaire simple, . J'essaie d'obtenir des points de données dispersées que je peux mettre dans un nuage de points qui maintiendra ma ligne de meilleur ajustement dans la même équation.y=1x+by=1x+by=1x+b Je serais ravi...
Je connais LASSO, la régularisation de type crête et filet élastique dans les modèles de régression linéaire. Question: Ce type d'estimation pénalisée (ou similaire) peut-il être appliqué à la modélisation ARIMA (avec une partie MA non vide)? Dans la construction de modèles ARIMA, il semble...
J'essaie de comprendre le compromis biais-variance, la relation entre le biais de l'estimateur et le biais du modèle, et la relation entre la variance de l'estimateur et la variance du modèle. Je suis arrivé à ces conclusions: Nous avons tendance à surajuster les données lorsque nous négligeons le...
Pour un modèle linéaire, la solution OLS fournit le meilleur estimateur linéaire sans biais pour les paramètres. Bien sûr, nous pouvons échanger un biais pour une variance plus faible, par exemple la régression des crêtes. Mais ma question concerne l'absence de parti pris. Existe-t-il d'autres...
J'ai un exemple travaillé (en R), que j'essaie de mieux comprendre. J'utilise Limma pour créer un modèle linéaire et j'essaie de comprendre ce qui se passe pas à pas dans les calculs de changement de pli. J'essaie surtout de comprendre ce qui se passe pour calculer les coefficients. D'après ce que...
J'ai toujours du mal à obtenir la véritable essence du problème des paramètres accessoires. J'ai lu à plusieurs reprises que les estimateurs à effets fixes des modèles de données de panel non linéaires peuvent être gravement biaisés en raison du problème de paramètre incident "bien connu". Lorsque...
Aujourd'hui, je jouais avec un petit ensemble de données et j'ai effectué une régression OLS simple que je m'attendais à échouer en raison d'une parfaite multicolinéarité. Mais ce ne fut pas le cas. Cela implique que ma compréhension de la multicolinéarité est fausse. Ma question est: où je me...
Je suis censé enseigner le théorème de Frish Waugh en économétrie, que je n'ai pas étudié. J'ai compris les mathématiques et j'espère que l'idée aussi "le coefficient que vous obtenez pour un coefficient particulier à partir d'un modèle linéaire multiple est égal au coefficient du modèle de...
Je suis un ingénieur logiciel travaillant sur l'apprentissage automatique. D'après ma compréhension, la régression linéaire (comme OLS) et la classification linéaire (comme la régression logistique et SVM) font une prédiction basée sur un produit interne entre les coefficients formés et les...
Une hypothèse de base de l'utilisation de modèles de régression pour l'inférence est que «tous les prédicteurs pertinents» ont été inclus dans l'équation de prédiction. La justification est que le fait de ne pas inclure un facteur important du monde réel conduit à des coefficients biaisés et donc à...
J'analyse un ensemble de données à l'aide d'un modèle à effets mixtes avec un effet fixe (condition) et deux effets aléatoires (participant en raison de la conception et de la paire du sujet). Le modèle a été généré avec le lme4package:
J'essaie de comprendre la différence de base entre la régression pas à pas et la régression vers l'arrière dans R en utilisant la fonction step. Pour la régression pas à pas, j'ai utilisé la commande suivante step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="both") J'ai obtenu la sortie...
J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <-
En régression linéaire (perte au carré), en utilisant la matrice, nous avons une notation très concise pour l'objectif minimize ∥Ax−b∥2minimize ‖Ax−b‖2\text{minimize}~~ \|Ax-b\|^2 Où AAA est la matrice de données, xxx est les coefficients et bbb est la réponse. Existe-t-il une notation...
Supposons que vous ajustiez une régression linéaire / logistique , dans le but d'une estimation non biaisée de . Vous êtes très confiant que et sont très positifs par rapport au bruit dans leurs estimations.a 1g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2...