Pour expliquer la régression LASSO, le diagramme d'un diamant et d'un cercle est souvent utilisé. On dit que parce que la forme de la contrainte dans LASSO est un diamant, la solution des moindres carrés obtenue pourrait toucher le coin du diamant de telle sorte qu'elle entraîne un rétrécissement...
J'essaie actuellement d'appliquer un modèle linéaire ( family = gaussian) à un indicateur de biodiversité qui ne peut pas prendre des valeurs inférieures à zéro, est gonflé à zéro et est continu. Les valeurs vont de 0 à un peu plus de 0,25. En conséquence, il y a un schéma assez évident dans les...
J'ai trouvé des pros de l'analyse discriminante et j'ai des questions à leur sujet. Donc: Lorsque les classes sont bien séparées, les estimations des paramètres de régression logistique sont étonnamment instables. Les coefficients peuvent aller à l'infini. LDA ne souffre pas de ce problème. Si le...
La régression à rang réduit et la régression à composantes principales ne sont-elles que des cas particuliers de moindres carrés partiels? Ce tutoriel (Page 6, "Comparaison des objectifs") indique que lorsque nous faisons des moindres carrés partiels sans projeter X ou Y (c'est-à-dire "non...
Y a-t-il une explication intuitive à cette terminologie? Pourquoi en est-il ainsi et non le ou les prédicteurs régressés sur le résultat? Idéalement, j'espère qu'une explication appropriée de la raison pour laquelle cette terminologie existe aidera les élèves à s'en souvenir et les empêchera de la...
J'apprends les splines dans le livre "Les éléments de l'exploration, de l'inférence et de la prédiction des données statistiques" de Hastie et al. J'ai trouvé à la page 145 que les splines cubiques naturelles sont linéaires au-delà des nœuds limites. Il y a KKK noeuds, ξ1,ξ2,...ξKξ1,ξ2,...ξK\xi_1,...
Considérons un problème de régression OLS standard : J'ai des matrices \ Y et \ X et je veux trouver \ B pour minimiser L = \ | \ Y- \ X \ B \ | ^ 2. La solution est donnée par \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf
Ma question est: quelle est la relation mathématique entre la distribution bêta et les coefficients du modèle de régression logistique ? Pour illustrer: la fonction logistique (sigmoïde) est donnée par f(x)=11+exp(−x)f(x)=11+exp(−x)f(x) = \frac{1}{1+\exp(-x)} et il est utilisé pour modéliser les...
Qu'est-ce qu'un modèle nul en régression et quelle est la relation entre le modèle nul et l'hypothèse nulle? Pour ma compréhension, cela signifie-t-il Utiliser la «moyenne de la variable de réponse» pour prédire la variable de réponse continue? Utiliser la «distribution d'étiquettes» pour prédire...
J'essaie de lire sur la recherche dans le domaine de la régression à haute dimension; lorsque est supérieur à , c'est-à-dire . Il semble que le terme apparaisse souvent en termes de taux de convergence pour les estimateurs de régression.n p > > n log p / npppnnnp>>np>>np >>...
http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Si vous regardez en haut de cet article, l'auteur mentionne que la norme L2 a une solution unique et que la norme L1 a peut-être de nombreuses solutions. Je comprends cela en termes de régularisation, mais pas...
Il y a quelque temps, un utilisateur de la liste de diffusion R-help a posé des questions sur la validité de l'utilisation des scores PCA dans une régression. L'utilisateur essaie d'utiliser des scores PC pour expliquer les variations sur un autre PC (voir la discussion complète ici ). La réponse...
J'évalue actuellement la multicolinéarité dans mes jeux de données. Quelles valeurs seuil de VIF et indice de condition en dessous / au-dessus suggèrent un problème? VIF: J'ai entendu dire que VIF est un problème.≥ 10≥dix\geq 10 Après avoir supprimé deux variables problématiques, VIF est pour...
Dans "The Elements of Statistical Learning" (2nd ed), p63, les auteurs donnent les deux formulations suivantes du problème de régression des crêtes: β^r i dge= argminβ{ ∑i = 1N( yje- β0- ∑j = 1pXje jβj)2+ λ ∑j = 1pβ2j}β^rjerége=argminβ{∑je=1N(yje-β0-∑j=1pXjejβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} =...
Étant donné deux tableaux x et y, tous deux de longueur n, j'adapte un modèle y = a + b * x et je veux calculer un intervalle de confiance à 95% pour la pente. C'est (b - delta, b + delta) où b se trouve de la manière habituelle et delta = qt(0.975,df=n-2)*se.slope et se.slope est l'erreur standard...
J'ai posé cette question sur le site matemathics stackexchange et on m'a recommandé de la poser ici. Je travaille sur un projet de passe-temps et j'aurais besoin d'aide pour résoudre le problème suivant. Un peu de contexte Disons qu'il existe une collection d'articles avec une description des...
J'essaie de comprendre comment fonctionnent les fonctions d'influence. Quelqu'un pourrait-il expliquer dans le contexte d'une simple régression OLS yje= α + β⋅ xje+ εjeyje=α+β⋅Xje+εje\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} où je veux la fonction d'influence...
Y a-t-il une raison de ce à quoi je peux penser, pour transformer les données avec une racine carrée? Je veux dire que ce que j'observe toujours, c'est que le R ^ 2 augmente. Mais c'est probablement juste à cause du centrage des données! Toute pensée est
Je serais intéressé à trouver des moyens dans R pour mettre à jour efficacement un modèle linéaire lorsqu'une observation ou un prédicteur est ajouté. biglm a une capacité de mise à jour lors de l'ajout d'observations, mais mes données sont suffisamment petites pour résider en mémoire (même si j'ai...
Disons que j'ai N observations, éventuellement plusieurs facteurs et je répète chaque observation deux fois (ou M fois) comment une régression sur ce nouvel ensemble de taille NM se comparerait-elle à une régression sur les observations originales