Un domaine des mathématiques concerné par l'étude des espaces vectoriels de dimension finie, y compris les matrices et leur manipulation, qui sont importantes en statistique.
J'ai remarqué récemment que beaucoup de gens développent des équivalents tenseurs de nombreuses méthodes (factorisation des tenseurs, noyaux des tenseurs, tenseurs pour la modélisation de sujets, etc.) Je me demande pourquoi le monde est soudainement fasciné par les tenseurs? Existe-t-il des...
Je travaille depuis un moment dans R et je suis confronté à des problèmes tels que PCA, SVD, décompositions QR et de nombreux autres résultats d'algèbre linéaire (lors de l'inspection d'estimations de régressions pondérées, etc.). Je voulais donc savoir si quelqu'un a une recommandation livre...
J'ai beaucoup lu sur la PCA, y compris divers tutoriels et questions (comme celle-ci , celle-ci , celle-ci et celle-ci ). Le problème géométrique que PCA essaie d’optimiser m’est clair: PCA essaie de trouver le premier composant principal en minimisant l’erreur de reconstruction (projection), ce...
J'ai lu sur la décomposition en valeurs singulières (SVD). Dans presque tous les manuels, il est mentionné que la matrice est divisée en trois matrices avec une spécification donnée. Mais quelle est l'intuition derrière la division de la matrice sous une telle forme? La PCA et d’autres algorithmes...
Je suppose que la réponse devrait être oui, mais je sens toujours que quelque chose ne va pas. Il devrait y avoir des résultats généraux dans la littérature, est-ce que quelqu'un pourrait
J'ai entendu dire que l'on pouvait trouver des corrélations partielles entre des variables aléatoires en inversant la matrice de covariance et en prenant les cellules appropriées à partir de cette matrice de précision résultante (ce fait est mentionné dans
Disons que j'ai une distribution gaussienne multivariée à dimensions. Je suppose observations (chacun d'eux un -vector) à partir de cette distribution et calculer la matrice de covariance d'échantillon . Dans cet article , les auteurs déclarent que la matrice de covariance de l'échantillon calculée...
J'étudie PCA du cours Coursera d'Andrew Ng et d'autres matériaux. Dans le premier devoir de Stanford NLP cs224n , et dans la vidéo de conférence d'Andrew Ng , ils font une décomposition en valeurs singulières au lieu de la décomposition en vecteur propre de la matrice de covariance, et Ng dit même...
Si et sont deux vecteurs unitaires aléatoires indépendants dans (uniformément répartis sur une sphère unitaire), quelle est la distribution de leur produit scalaire (produit scalaire) ?y R D x ⋅ yxx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Je suppose que lorsque croît...
J'observe un comportement très étrange dans le résultat SVD de données aléatoires, que je peux reproduire à la fois dans Matlab et R. Il ressemble à un problème numérique dans la bibliothèque LAPACK; est-ce? Je tire n=1000n=1000n=1000 échantillons de la gaussienne k=2k=2k=2 dimensionnelle avec une...
Je connais la définition de la matrice définie positive symétrique (SPD), mais je veux en savoir plus. Pourquoi sont-ils si importants, intuitivement? Voici ce que je sais. Quoi d'autre? Pour une donnée donnée, la matrice de co-variance est SPD. La matrice de co-variance est une métrique...
J'essaie d'obtenir une compréhension intuitive du fonctionnement de l'analyse en composantes principales (ACP) dans l'espace (double) sujet . Considérons un ensemble de données 2D avec deux variables, et , et points de données (la matrice de données est et est supposée être centrée). La...
Je veux transformer mes données XX\mathbf X telle sorte que les variances soient égales à un et que les covariances soient nulles (c'est-à-dire que je veux blanchir les données). De plus, les moyennes doivent être nulles. Je sais que j'y arriverai en faisant la standardisation Z et la...
Soit . La matrice d'informations de Fisher est définie comme suit:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Comment puis-je...
C'est une question très simple mais je ne trouve la dérivation nulle part sur Internet ou dans un livre. J'aimerais voir comment un bayésien met à jour une distribution normale multivariée. Par exemple: imaginez que P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl}...
Supposons que j'ai une matrice dense de taille , avec décomposition SVDDans Je peux calculer la SVD comme suit: .AA \textbf{A}m×nm×nm \times nA=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) Si une nouvelle -ème ligne est ajoutée à , peut-on calculer la nouvelle décomposition SVD sur la base de...
Comme indiqué dans cette question, le rang maximum de la matrice de covariance est n−1n−1n-1 où est la taille de l'échantillon et donc si la dimension de la matrice de covariance est égale à la taille de l'échantillon, elle serait singulière. Je ne comprends pas pourquoi nous soustrayons du rang...
Pour la norme vectorielle, la norme L2 ou «distance euclidienne» est la définition largement utilisée et intuitive. Mais pourquoi la définition de norme "la plus utilisée" ou "par défaut" pour une matrice est la norme spectrale , mais pas la norme Frobenius (qui est similaire à la norme L2 pour les...
Disons que nous avons X de forme (2, 5) et y de forme (2,) Cela marche: np.linalg.lstsq(X, y) Nous nous attendrions à ce que cela ne fonctionne que si X était de forme (N, 5) où N> = 5 Mais pourquoi et comment? Nous récupérons 5 poids comme prévu, mais comment ce problème est-il résolu? N'est-ce...
Considérez le biplot PCA suivant: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) Il y a un tas de flèches rouges tracées, que signifient-elles? Je savais que la première flèche étiquetée "Var1"...