Concerne un grand nombre de caractéristiques ou de dimensions (variables) pour les données. (Pour un grand nombre de points de données, utilisez la balise [big-data]; si le problème concerne un plus grand nombre de variables que de données, utilisez la balise [underdetermined].)
J'ai lu que "la distance euclidienne n'est pas une bonne distance dans les grandes dimensions". Je suppose que cette déclaration a quelque chose à voir avec la malédiction de la dimensionnalité, mais quoi au juste? En outre, qu'est-ce que les «grandes dimensions»? J'appliquais la classification...
J'ai souvent entendu parler de malédiction de la dimensionnalité, mais d'une manière ou d'une autre, je suis toujours incapable de saisir l'idée, tout est brumeux. Est-ce que quelqu'un peut expliquer cela de la manière la plus intuitive, comme vous le feriez à un enfant, pour que moi (et les autres...
J'ai déjà posé cette question à StackOverflow, mais il semble que cela conviendrait mieux ici, étant donné que cela n'a pas donné de réponse à SO. C'est un peu à la croisée des statistiques et de la programmation. J'ai besoin d'écrire du code pour faire PCA (analyse en composantes principales)....
Je souhaite utiliser la régression de Lasso ou de crête pour un modèle comportant plus de 50 000 variables. Je souhaite utiliser un logiciel en mode R. Comment puis-je estimer le paramètre de retrait ( λλ\lambda )? Modifications: Voici le point je me suis levé à: set.seed (123) Y <- runif (1000)...
J'ai beaucoup lu sur l' algorithme -snettt pour la réduction de dimensionnalité. Je suis très impressionné par les performances sur les ensembles de données "classiques", comme MNIST, où il réalise une séparation claire des chiffres ( voir l'article original ): Je l'ai également utilisé pour...
J'exécute une petite expérience avec la régression LASSO dans R pour tester s'il est capable de trouver une paire de prédicteurs parfaite. La paire est définie comme ceci: f1 + f2 = résultat Le résultat ici est un vecteur prédéterminé appelé «âge». F1 et f2 sont créés en prenant la moitié du...
Certaines fonctionnalités de mes données ont de grandes valeurs, tandis que d'autres fonctionnalités ont des valeurs beaucoup plus petites. Est-il nécessaire de centrer + l'échelle des données avant d'appliquer t-SNE pour éviter un biais vers les valeurs plus grandes? J'utilise l'implémentation...
Je comprends ce qu'est la «malédiction de la dimensionnalité», et j'ai fait quelques problèmes d'optimisation dimensionnelle élevée et je connais le défi des possibilités exponentielles. Cependant, je doute que la "malédiction de la dimensionnalité" existe dans la plupart des données du monde réel...
J'essaie de lire sur la recherche dans le domaine de la régression à haute dimension; lorsque est supérieur à , c'est-à-dire . Il semble que le terme apparaisse souvent en termes de taux de convergence pour les estimateurs de régression.n p > > n log p / npppnnnp>>np>>np >>...
Les endroits que j'ai lus sur la malédiction de la dimensionnalité l'expliquent conjointement avec kNN principalement et les modèles linéaires en général. Je vois régulièrement les meilleurs classeurs de Kaggle utiliser des milliers d'entités sur un ensemble de données qui ne contient pratiquement...
Est-il judicieux de faire de l'ACP avant d'effectuer une classification aléatoire des forêts? J'ai affaire à des données de texte de grande dimension, et je veux faire une réduction de fonctionnalités pour éviter la malédiction de la dimensionnalité, mais Random Forests ne fait-il pas déjà une...
Je pense que le titre de cette question dit tout.
Notre prof ne se lance pas dans les mathématiques ou même la représentation géométrique de la régression linéaire multiple et cela m'a légèrement confus. D'une part, il est toujours appelé régression linéaire multiple , même dans des dimensions plus élevées. D'un autre côté, si nous avons par...
Je lis le livre de Kevin Murphy: Machine Learning-A probabilistic Perspective. Dans le premier chapitre, l'auteur explique la malédiction de la dimensionnalité et il y a une partie que je ne comprends pas. À titre d'exemple, l'auteur déclare: Considérez que les entrées sont uniformément réparties...
Ceci est cité très souvent en mentionnant la malédiction de la dimensionnalité et va (formule de droite appelée contraste relatif) limré→ ∞var ( | | Xré| |kE[ | | Xré| |k]) =0,alors: Dmaxkré- Dminkréréminkré→ 0limré→∞var(||Xré||kE[||Xré||k])=0,alors:rémaxrék-réminrékréminrék→0 \lim_{d\rightarrow...
Configuration du problème J'ai des points de données (images) de grande dimension (4096), que j'essaie de visualiser en 2D. À cette fin, j'utilise t-sne d'une manière similaire à l' exemple de code suivant de Karpathy . La documentation de scikit-learn recommande d'utiliser PCA pour réduire d'abord...
J'ai (~ un million) de vecteurs de caractéristiques. Il y a (~ un million) d'entités binaires, mais dans chaque vecteur, seulement (~ un millier) d'entre elles seraient égales à , les autres étant . Je recherche les paires de vecteurs qui ont au moins (~ cent) traits en commun ( dans les deux). Le...
J'ai un ensemble de données avec environ 5 000 caractéristiques / covariables souvent corrélées et une réponse binaire. Les données m'ont été données, je ne les ai pas collectées. J'utilise Lasso et boosting de gradient pour construire des modèles. J'utilise la validation croisée imbriquée itérée....
Prenez 20 points aléatoires dans un espace de 10 000 dimensions avec chaque coordonnée iid de . Répartissez-les en 10 paires («couples») et ajoutez la moyenne de chaque paire («un enfant») à l'ensemble de données. Ensuite, faites PCA sur les 30 points résultants et tracez PC1 vs...
Je travaille sur un problème d'inférence de grande dimension (environ 2000 paramètres de modèle) pour lequel nous sommes capables d'effectuer de manière robuste une estimation MAP en trouvant le maximum global du log-postérieur en utilisant une combinaison d'optimisation basée sur un gradient et un...