Dans cet article , l'auteur relie l'analyse discriminante linéaire (LDA) à l'analyse en composantes principales (ACP). Avec mes connaissances limitées, je ne suis pas en mesure de comprendre comment LDA peut être quelque peu similaire à PCA. J'ai toujours pensé que LDA était une forme d'algorithme...
Je suis nouveau dans l'optimisation. Je continue de voir des équations qui ont un exposant 2 et un indice 2 sur le côté droit d'une norme. Par exemple, voici l'équation des moindres carrés min||Ax−b||22||Ax−b||22 ||Ax-b||^2_2 Je pense que je comprends l'exposant 2: cela signifie mettre au carré la...
loss=∥y−Xβ∥22+λ∥β∥1loss=‖y−Xβ‖22+λ‖β‖1 {\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1 exp(−λ∥β∥1)exp(−λ‖β‖1) \exp(-\lambda \| \beta \|_1 ) λλ\lambda Considérons que du point de vue bayésien, nous pouvons calculer la probabilité postérieure que, disons, les estimations de paramètres non...
Pour une mission, on m'a demandé de fournir une preuve que k-means converge en un nombre fini d'étapes. Voici ce que j'ai écrit: CCCE( C) = ∑Xmini = 1k∥ x - cje∥2E(C)=∑Xminje=1k‖X-cje‖2E(C)=\sum_{\mathbf{x}}\min_{i=1}^{k}\left\Vert \mathbf{x}-\mathbf{c}_{i}\right\Vert ^{2}E( C)E(C)E(C) L'étape 2...
Je ne peux pas être précis sur la nature des données car elles sont propriétaires, mais supposons que nous ayons des données comme celle-ci: chaque mois, certaines personnes s'inscrivent à un service. Ensuite, au cours de chaque mois suivant, ces personnes peuvent mettre à niveau le service,...
Je prends le cours d' Andrew Ng sur l'apprentissage automatique à travers Coursera . Pour les équations, les exposants sont utilisés à la place des indices. Par exemple, dans l'équation suivante, est utilisé à la place de :X( i )X(je)x^{(i)}XjeXjex_i J( θ0, θ1) = 12 m∑i = 1m( hθ( x( i )) - y( i...
J'utilise un classificateur qui renvoie des probabilités. Pour calculer l'ASC, j'utilise pROC R-package. Les probabilités de sortie du classificateur sont: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmontre la...
Si sont des densités connues à partir desquelles je peux simuler, c'est-à-dire pour lesquelles un algorithme est disponible. et si le produit est intégrable, existe-t-il une approche générique pour simuler à partir de cette densité de produit en utilisant le simulateurs des...
Je lis le chapitre sur le compromis biais-variance des éléments de l'apprentissage statistique et j'ai un doute dans la formule de la page 29. Que les données proviennent d'un modèle tel que où est aléatoire nombre avec la valeur attendue et la variance . Soit la valeur d'erreur attendue du modèle...
Ma configuration est la suivante: Je suis les directives dans "Modélisation prédictive appliquée". J'ai donc filtré les fonctionnalités corrélées et je me retrouve avec ce qui suit: 4900 points de données dans l'ensemble d'apprentissage et 1600 points de données dans l'ensemble de test. J'ai 26...
Les documents de recherche sur l'apprentissage automatique traitent souvent l'apprentissage et l'inférence comme deux tâches distinctes, mais je ne comprends pas très bien quelle est la distinction. Dans ce livre, par exemple, ils utilisent les statistiques bayésiennes pour les deux types de...
Dans la formation de réseaux de neurones profonds et peu profonds, pourquoi les méthodes de gradient (par exemple descente de gradient, Nesterov, Newton-Raphson) sont-elles couramment utilisées, par opposition à d'autres métaheuristiques? Par métaheuristique, j'entends des méthodes telles que le...
Intuitivement, la moyenne n'est que la moyenne des observations. La variance est la différence entre ces observations et la moyenne. Je voudrais savoir pourquoi l'inverse de la variance est connu comme la précision. Quelle intuition pouvons-nous en tirer? Et pourquoi la matrice de précision...
Ce ne sont pas des devoirs. Je suis intéressé à comprendre si ma logique est correcte avec ce simple problème de statistiques. Disons que j'ai une pièce à 2 faces où la probabilité de retourner une tête est et la probabilité de retourner une queue est . Supposons que tous les flips aient des...
J'ai lu Maraun et al , "Processus gaussiens non stationnaires dans le domaine des ondelettes: synthèse, estimation et tests significatifs" (2007) qui définit une classe de généralistes non stationnaires qui peuvent être spécifiés par des multiplicateurs dans le domaine des ondelettes. Une...
J'entraîne un réseau neuronal (détails non importants) où les données cibles sont un vecteur d'angles (entre 0 et 2 * pi). Je recherche des conseils sur la façon de coder ces données. Voici ce que j'essaie actuellement (avec un succès limité): 1) Encodage 1-of-C: je regroupe les angles possibles...
J'ai compris comment la régression de crête rétrécit géométriquement les coefficients vers zéro. De plus, je sais comment le prouver dans le cas spécial "Orthonormal Case", mais je ne sais pas comment cela fonctionne dans le cas général via la "décomposition
Je me suis récemment intéressé aux LSTM et j'ai été surpris d'apprendre que les poids sont partagés dans le temps. Je sais que si vous partagez les pondérations dans le temps, vos séquences temporelles d'entrée peuvent être de longueur variable. Avec des poids partagés, vous avez beaucoup moins de...
J'essaie de comprendre différentes architectures de réseaux de neurones récurrents (RNN) à appliquer aux données de séries chronologiques et je suis un peu confus avec les différents noms qui sont fréquemment utilisés lors de la description des RNN. La structure de la mémoire à court terme à long...
Je connais la définition de la matrice définie positive symétrique (SPD), mais je veux en savoir plus. Pourquoi sont-ils si importants, intuitivement? Voici ce que je sais. Quoi d'autre? Pour une donnée donnée, la matrice de co-variance est SPD. La matrice de co-variance est une métrique...