Certaines fonctionnalités de mes données ont de grandes valeurs, tandis que d'autres fonctionnalités ont des valeurs beaucoup plus petites. Est-il nécessaire de centrer + l'échelle des données avant d'appliquer t-SNE pour éviter un biais vers les valeurs plus grandes? J'utilise l'implémentation...
Supposons que nous ayons variables mesurables, , nous effectuons un nombre de mesures, puis souhaitons effectuer une décomposition en valeurs singulières sur les résultats pour trouver les axes de variance la plus élevée pour les points dans l'espace dimensionnel. ( Remarque: supposons que les...
La normalisation des données (pour avoir une moyenne nulle et un écart-type unitaire) avant d'effectuer une validation croisée multipliée par k a-t-elle des conséquences négatives telles qu'un sur-ajustement? Remarque: c'est pour une situation où #cases> total #features Je transforme certaines...
Dans les études d'expression génique utilisant des puces à ADN, les données d'intensité doivent être normalisées afin que les intensités puissent être comparées entre les individus, entre les gènes. Sur le plan conceptuel et algorithmique, comment fonctionne la «normalisation quantile» et comment...
Disons que j'ai un classificateur de régression logistique. Dans l'apprentissage par lots normal, j'aurais un terme régularisateur pour éviter le surapprentissage et garder mes poids petits. Je normaliserais également et ferais évoluer mes fonctionnalités. Dans un environnement d'apprentissage en...
Je suis le cours d'apprentissage automatique d'Andrew Ng et je n'ai pas pu obtenir la réponse à cette question après plusieurs tentatives. Veuillez aider à résoudre ce problème, même si j'ai traversé le niveau. Supposons que étudiants aient suivi un cours et que la classe ait passé un examen à...
J'utilise un script. C'est pour les enregistrements de base. J'ai un dataframe qui montre les différentes compositions élémentaires dans les colonnes sur une profondeur donnée (dans la première colonne). Je veux effectuer un PCA avec et je suis confus quant à la méthode de standardisation que je...
Pour autant que je le comprends, la norme de lot normalise toutes les caractéristiques d'entrée d'une couche à une distribution normale unitaire, . La moyenne et la variance μ , σ 2 sont estimées en mesurant leurs valeurs pour le mini-lot
Je comprends le raisonnement derrière la normalisation des colonnes, car il entraîne une pondération égale des entités, même si elles ne sont pas mesurées sur la même échelle - cependant, souvent dans la littérature du voisin le plus proche, les colonnes et les lignes sont normalisées. Quelle est...
Je travaille sur un algorithme qui prend un vecteur du point de données le plus récent d'un certain nombre de flux de capteurs et compare la distance euclidienne aux vecteurs précédents. Le problème est que les différents flux de données proviennent de capteurs complètement différents, donc prendre...
Pour un ensemble de données donné, l'écart est souvent calculé soit comme l'écart type, soit comme l'IQR (intervalle inter-quartile). Alors que a standard deviationest normalisé (z-scores, etc.) et peut donc être utilisé pour comparer la propagation de deux populations différentes, ce n'est pas le...
La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre...
J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1,...
J'essaie de trouver la distribution caractéristique la plus appropriée des données de mesures répétées d'un certain type. Essentiellement, dans ma branche de la géologie, nous utilisons souvent la datation radiométrique des minéraux à partir d'échantillons (morceaux de roche) afin de savoir depuis...
Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne...
Ceci est juste un exemple que j'ai rencontré plusieurs fois, donc je n'ai pas d'échantillons de données. Exécution d'un modèle de régression linéaire dans R: a.lm = lm(Y ~ x1 + x2) x1est une variable continue. x2est catégorique et a trois valeurs, par exemple "Low", "Medium" et "High". Cependant,...
Il est bien connu (par exemple dans le domaine de la détection compressive) que la norme "induit la rareté", en ce sens que si nous minimisons la fonction (pour la matrice fixe et le vecteur ) pour assez grand \ lambda> 0 , il est probable que de nombreux choix de A , \ vec {b} et \ lambda aient...
Les greffes suivantes sont extraites de cet article . Je suis novice dans le bootstrap et j'essaie d'implémenter le bootstrap paramétrique, semi-paramétrique et non paramétrique pour le modèle mixte linéaire avec le R bootpackage. Code R Voici mon Rcode: library(SASmixed) library(lme4)...
J'utilise Dynamic Time Warping pour faire correspondre une "requête" et une courbe "modèle" et j'ai eu un succès raisonnable jusqu'à présent, mais j'ai quelques questions de base: J'évalue une «correspondance» en évaluant si le résultat DTW est inférieur à une valeur seuil que je trouve...
Je sais qu'il existe plus de deux types de normalisation. Par exemple, 1- Transformer les données en utilisant un z-score ou un t-score. Ceci est généralement appelé standardisation. 2- Redimensionner les données pour avoir des valeurs comprises entre 0 et 1. La question maintenant si j'ai besoin...