Récemment, j'avais fait une analyse des effets de la réputation sur les votes positifs (voir le blog ), et par la suite, j'avais quelques questions sur une analyse et des graphiques éventuellement plus éclairants (ou plus appropriés). Donc, quelques questions (et n'hésitez pas à répondre à...
Je travaille sur un projet qui comprend 14 variables et 345 000 observations pour les données sur le logement (des choses comme l'année de construction, la superficie, le prix vendu, le comté de résidence, etc.). Je cherche à trouver de bonnes techniques graphiques et des bibliothèques R qui...
Ma question pourrait être reformulée comme "comment évaluer une erreur d'échantillonnage en utilisant les mégadonnées", en particulier pour une publication de journal. Voici un exemple pour illustrer un défi. À partir d'un très grand ensemble de données (> 100 000 patients uniques et leurs...
Traditionnellement, nous utilisons un modèle mixte pour modéliser des données longitudinales, c'est-à-dire des données comme: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 nous pouvons supposer une interception ou une pente aléatoire pour...
Disons que notre ensemble de données contient 1 million d'exemples, c'est-à-dire , et nous souhaitons utiliser la descente de gradient pour effectuer une régression logistique ou linéaire sur ces ensembles de données.X1, … , Xdix6x1,…,x106x_1, \ldots, x_{10^6} Qu'est-ce que la méthode de descente...
Avec les connaissances limitées que j'ai sur SVM, c'est bon pour une matrice de données courte et grasse (beaucoup de fonctionnalités et pas trop d'instances), mais pas pour les big data.XXX Je comprends qu'une raison est que la matrice du noyau est une matrice où, est le nombre d'instances dans...
Je suis nouveau dans la science des données et j'ai du mal à trouver des clusters dans un ensemble de données avec 200 000 lignes et 50 colonnes en R. Étant donné que les données ont des variables numériques et nominales, des méthodes comme K-means qui utilise la mesure de distance euclidienne ne...
Je travaille sur un très gros problème de régression linéaire, avec une taille de données si grande qu'elles doivent être stockées sur un cluster de machines. Il sera beaucoup trop volumineux pour regrouper tous les échantillons dans la mémoire d'une seule machine (même le disque) Pour effectuer la...
J'examine une partie de mon ensemble de données contenant 46840 valeurs doubles allant de 1 à 1690 regroupées en deux groupes. Afin d'analyser les différences entre ces groupes, j'ai commencé par examiner la distribution des valeurs afin de choisir le bon test. Après un guide sur les tests de...
Je collecte chaque jour de très grands échantillons (> 1 000 000) de données catégoriques et je souhaite que les données soient "significativement" différentes d'un jour à l'autre pour détecter les erreurs de collecte de données. Je pensais que l'utilisation d'un test de bon ajustement (en...
J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1,...
Comment effectuez-vous des tests d'hypothèses avec des mégadonnées? J'ai écrit le script MATLAB suivant pour souligner ma confusion. Il ne fait que générer deux séries aléatoires et exécuter une régression linéaire simple d'une variable sur l'autre. Il effectue cette régression plusieurs fois en...
Je recherche un modèle entre les cours de l'énergie et la météo. J'ai le prix du MWatt acheté entre les pays d'Europe, et beaucoup de valeurs sur la météo (fichiers Grib). Chaque heure sur une période de 5 ans (2011-2015). Prix / jour C'est par jour pendant un an. J'ai ceci par heure sur 5 ans....
Je suis un R noob qui est tenu de faire divers types d'analyses sur de grands ensembles de données dans R. Donc, en regardant autour de ce site et ailleurs, il m'a semblé qu'il y avait beaucoup de problèmes ésotériques et moins connus impliqués ici - comme quel package utiliser quand, quelles...
Je traite souvent une quantité raisonnable de données de séries chronologiques, 50 à 200 millions de doublons avec des horodatages associés et je voudrais les visualiser dynamiquement. Existe-t-il un logiciel pour le faire efficacement? Qu'en est-il des bibliothèques et des formats de données?...
Je voulais juste voir si quelqu'un avait une expérience de l'application de la régression de processus gaussienne (GPR) à des ensembles de données de grande dimension. J'examine certaines des diverses méthodes GPR clairsemées (par exemple, les pseudo-entrées GPR clairsemées) pour voir ce qui...
Est-il judicieux de calculer des intervalles de confiance et de tester des hypothèses lorsque des données de l'ensemble de la population sont disponibles? À mon avis, la réponse est non, car nous pouvons calculer avec précision les vraies valeurs des paramètres. Mais alors, quelle est la proportion...
Fondamentalement, il existe deux façons courantes d'apprendre contre d'énormes ensembles de données (lorsque vous êtes confronté à des restrictions de temps / d'espace): Tricher :) - utilisez juste un sous-ensemble "gérable" pour la formation. La perte de précision peut être négligeable en raison...
Pour mieux poser ma question, j'ai fourni quelques - unes des sorties à la fois un 16 modèle variable ( fit) et un 17 modèle variable ( fit2) ci - dessous (toutes les variables prédictives dans ces modèles sont continus, où la seule différence entre ces modèles est que fitne le fait pas contient la...
J'ai accès à un très grand ensemble de données. Les données proviennent d' enregistrements MEG de personnes écoutant des extraits musicaux, de l'un des quatre genres. Les données sont les suivantes: 6 sujets 3 répétitions expérimentales (époques) 120 essais par époque 8 secondes de données par...