Je traite souvent une quantité raisonnable de données de séries chronologiques, 50 à 200 millions de doublons avec des horodatages associés et je voudrais les visualiser dynamiquement.
Existe-t-il un logiciel pour le faire efficacement? Qu'en est-il des bibliothèques et des formats de données? Zoom-cache est un exemple de bibliothèque se concentrant sur de grandes séries temporelles. Dans Zoom-cache, les données sont résumées à plusieurs résolutions pour faciliter la visualisation à différentes résolutions.
Edit: Aussi, s'il y a ailleurs, je devrais poser cette question ou chercher une réponse, faites le moi savoir
Réponses:
Il existe un ensemble d'outils de recherche appelés TimeSearcher 1 à 3 qui fournissent des exemples de la façon de traiter de grands ensembles de données chronologiques. Voici quelques exemples d'images de TimeSearcher 2 et 3.
la source
Désolé pour l'auto-publicité, mais Thunderplot (thunderplot.com) serait un bon candidat. Je l'ai écrit exactement pour le traçage interactif de grands ensembles de données. Je ne l'ai pas testé avec des ensembles de données de 200KK lignes, mais cela fonctionne très bien avec ~ 10KK lignes. Il y a aussi la fonction "lire chaque Nième ligne", de sorte que vous pouvez réduire la quantité de données à stocker / visualiser. Je peux vous envoyer la clé d'enregistrement en échange de l'un de ces grands ensembles de données. :-)
la source
Un autre article auto-promotionnel parce que je travaille pour cette entreprise, mais SensorCloud (sensorcloud.com) utilise des algorithmes intelligents pour représenter très rapidement des ensembles de données massifs. Il a été initialement conçu avec nos capteurs physiques à l'esprit, mais il dispose d'un téléchargeur CSV pour gérer toutes les données de série temporelle.
Par exemple, nous avons téléchargé un ensemble de données qui contenait 100 milliards de points de données (plus de 1 téraoctet d'horodatage + valeurs de données) et vous pouvez le représenter graphiquement et interagir avec lui très rapidement.
Voici un lien public vers cet ensemble de données: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/
Le lien ci-dessus utilise notre visionneuse flash. Si vous ne souhaitez pas utiliser le flash, voici la visionneuse javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/
Utilisez la molette de défilement ou Maj + clic gauche pour zoomer.
la source